ICML和MLSS兩大機(jī)器人會(huì)議齊聚北京,被業(yè)界認(rèn)為是破天荒的第一次。由此可見,中國(guó)人工智能的發(fā)展在國(guó)際上已經(jīng)異軍突起,越來(lái)越吸引各界的目光。
最近在科技界,人工智能、機(jī)器學(xué)習(xí)可謂炙手可熱。回想這一年,機(jī)器學(xué)習(xí)大佬們紛紛從學(xué)術(shù)界“跳槽”工業(yè)界,祖師爺Geoffrey Hinton被谷歌招入麾下,泰斗Yann Lecun加盟Face book,前“谷歌大腦之父”Andrew Ng成為百度首席科學(xué)家。作為人工智能最重要的分支,近幾年,機(jī)器學(xué)習(xí)取得的突破進(jìn)展,讓世界不得不為之矚目。
這個(gè)六月,一場(chǎng)機(jī)器學(xué)習(xí)領(lǐng)域的饕餮盛宴正在上演。國(guó)際機(jī)器學(xué)習(xí)大會(huì)(ICML)和機(jī)器學(xué)習(xí)暑期國(guó)際研討會(huì)(MLSS)這兩個(gè)機(jī)器學(xué)習(xí)頂級(jí)會(huì)議首次來(lái)到北京。人工智能為何如此火爆?學(xué)術(shù)界與工業(yè)界有哪些新進(jìn)展?人工智能下一突破會(huì)在何處?筆者抓住這個(gè)千載難逢的機(jī)會(huì),來(lái)到現(xiàn)場(chǎng),不僅能近距離膜拜大師,更期待找到問(wèn)題的答案。
兩大盛會(huì)首來(lái)中國(guó),原因何在
今年,ICML和MLSS齊聚北京,可謂史無(wú)前例。究竟是什么吸引兩大機(jī)器學(xué)習(xí)頂級(jí)會(huì)議從歐美移駕中國(guó)、各位人工智能大師千里迢迢赴京?筆者認(rèn)為,中國(guó)目前在人工智能領(lǐng)域可謂異軍突起,無(wú)論學(xué)術(shù)界還是工業(yè)界都有亮眼表現(xiàn)。
從國(guó)家層面,政府高度重視發(fā)展人工智能技術(shù),人才方面,越來(lái)越多就讀于世界頂級(jí)名校的中國(guó)學(xué)子學(xué)成歸國(guó),工業(yè)方面,中國(guó)真正做到了技術(shù)的工業(yè)落地,尤其在互聯(lián)網(wǎng)產(chǎn)品上變現(xiàn)能力極強(qiáng)。
人工智能研究新成果
去年ICML大會(huì)上,Andrew Ng帶領(lǐng)學(xué)生Adam Coates利用2萬(wàn)美金的GPU集群做到了谷歌價(jià)值約100萬(wàn)美金服務(wù)器集群識(shí)別貓臉同樣的效果。今年,谷歌實(shí)驗(yàn)室科學(xué)家QuocLe帶來(lái)了提取語(yǔ)句和文本特征的新方法。通過(guò)加入一層Paragraph Vector來(lái)表示語(yǔ)境,巧妙的解決了傳統(tǒng)“bag-of-words”(詞袋)模型無(wú)序和語(yǔ)意缺失的問(wèn)題。
自然語(yǔ)音處理領(lǐng)域鼻祖,加拿大蒙特利爾大學(xué)的Yoshua Bengio教授將傳統(tǒng)Denoising Auto-encoder(DAE)算法訓(xùn)練循環(huán)(training epoch)中數(shù)據(jù)的損失邊緣化(marginalized),實(shí)現(xiàn)了用少量的訓(xùn)練循環(huán)達(dá)到或超過(guò)DAE模型的效果。
機(jī)器學(xué)習(xí)泰斗GeoffreyHinton的學(xué)生,加拿大多倫多大學(xué)教授Ruslan Salakhutdinov則介紹了關(guān)于自然語(yǔ)言的多模態(tài)神經(jīng)語(yǔ)言模型(multi modal neural language)。在圖文(image-text)模型中,通過(guò)一個(gè)卷積網(wǎng)絡(luò),可以同時(shí)學(xué)到關(guān)鍵詞和圖像特征。
每屆ICML,最受關(guān)注的便是Best Paper花落誰(shuí)家。要知道,ICML的評(píng)委們對(duì)文章的篩選一向以“苛刻”著稱。今年,最終歸屬于北京大學(xué)2009級(jí)博士生唐建的《Understanding the Limiting Factors of Topic Modeling via Posterior Contraction Analysis》,這是繼去年百度深度學(xué)習(xí)實(shí)驗(yàn)室負(fù)責(zé)人余凱獲得Best Paper銀獎(jiǎng)后再次爭(zhēng)得國(guó)際頂級(jí)榮譽(yù)。
百度引領(lǐng)人工智能創(chuàng)新
據(jù)筆者不完全統(tǒng)計(jì),本次大會(huì)收錄了17篇來(lái)自中國(guó)的regular paper,其中來(lái)自工業(yè)界共計(jì)5篇,百度4篇,阿里1篇。百度大數(shù)據(jù)實(shí)驗(yàn)室負(fù)責(zé)人張潼從理論上解決了機(jī)器學(xué)習(xí)不同方向上的優(yōu)化問(wèn)題。例如,他提出AccProx-SDCA框架,優(yōu)化了機(jī)器學(xué)習(xí)三大關(guān)鍵問(wèn)題SVM、Lasso和Ridge Regression的運(yùn)行時(shí)間。
從MLSS到ICML,AndrewNg、張潼、余凱等豪華陣容先后亮相百度展臺(tái);產(chǎn)品上,從搜索廣告CTR預(yù)估到各種預(yù)測(cè)的實(shí)現(xiàn),再到移動(dòng)產(chǎn)品的落地,顯示出了領(lǐng)跑人工智能、機(jī)器學(xué)習(xí)領(lǐng)域的雄心和決心。
人工智能的下一突破
那么,人工智能新的突破在哪里?在深度學(xué)習(xí)晚宴的Panel discussion環(huán)節(jié)中,從AndrewNg的回答中或許能找到答案。Andrew Ng談到,近些年深度學(xué)習(xí)取得的顯著進(jìn)展,得益于基于大量標(biāo)記數(shù)據(jù)(tagged data)的有監(jiān)督學(xué)習(xí)(supervised learning)的研究。隨著物理世界的數(shù)字化,大量標(biāo)記數(shù)據(jù)產(chǎn)生,并且被提供給深度學(xué)習(xí)算法。如谷歌、百度這樣的互聯(lián)網(wǎng)公司已經(jīng)從中獲得價(jià)值。所以,有監(jiān)督學(xué)習(xí)將在短期內(nèi)仍是人工智能的研究重點(diǎn),并在機(jī)器視覺、語(yǔ)音識(shí)別、廣告和推薦系統(tǒng)等方面產(chǎn)生重要作用。
Andrew Ng認(rèn)為,基于深度學(xué)習(xí)技術(shù),App和硬件都將變得更加智能。試想這樣一個(gè)應(yīng)用場(chǎng)景,在開車的時(shí)候,只要說(shuō)出“發(fā)件人我”,“回復(fù)給誰(shuí)”,再說(shuō)出郵件內(nèi)容,手機(jī)會(huì)自動(dòng)將語(yǔ)音準(zhǔn)確轉(zhuǎn)化為文本郵件,最終成功將郵件發(fā)送給接收人。在Andrew看來(lái),未來(lái)幾年手機(jī)將會(huì)是連接一切的橋梁,人類通過(guò)手機(jī)將開啟智能生活。
另一方面,神經(jīng)學(xué)家相信,動(dòng)物和孩子往往是通過(guò)無(wú)標(biāo)記數(shù)據(jù)(untagged data)來(lái)學(xué)習(xí)的。目前已經(jīng)有科學(xué)家嘗試在無(wú)標(biāo)記數(shù)據(jù)上應(yīng)用深度學(xué)習(xí)技術(shù),但還沒(méi)有找到合適的算法。未來(lái),在這方面,可能會(huì)出現(xiàn)很多突破。據(jù)說(shuō),Andrew Ng帶領(lǐng)的百度人工智能實(shí)驗(yàn)室將在這方面有所建樹。