2018年11月7日晚，被稱為“深度學(xué)習(xí)三巨頭”之一的蒙特利爾大學(xué)計算機科學(xué)與運算研究系教授Yoshua Bengio在清華大學(xué)做了《深度學(xué)習(xí)抵達人類水平人工智能所面臨的挑戰(zhàn)（Challenges for Deep Learning towards Human-Level AI》的學(xué)術(shù)報告。

Yoshua Bengio教授客觀的說，目前人工智能距離人類水平還仍然十分遙遠(yuǎn)，人工智能在工業(yè)應(yīng)用的成功主要得益于監(jiān)督學(xué)習(xí)方法，人工智能仍然面臨巨大挑戰(zhàn)，尤其在人類智能機理方面的研究還亟需加強。在報告中，Yoshua Bengio深度探討了深度學(xué)習(xí)模型的具體內(nèi)容，如何實現(xiàn)對抽象特征的多層次學(xué)習(xí)，如何更好地進行表示學(xué)習(xí)，使用判別器優(yōu)化信息間的獨立性、相關(guān)性和熵，Baby AI框架等話題。

Yoshua Bengio

Yoshua Bengio教授是蒙特利爾大學(xué)計算機系教授和加拿大科學(xué)院院士，被稱為神經(jīng)網(wǎng)絡(luò)三巨頭之一。著有《Deep Learning》、《Learning Deep Architectures for AI》、《A neural probabilistic language model》等多部暢銷書/課本。在他的倡導(dǎo)下，加拿大成立了Mila研究院，專注研究人工智能和深度學(xué)習(xí)。也正是因為在深度學(xué)習(xí)方面的重要貢獻，Yoshua Bengio教授獲得了加拿大總督功勛獎，該獎項主要為了紀(jì)念做出了卓越成就或者對國家做出了重大貢獻的各領(lǐng)域人士，是加拿大公民的最高榮譽之一。

演講報告

人工智能的目標(biāo)是讓計算機能夠進行人與動物所擅長的「決策」，為此，計算機需要掌握知識——這是幾乎全體 AI 研究者都同意的觀點。他們持有不同意見的部分是，我們應(yīng)當(dāng)如何把知識傳授給計算機。經(jīng)典 AI（符號主義）試圖將我們能夠用語言表達的那部分知識放入計算機中。但是除此之外，我們還有大量直觀的（intuitive）、 無法用語言描述的、不能通過「意識」獲得的知識，它們很難應(yīng)用于計算機中，而這就是機器學(xué)習(xí)的用武之地——我們可以訓(xùn)練機器去獲取那些我們無法以編程形式給予它們的知識。

深度學(xué)習(xí)和 AI 領(lǐng)域有很大進步、大量行業(yè)應(yīng)用。但是它們使用的都是監(jiān)督學(xué)習(xí)，然而這些模型非常脆弱，極易受到外界干擾。

現(xiàn)在的系統(tǒng)的失敗之處在于，它們無法捕捉我們真正想讓機器捕捉到的高級抽象（high level abstraction）。而這樣的表征可以捕捉構(gòu)成數(shù)據(jù)的根本因素。

如何發(fā)現(xiàn)好的糾纏表征？一個好的表征空間中，不同要素的變化應(yīng)該可以彼此分離。除了解糾纏變量，我們還希望系統(tǒng)能解糾纏計算。解糾纏和因果的概念相關(guān)，而因果正是機器學(xué)習(xí)界需要重點關(guān)注的領(lǐng)域。

人類的認(rèn)知任務(wù)可以分為系統(tǒng) 1 認(rèn)知和系統(tǒng) 2 認(rèn)知。系統(tǒng) 1 認(rèn)知任務(wù)是那些你可以在不到 1 秒時間內(nèi)無意識完成的任務(wù)。例如你可以很快認(rèn)出手上拿著的物體是一個瓶子，但是無法向其他人解釋如何完成這項任務(wù)。這也是當(dāng)前深度學(xué)習(xí)擅長的事情，「感知」。系統(tǒng) 2 認(rèn)知任務(wù)與系統(tǒng) 1 任務(wù)的方式完全相反，它們很「慢」。大多數(shù)人需要遵循一定的規(guī)則、按照步驟完成計算。這是有意識的行為，你可以向別人解釋你的做法，而那個人可以重現(xiàn)你的做法——這就是算法。計算機科學(xué)正是關(guān)于這項任務(wù)的學(xué)科。而我對此的觀點是，AI 系統(tǒng)需要同時完成這兩類任務(wù)。

意識空間里的事物維度很低，因而可以在這樣的空間里進行推理。意識先驗就是假設(shè)有很多只包含很少變量但為真的事情，因此，好的表示的一個性質(zhì)，就是當(dāng)我們把數(shù)據(jù)映射到表示空間之后，變量之間只有少數(shù)相關(guān)。

那么要如何實現(xiàn)這種表征呢？對此，注意力機制是一種很重要的工具。注意力機制可以按順序選取重點關(guān)注的信息，來實現(xiàn)整個系統(tǒng)的端到端訓(xùn)練。我們不需要設(shè)計一個獨立的系統(tǒng)來做這種選擇。你可以將注意力機制作為在某些全局目標(biāo)下端到端訓(xùn)練的更大系統(tǒng)的一部分。而這正是深度學(xué)習(xí)擅長的地方。

在架構(gòu)方面，意識先驗在「原始輸入」和「某些更高級的表征」之外，還引入了第三個層次：這也就是有意識狀態(tài)（conscious state）。

這個理論框架還有非常多的細(xì)節(jié)需要完善，去年我們主要關(guān)注其中的一個方面：目標(biāo)函數(shù)。機器學(xué)習(xí)和深度學(xué)習(xí)中的標(biāo)準(zhǔn)訓(xùn)練目標(biāo)函數(shù)都基于最大似然估計，而即使與最大似然無關(guān)的目標(biāo)函數(shù)，例如 GAN 的一些目標(biāo)函數(shù)，也是在像素級別進行構(gòu)建的。然而，我們實際上想要在隱藏空間中表現(xiàn)出可預(yù)測性。

現(xiàn)在的NLP任務(wù)只是在文本+標(biāo)注上訓(xùn)練模型。

這樣會出現(xiàn)很多常識性的錯誤，因為它并沒有理解語言內(nèi)在的含義。

要真正理解自然語言，不僅要對語言本身建模，還要對所處環(huán)境進行建模。要將語言學(xué)習(xí)和世界運轉(zhuǎn)方式的學(xué)習(xí)相結(jié)合。

機器需要對事物之間的因果聯(lián)系進行建模。

BabyAI通過19個由易到難的游戲關(guān)卡而不斷學(xué)習(xí)，就像嬰兒成長的過程一樣。這很像課程學(xué)習(xí)（curriculum learning）。