Facebook AI 研究總監 Yann LeCun 近日在普林斯頓高等研究所進行了一次演講，題為《深度學習認識論》，重點討論了深度學習思想的早期歷史和動態，強調理論理解在深度學習研究中的重要意義。

更好的理論理解，將有助于深度學習研究的發展。

近日，Facebook AI 研究總監 Yann LeCun 在普林斯頓高等研究所進行了一次演講，題為《深度學習認識論》(The Epistemology of Deep Learning)，重點討論了深度學習思想的早期歷史和動態。

LeCun 認為，深度學習在一定程度上是一門 “工程科學”，我們通過理論洞見、直覺、靈感和經驗探索來創造新的工件。但是理解深度學習在一定程度上是 “物理科學”，需要理解這個工件的一般屬性。

科學和技術的歷史有很多技術工件先于理論理解的例子：透鏡的發明在光學理論之前，蒸汽機的發明在熱力學之前，飛機在空氣動力學之前，無線電通信再信息理論之前，可編程計算器在計算機科學之前。

LeCun 演講的兩個要點是：

(1) 經驗主義是一種完全合適的研究方法，盡管它效率低下；

(2) 我們面臨的挑戰是為學習和智能開發一種理論，對應于蒸汽機的熱力學理論。

有了理論基礎，即使只是概念上的基礎，也將大大加快該領域的研究進展，但必須認識到一般理論的實際影響有限。

深度學習：工程科學還是自然科學？

2017 年 Ali Rahimi 在 NIPS 的演講中批判深度學習是 “煉金術”（Alchemy），引起機器學習界大討論。當時反駁他的代表、深度學習領軍人物 Yann LeCun 在自己的主頁上回應 Ali，說自己完全不同意 Ali 的說法。

LeCun 表示，那次大爭論很有意思，但他認為 Ali Rahami 混淆了兩個概念，即 “煉金術” 和 “工程”。Ali 所指的 “煉金術” 實際上是工程學。

煉金術 & 工程

工程科學是關于發明新工件 (new artifacts) 的，你有很多方法可以用來發明新東西。比如望遠鏡、蒸汽機、電磁體、飛機、無線電等新發明，顯然有方法被用來創造它們。這是一種創造性的活動，其方法如創造、直覺、探測、實驗等等。如果我們對這些現象有一些理論上的理解，這些發明創造顯然能夠更加高效。

這與今天的神經科學也有相似之處。神經科學是關于發現、學習和解釋現象的，其方法如在控制條件下的可復現實驗、數學、統計學、系統性實驗等，同樣也由理論性、概念性和直覺理解所指導。

而理論往往是在發明之后構建起來的，比如：透鏡的發明在光學理論之前，蒸汽機的發明在熱力學之前，飛機在空氣動力學之前，無線電通信再信息理論之前，可編程計算器在計算機科學之前。

如此，現代世界的種種神奇在人們完全理解它們之前就已經被發明出來了。這和我們告訴學生的故事有些不同，我們會告訴他們去做數學運算，要理解所有的理論，只有這樣你才能利用那些理論去發明東西。但現實從來不是這樣。

來自大腦的啟發

上面這張 PPT 展示了深度學習的根源，即啟發了深度學習的一些理論。

McCulloch & Pitts (1943) : 二元神經元網絡可以做邏輯運算

Donald Hebt (1947) : Hebbian 發現突觸可塑性的基本機制（赫布理論）

Norbert Wiener (1948) ：控制論，最佳濾波器，反饋，自動生成，自動組織

Frank Rosenblatt (1957): 感知機

今天的 AI 大部分是監督學習

其運作方式是：向系統提供樣本以訓練機器，而非直接編程。

當輸出錯誤時，則調整參數。

這是模式識別的一個標準范式

從 1969 到 1985 年，是深度學習的第一個 “冬天”。當時提出的多層網絡并不學習，原因包括使用了錯誤的 “神經元”，而二元神經元阻礙了人們往 gradient-based 的方法去想。

不過到 80 年代早期，出現了神經網絡的第二次熱潮。當時提出了 Hopfield nets、玻爾茲曼機。到 1985/86 年，反向傳播 (Backprop) 出現了，深度學習迎來轉機。

來自生物學的啟發

深度學習為什么需要理論

理論是好東西，因為它使得實驗有效。

理論允許我們修補、完善經驗。一些理論甚至能讓我們預測現象。

多層神經網絡和深度學習

卷積網絡啟發自視覺皮層

卷積網絡能夠識別多個物體

其中，所有層都是卷積的，神經網絡同時進行分割和識別。

80、90 年代時的神經網絡硬件

深度學習的第二個冬天

1996~2006 年的 10 年間，是神經網絡的第二個冬天。這期間，很少有團隊能夠訓練大型神經網絡。

原因有很多

硬件在浮點計算方面很慢

數據稀缺，數據成本昂貴，而神經網絡是數據饑渴性的

交互式的軟件工具必須從頭開始構建

在互聯網時代之前，開源并不常見

學習理論

理論可能會限制我們的創造性思維