人工???能的發展曾經經歷過幾次起起伏伏，近來在深度學習技術的推動下又迎來了一波新的前所未有的高潮。近日，IBM 官網發表了一篇概述文章，對人工智能技術的發展過程進行了簡單梳理，同時還圖文并茂地介紹了感知器、聚類算法、基于規則的系統、機器學習、深度學習、神經網絡等技術的概念和原理。 人類對如何創造智能機器的思考從來沒有中斷過。期間，人工智能的發展起起伏伏，有成功，也有失敗，以及其中暗藏的潛力。今天，有太多的新聞報道是關于機器學習算法的應用問題，從癌癥檢查預測到圖像理解、自然語言處理，人工智能正在賦能并改變著這個世界。 現代人工智能的歷史具備成為一部偉大戲劇的所有元素。在最開始的 1950 年代，人工智能的發展緊緊圍繞著思考機器和焦點人物比如艾倫·圖靈、馮·諾伊曼，迎來了其第一次春天。經過數十年的繁榮與衰敗，以及難以置信的高期望，人工智能及其先驅們再次攜手來到一個新境界。現在，人工智能正展現著其真正的潛力，深度學習、認知計算等新技術不斷涌現，且不乏應用指向。 本文探討了人工智能及其子領域的一些重要方面。下面就先從人工智能發展的時間線開始，并逐個剖析其中的所有元素。 現代人工智能的時間線 1950 年代初期，人工智能聚焦在所謂的強人工智能，希望機器可以像人一樣完成任何智力任務。強人工智能的發展止步不前，導致了弱人工智能的出現，即把人工智能技術應用于更窄領域的問題。1980 年代之前，人工智能的研究一直被這兩種范式分割著，兩營相對。但是，1980 年左右，機器學習開始成為主流，它的目的是讓計算機具備學習和構建模型的能力，從而它們可在特定領域做出預測等行為。 圖 1：現代人工智能發展的時間線 在人工智能和機器學習研究的基礎之上，深度學習在 2000 年左右應運而生。計算機科學家在多層神經網絡之中使用了新的拓撲學和學習方法。最終，神經網絡的進化成功解決了多個領域的棘手問題。 在過去的十年中，認知計算（Cognitive computing）也出現了，其目標是打造可以學習并與人類自然交互的系統。通過成功地擊敗 Jeopardy 游戲的世界級選手，IBM Watson 證明了認知計算的價值。 在本文中，我將逐一探索上述的所有領域，并對一些關鍵算法作出解釋。 基礎性人工智能 1950 年之前的研究提出了大腦是由電脈沖網絡組成的想法，正是脈沖之間的交互產生了人類思想與意識。艾倫·圖靈表明一切計算皆是數字，那么，打造一臺能夠模擬人腦的機器也就并非遙不可及。 上文說過，早期的研究很多是強人工智能，但是也提出了一些基本概念，被機器學習和深度學習沿用至今。 圖 2：1950 - 1980 年間人工智能方法的時間線 人工智能搜索引擎 人工智能中的很多問題可以通過強力搜索（brute-force search）得到解決。然而，考慮到中等問題的搜索空間，基本搜索很快就受影響。人工智能搜索的最早期例子之一是跳棋程序的開發。亞瑟·塞繆爾（Arthur Samuel）在 IBM 701 電子數據處理機器上打造了第一款跳棋程序，實現了對搜索樹（alpha-beta 剪枝）的優化；這個程序也記錄并獎勵具體行動，允許應用學習每一個玩過的游戲（這是首個自我學習的程序）。為了提升程序的學習率，塞繆爾將其編程為自我游戲，以提升其游戲和學習的能力。 盡管你可以成功地把搜索應用到很多簡單問題上，但是當選擇的數量增加時，這一方法很快就會失效。以簡單的一字棋游戲為例，游戲一開始，有 9 步可能的走棋，每 1 個走棋有 8 個可能的相反走棋，依次類推。一字棋的完整走棋樹包含 362,880 個節點。如果你繼續將這一想法擴展到國際象棋或者圍棋，很快你就會發展搜索的劣勢。 感知器 感知器是單層神經網絡的一個早期監督學習算法。給定一個輸入特征向量，感知器可對輸入進行具體分類。通過使用訓練集，網絡的權重和偏差可為線性分類而更新。感知器的首次實現是 IBM 704，接著在自定義硬件上用于圖像識別。 圖 3：感知器與線性分類 作為一個線性分類器，感知器有能力解決線性分離問題。感知器局限性的典型實例是它無法學習專屬的 OR (XOR) 函數。多層感知器解決了這一問題，并為更復雜的算法、網絡拓撲學、深度學習奠定了基礎。 聚類算法 使用感知器的方法是有監督的。用戶提供數據來訓練網絡，然后在新數據上對該網絡進行測試。聚類算法則是一種無監督學習（unsupervised learning）方法。在這種模型中，算法會根據數據的一個或多個屬性將一組特征向量組織成聚類。 圖 4：在一個二維特征空間中的聚類 你可以使用少量代碼就能實現的最簡單的聚類算法是 k-均值（k-means）。其中，k 表示你為樣本分配的聚類的數量。你可以使用一個隨機特征向量來對一個聚類進行初始化，然后將其它樣本添加到其最近鄰的聚類（假定每個樣本都能表示一個特征向量，并且可以使用 Euclidean distance 來確定「距離」）。隨著你往一個聚類添加的樣本越來越多，其形心（centroid，即聚類的中心）就會重新計算。然后該算法會重新檢查一次樣本，以確保它們都在最近鄰的聚類中，最后直到沒有樣本需要改變所屬聚類。 盡管 k-均值聚類相對有效，但你必須事先確定 k 的大小。根據數據的不同，其它方法可能會更加有效，比如分層聚類（hierarchical clustering）或基于分布的聚類（distribution-based clustering）。 決策樹 決策樹和聚類很相近。決策樹是一種關于觀察（observation）的預測模型，可以得到一些結論。結論在決策樹上被表示成樹葉，而節點則是觀察分叉的決策點。決策樹來自決策樹學習算法，其中數據集會根據屬性值測試（attribute value tests）而被分成不同的子集，這個分割過程被稱為遞歸分區（recursive partitioning）。 考慮下圖中的示例。在這個數據集中，我可以基于三個因素觀察到某人是否有生產力。使用一個決策樹學習算法，我可以通過一個指標來識別屬性（其中一個例子是信息增益）。在這個例子中，心情（mood）是生產力的主要影響因素，所以我根據 Good Mood 一項是 Yes 或 No 而對這個數據集進行了分割。但是，在 Yes 這邊，還需要我根據其它兩個屬性再次對該數據集進行切分。表中不同的顏色對應右側中不同顏色的葉節點。 圖 5：一個簡單的數據集及其得到的決策樹 決策樹的一個重要性質在于它們的內在的組織能力，這能讓你輕松地（圖形化地）解釋你分類一個項的方式。流行的決策樹學習算法包括 C4.5 以及分類與回歸樹（Classification and Regression Tree）。 基于規則的系統 最早的基于規則和推理的系統是 Dendral，于 1965 年被開發出來，但直到 1970 年代，所謂的專家系統（expert systems）才開始大行其道。基于規則的系統會同時存有所需的知識的規則，并會使用一個推理系統（reasoning system）來得出結論。 基于規則的系統通常由一個規則集合、一個知識庫、一個推理引擎（使用前向或反向規則鏈）和一個用戶接口組成。下圖中，我使用了知識「蘇格拉底是人」、規則「如果是人，就會死」以及一個交互「誰會死？」 圖 6：基于規則的系統 基于規則的系統已經在語音識別、規劃和控制以及疾病識別等領域得到了應用。上世紀 90 年代人們開發的一個監控和診斷大壩穩定性的系統 Kaleidos 至今仍在使用。 機器學習 機器學習是人工智能和計算機科學的一個子領域，也有統計學和數學優化方面的根基。機器學習涵蓋了有監督學習和無監督學習領域的技術，可用于預測、分析和數據挖掘。機器學習不限于深度學習這一種。但在這一節，我會介紹幾種使得深度學習變得如此高效的算法。 圖 7：機器學習方法的時間線 反向傳播 神經網絡的強大力量源于其多層的結構。單層感知器的訓練是很直接的，但得到的網絡并不強大。那問題就來了：我們如何訓練多層網絡呢？這就是反向傳播的用武之地。