近年來，作為人工智能領域最重要的進展--深度學習(Deep Learning)，在諸多領域都有很多驚人的表現。早在2013年，深度學習就被麻省理工學院的《MIT科技評論》(MIT Technology Review)評為世界10大突破性技術之一。

另一個更具有劃時代意義的案例是，2016年3月，圍棋世界頂級棋手李世石九段，以1∶4不敵谷歌公司研發的阿爾法圍棋（AlphaGo，亦稱阿爾法狗），這標志著人工智能在圍棋領域已經開始“碾壓”人類。在2016年年末至2017年年初，AlphaGo的升級版Master（大師）又在圍棋快棋對決中，以60場連勝橫掃中日韓頂尖職業高手，一時震驚四野。

深度學習不僅是一種算法的升級，還是一種全新的思維方式。我們完全可以利用深度學習，通過對海量數據的快速處理，消除信息的不確定性，從而幫助我們認知世界。它帶來的顛覆性在于，將人類過去癡迷的算法問題，演變成數據和計算問題。在以前，“算法為核心競爭力”正在轉變為“數據為核心競爭力”。

我們知道，深度學習的概念源于人工神經網絡的研究，所以說到深度學習，就不能不提神經網絡。自20世紀80年代起，人工神經網絡(ArtificialNeural Network，ANN)開始興起，而且在很長一段時間內都是人工智能領域的研究熱點。

有關神經網絡的定義有很多。這里我們給出芬蘭計算機科學家托伊沃·科霍寧(Teuvo Kohonen)的定義（他以提出“自組織神經網絡”而名揚人工智能領域）：“神經網絡是一種由具有自適應性的簡單單元構成的廣泛并行互聯的網絡，它的組織結構能夠模擬生物神經系統對真實世界所做出的交互反應。

人工神經網絡是受到生物神經網絡的啟發而來，在生物神經網絡中，人類大腦通過增強或者弱化突觸進行學習的方式，最終會形成一個復雜的網絡，形成一個分布式特征表示(Distributed Representation)。

1. 生物神經元簡介

生物神經網絡中的最基本元素就是神經元(Neuron)。神經元，一般包括神經細胞體(Soma)、樹突(Dendrites)、軸突(Axon)和突觸(Synapse)4部分.神經元是大腦的基本計算單元。人類的神經系統有大約86億個神經元，由神經突觸連接在一起。在生物神經網絡中，每個神經元與其他神經元通過突觸進行連接。神經元之間的信息傳遞，屬于化學物質的傳遞。當它“興奮”時，就會向與它相連的神經元發送化學物質（神經遞質，Neurotransmitter），從而改變這些神經元的電位。如果某些神經元的電位超過了一個閾值，那么，它就會被“激活”，也就是“興奮”起來，接著向其他神經元發送化學物質，猶如漣漪，就這樣一層接著一層傳播。

1）神經元的信息傳遞機理

在神經元中，突觸承載神經沖動信息傳導功能，樹突和細胞體為輸入接口，接受突觸點的輸入信號；細胞體類似于一個微處理器，對各樹突和細胞體各部位獲取的來自其他神經元的輸入信息進行組合，并在一定條件下觸發，形成神經沖動輸出信號；輸出信號沿軸突傳至軸突末梢，軸突末梢作為輸出端，通過突觸將這一輸出信號傳向其他神經元的樹突和細胞體。下面對神經元之間信息的產生、傳遞和整合進行闡述。研究表明，神經元之間信息的產生、傳遞和整合是一種電化學活動。由于細胞膜本身對不同離子具有不同的通透性，所以使膜內外細胞液中的離子存在濃度差。神經元在無神經信號輸入時，其細胞膜內外由離子濃度差造成的電位差在-70mV（內負外正）左右，稱為靜息電位，此時，細胞膜的狀態為極化狀態(Polarization)，神經元的狀態為靜息狀態。當神經元受到外界刺激時，如果膜電位從靜息電位向正方向偏移，則稱為去極化(Depolarization)，此時神經元的狀態為興奮狀態；如果膜電位從靜息電位向負方向偏移，則稱為超極化(Hyperpolarization)，此時神經元的狀態為抑制狀態。神經元細胞膜的去極化和超極化程度反映了神經元的興奮和抑制的強烈程度。在某一時刻，神經元總是處于靜息、興奮和抑制3種狀態之一。神經元之間信息的產生與興奮程度相關，在外界刺激下，當神經元的興奮程度超過了某個限度，即細胞膜去極化程度超過了某個閾值電位時，神經元被激發而輸出神經脈沖。每個神經脈沖產生的經過如下：當膜電位以靜息電位為基準高出15mV，即超過閾值電位(-55mV)時，該神經細胞變成活性細胞，其膜電位自發地急速升高，在1ms內，相比于靜息電位上升100mV左右，此后膜電位又急速下降，回到靜止時的值。這一過程稱為細胞的興奮過程，興奮的結果是產生一個寬度為1ms、振幅為100mV的電脈沖，又稱神經沖動，如圖所示。

圖膜電位變化

值得注意的是，當細胞體產生一個電脈沖后，即使受到很強的刺激，也不會立刻產生興奮性電脈沖，這是因為神經元在發放電脈沖時，閾值電位急速升高，持續1ms后慢慢下降到-55mV這一正常狀態，這段時間約為數毫秒，稱為不應期。不應期結束后，若細胞受到很強的刺激，則會再次產生興奮性電脈沖。由此可見，神經元產生的信息是具有電脈沖形式的神經沖動，各電脈沖的寬度和幅度相同，而其間隔是隨機變化的。神經元的輸入電脈沖密度越大，其興奮程度越高，單位時間內產生的電脈沖串的平均頻率也越高。

2）神經元之間信息的傳遞

神經沖動信號沿軸突傳向其末端的各個分支，在軸突的末端觸及突觸前時，突觸前的突觸小泡能釋放一種化學物質（神經遞質）。在前一個神經元發放電脈沖并傳到其軸突末梢后，這種神經遞質從突觸前膜釋放出，經突觸間隙的液體擴散，在突觸后膜與特殊受體相結合。受體的性質決定了神經遞質的作用是興奮還是抑制，并據此改變突觸后膜的離子通透性，從而使突觸后膜電位發生變化。根據突觸后膜電位的變化，可將突觸分為兩種：興奮性突觸和抑制性突觸。興奮性突觸的后膜電位隨神經遞質與受體結合數量的增加而向正電位方向變化，抑制性突觸的后膜電位隨遞質與受體結合數量的增加而向負電位方向變化。從化學角度看，當興奮性神經遞質傳到突觸后膜時，后膜對離子通透性的改變使流入細胞膜內的正離子增加，從而使突觸后膜成分去極化，產生興奮性突觸后電位；當抑制性神經遞質傳送到突觸后膜時，突觸后膜對離子通透性的改變使流出細胞膜外的正離子增加，從而使突觸后膜成分超極化，產生抑制性突觸后電位。

當突觸前膜釋放的興奮性神經遞質使突觸后膜的去極化電位超過了某個閾值電位時，后一個神經元就有神經沖動輸出，從而把前一個神經元的信息傳遞給后一個神經元，如圖所示。

圖突觸信息傳遞過程

從電脈沖（神經沖動）信號到達突觸前膜，到突觸后膜電位發生變化，有0.2～1ms的時間延遲，稱為突觸延擱(SynapticDelay)。這段延遲是神經遞質分泌、向突觸間隙擴散、到達突觸后膜并發生作用的時間總和。由此可見，突觸對神經沖動的傳遞具有延時作用。在人腦中，神經元間的突觸聯系大部分是在出生后由于給予刺激而成長起來的。外界刺激的性質不同，能夠改變神經元之間的突觸聯系，即突觸后膜電位變化的方向與大小，從突觸信息傳遞的角度看，表現為放大倍數和極性的變化。正是由于各神經元之間的突觸連接強度和極性有所不同并可進行調整，人腦才具有學習和存儲信息的功能。

3）神經元之間信息的整合

神經元對信息的接受和傳遞都是通過突觸來進行的。單個神經元可以與多達上千個其他神經元的軸突末梢形成突觸連接，接受從各個軸突傳來的脈沖輸入。這些輸入可到達神經元的不同部位，輸入部位不同，對神經元影響的權重也不同。在同一時刻產生的刺激引起的膜電位變化大致等于各單獨刺激引起的膜電位變化的代數和，這種累加求和稱為空間整合。另外，各輸入脈沖抵達神經元的先后時間也不一樣。由一個脈沖引起的突觸后膜電位很低，但在其持續時間內有另一個脈沖相繼到達時，總的突觸后膜電位升高，這種現象稱為時間整合。輸入一個神經元的信息在時間和空間上常呈現一種復雜多變的形式，神經元需要對它們進行積累和整合加工，從而決定其輸出的時機和強弱。正是由于神經元的這種時空整合作用，才使得神經元在神經系統中可以有條不紊、夜以繼日地處理著各種復雜的信息，執行著生物中樞神經系統的各種信息處理功能。

2.M-P神經元模型

現在我們所講的神經網絡包括深度學習，追根溯源，它們在模擬大腦神經元的工作機理，模仿大腦神經元的最早示例，就是20世紀40年代提出但一直沿用至今的“M-P神經元模型”。

M-P神經元模型，最早源于發表于1943年的一篇開創性論文。論文的兩位作者分別是神經生理學家沃倫·麥克洛克（WarrenMcCulloch）和數學家沃爾特·皮茨（Walter Pitts），論文首次實現了用一個簡單電路（即感知機）來模擬大腦神經元的行為。

M-P神經元模型，如圖所示，神經元接收來自n個其他神經元傳遞過來的輸入信號。這些信號的表達，通常通過神經元之間連接的權重(Weight)大小來表示，神經元將接收到的輸入值按照某種權重疊加起來，與當前神經元的閾值進行比較，然后通過激活函數(Activation Function)向外表達輸出，在概念上這就叫感知機(Perceptron)。

這里的關鍵是，信息是通過一個激活函數來處理的。激活函數模擬大腦神經元，輸入信號的強度的大小決定了它們被觸發或者不被觸發。然后處理結果被加權并分配到下一層神經元。從本質上來講，神經元通過加權和相互激活。這保證了兩個神經元之間連接強度的大小由處理信息的權重來確定。

人工神經元 數學節點、單元或者神經元是人工神經網絡的核心。它是基本的處理單位。輸入層神經元接收通過數學函數處理的輸入信息，然后把它們分發到隱藏層神經元。信息經隱藏層神經元處理后傳送到輸出層神經元。

圖 M-P神經元模型

圖 M-P神經元模型與生物神經元對比

審核編輯：湯梓紅