發展過程

1986年Rumelhart等人提出了人工神經網絡的反向傳播算法，掀起了神經網絡在機器學習中的熱潮，神經網絡中存在大量的參數，存在容易發生過擬合、訓練時間長的缺點，但是對比Boosting、Logistic回歸、SVM等基于統計學習理論的方法（也可以看做具有一層隱層節點或不含隱層節點的學習模型，被稱為淺層模型）來說，具有較大的優越性。

淺層模型為什么效果沒有深層模型好？

淺層學習模型通常要由人工的方法來獲得好的樣本特性，在此基礎上進行識別和預測，因此方法的有效性在很大程度上受到特征提取的制約。

深度學習的提出：

2006年，Hinton提出了深度學習，兩個主要的觀點是：

多隱層的人工神經網絡具有優異的特征學習能力，學習到的數據更能反映數據的本質特征有利于可視化或分類

深度神經網絡在訓練上的難度，可以通過逐層無監督訓練有效克服，

深度學習取得成功的原因：

大規模數據（例如ImageNet）：為深度學習提供了好的訓練資源

計算機硬件的飛速發展：特別是GPU的出現，使得訓練大規模上網絡成為可能

深度學習的思想：

深度神經網絡的基本思想是通過構建多層網絡，對目標進行多層表示，以期通過多層的高層次特征來表示數據的抽象語義信息，獲得更好的特征魯棒性。

什么是卷積神經網絡：

卷積神經網絡是一種帶有卷積結構的深度神經網絡，卷積結構可以減少深層網絡占用的內存量，其三個關鍵的操作，其一是局部感受野，其二是權值共享，其三是pooling層，有效的減少了網絡的參數個數，緩解了模型的過擬合問題。

1）網絡結構

**卷積神經網絡整體架構：**卷積神經網絡是一種多層的監督學習神經網絡，隱含層的卷積層和池采樣層是實現卷積神經網絡特征提取功能的核心模塊。該網絡模型通過采用梯度下降法最小化損失函數對網絡中的權重參數逐層反向調節，通過頻繁的迭代訓練提高網絡的精度。卷積神經網絡的低隱層是由卷積層和最大池采樣層交替組成，高層是全連接層對應傳統多層感知器的隱含層和邏輯回歸分類器。第一個全連接層的輸入是由卷積層和子采樣層進行特征提取得到的特征圖像。最后一層輸出層是一個分類器，可以采用邏輯回歸，Softmax回歸甚至是支持向量機對輸入圖像進行分類。

卷積神經網絡結構包括：卷積層，降采樣層，全鏈接層。每一層有多個特征圖，每個特征圖通過一種卷積濾波器提取輸入的一種特征，每個特征圖有多個神經元。

輸入圖像統計和濾波器進行卷積之后，提取該局部特征，一旦該局部特征被提取出來之后，它與其他特征的位置關系也隨之確定下來了，每個神經元的輸入和前一層的局部感受野相連，每個特征提取層都緊跟一個用來求局部平均與二次提取的計算層，也叫特征映射層，網絡的每個計算層由多個特征映射平面組成，平面上所有的神經元的權重相等。

通常將輸入層到隱藏層的映射稱為一個特征映射，也就是通過卷積層得到特征提取層，經過pooling之后得到特征映射層。

2）局部感受野與權值共享

卷積神經網絡的核心思想就是局部感受野、是權值共享和pooling層，以此來達到簡化網絡參數并使得網絡具有一定程度的位移、尺度、縮放、非線性形變穩定性。

局部感受野：由于圖像的空間聯系是局部的，每個神經元不需要對全部的圖像做感受，只需要感受局部特征即可，然后在更高層將這些感受得到的不同的局部神經元綜合起來就可以得到全局的信息了，這樣可以減少連接的數目。

權值共享：不同神經元之間的參數共享可以減少需要求解的參數，使用多種濾波器去卷積圖像就會得到多種特征映射。權值共享其實就是對圖像用同樣的卷積核進行卷積操作，也就意味著第一個隱藏層的所有神經元所能檢測到處于圖像不同位置的完全相同的特征。其主要的能力就能檢測到不同位置的同一類型特征，也就是卷積網絡能很好的適應圖像的小范圍的平移性，即有較好的平移不變性（比如將輸入圖像的貓的位置移動之后，同樣能夠檢測到貓的圖像）

3）卷積層、下采樣層、全連接層

卷積層：因為通過卷積運算我們可以提取出圖像的特征，通過卷積運算可以使得原始信號的某些特征增強，并且降低噪聲。

用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx，得到卷積層Cx。

下采樣層：因為對圖像進行下采樣，可以減少數據處理量同時保留有用信息，采樣可以混淆特征的具體位置，因為某個特征找出來之后，它的位置已經不重要了，我們只需要這個特征和其他特征的相對位置，可以應對形變和扭曲帶來的同類物體的變化。

每鄰域四個像素求和變為一個像素，然后通過標量Wx+1加權，再增加偏置bx+1，然后通過一個sigmoid激活函數，產生一個大概縮小四倍的特征映射圖Sx+1。 **

全連接層：采用softmax全連接，得到的激活值即卷積神經網絡提取到的圖片特征。

卷積神經網絡相比一般神經網絡在圖像理解中的優點：

網絡結構能夠較好的適應圖像的結構

同時進行特征提取和分類，使得特征提取有助于特征分類

權值共享可以減少網絡的訓練參數，使得神經網絡結構變得簡單，適應性更強