自動編碼器（Auto-Encoder，AE）

自編碼器（autoencoder）是神經網絡的一種，經過訓練后能嘗試將輸入復制到輸出。自編碼器內部有一個隱藏層 h，可以產生編碼（code）表示輸入。該網絡可以看作由兩部分組成：一個由函數 h = f(x) 表示的編碼器和一個生成重構的解碼器 r = g(h)。我們不應該將自編碼器設計成輸入到輸出完全相等。這通常需要向自編碼器強加一些約束，使它只能近似地復制，并只能復制與訓練數據相似的輸入。

自動編碼機由三層網絡組成，其中輸入層神經元數量與輸出層神經元數量相等，中間層神經元數量少于輸入層和輸出層。搭建一個自動編碼器需要完成下面三樣工作：搭建編碼器，搭建解碼器，設定一個損失函數，用以衡量由于壓縮而損失掉的信息（自編碼器是有損的）。編碼器和解碼器一般都是參數化的方程，并關于損失函數可導，典型情況是使用神經網絡。編碼器和解碼器的參數可以通過最小化損失函數而優化。

自動編碼機（Auto-encoder）是一個自監督的算法，并不是一個無監督算法，它不需要對訓練樣本進行標記，其標簽產生自輸入數據。因此自編碼器很容易對指定類的輸入訓練出一種特定的編碼器，而不需要完成任何新工作。自動編碼器是數據相關的，只能壓縮那些與訓練數據類似的數據。比如，使用人臉訓練出來的自動編碼器在壓縮別的圖片，比如樹木時性能很差，因為它學習到的特征是與人臉相關的。

自動編碼器運算過程：原始input（設為x）經過加權（W、b)、映射（Sigmoid）之后得到y，再對y反向加權映射回來成為z。通過反復迭代訓練兩組（W、b），目的就是使輸出信號與輸入信號盡量相似。訓練結束之后自動編碼器可以由兩部分組成：

1.輸入層和中間層，可以用這個網絡來對信號進行壓縮

2.中間層和輸出層，我們可以將壓縮的信號進行還原

降噪自動編碼器（Denoising Auto Encoder，DAE）

降噪自動編碼器就是在自動編碼器的基礎之上，為了防止過擬合問題而對輸入層的輸入數據加入噪音，使學習得到的編碼器具有魯棒性而改進的，是Bengio在08年論文：Extracting and composing robust features with denoising autoencoders提出的。

論文中關于降噪自動編碼器的示意圖如下，類似于dropout，其中x是原始的輸入數據，降噪自動編碼器以一定概率（通常使用二項分布）把輸入層節點的值置為0，從而得到含有噪音的模型輸入x?。

這個破損的數據是很有用的，原因有二：

1.通過與非破損數據訓練的對比，破損數據訓練出來的Weight噪聲比較小。降噪因此得名。原因不難理解，因為擦除的時候不小心把輸入噪聲給×掉了。

2.破損數據一定程度上減輕了訓練數據與測試數據的代溝。由于數據的部分被×掉了，因而這破損數據一定程度上比較接近測試數據。訓練、測試肯定有同有異，當然我們要求同舍異。

堆疊降噪自動編碼器（Stacked Denoising Auto Encoder，SDAE）

SDAE的思想就是將多個DAE堆疊在一起形成一個深度的架構。只有在訓練的時候才會對輸入進行腐蝕(加噪)，訓練完成就不需要在進行腐蝕。結構如下圖所示：

**逐層貪婪訓練：**每層自編碼層都單獨進行非監督訓練，以最小化輸入（輸入為前一層的隱層輸出）與重構結果之間的誤差為訓練目標。前K層訓練好了，就可以訓練K+1層，因為已經前向傳播求出K層的輸出，再用K層的輸出當作K+1的輸入訓練K+1層。

一旦SDAE訓練完成, 其高層的特征就可以用做傳統的監督算法的輸入。當然，也可以在最頂層添加一層logistic regression layer（softmax層），然后使用帶label的數據來進一步對網絡進行 微調（fine-tuning） ，即用樣本進行有監督訓練。

審核編輯 hhy