各位小伙伴們，又到了喜聞樂(lè)見的更新時(shí)間，最近猛料不斷，先有Boston動(dòng)力的“仁義”機(jī)器人反恐演習(xí)，緊接著MIT的狗狗們?cè)趯?shí)驗(yàn)室的綠茵場(chǎng)上集體賣萌，讓我們感慨強(qiáng)人工智能離我們也許不遠(yuǎn)了。

作為快要禿頭的我們，又該怎么看待這個(gè)快速變化的世界呢？在知識(shí)更新越來(lái)越快的現(xiàn)在，想要專注于當(dāng)下似乎都變得艱難。其實(shí)柳貓想要告訴大家，作為一個(gè)普通人，對(duì)各種信息越是了解的多，認(rèn)識(shí)的越是淺薄，為了增強(qiáng)自己的不可替代性，必須增加自己專業(yè)的深度，從一而終。

今天，想跟大家分享一下最早也是最簡(jiǎn)單的一個(gè)機(jī)器學(xué)習(xí)模型：感知器~

感知器的誕生——從樣本中學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)的AI先驅(qū)們一直依靠著神經(jīng)元的繪圖以及它們相互連接的方式，進(jìn)行著艱難的摸索?？的螤柎髮W(xué)的弗蘭克·羅森布拉特是最早模仿人體自動(dòng)圖案識(shí)別視覺(jué)系統(tǒng)架構(gòu)的人之一。

他發(fā)明了一種看似簡(jiǎn)單的網(wǎng)絡(luò)感知器（perceptron），這種學(xué)習(xí)算法可以學(xué)習(xí)如何將圖案進(jìn)行分類，例如識(shí)別字母表中的不同字母。**算法是為了實(shí)現(xiàn)特定目標(biāo)而按步驟執(zhí)行的過(guò)程，**就像烘焙蛋糕的食譜一樣。

如果我們了解了感知器如何學(xué)習(xí)圖案識(shí)別的基本原則，那么在理解深度學(xué)習(xí)工作原理的路上已經(jīng)成功了一半。感知器的目標(biāo)是確定輸入的圖案是否屬于圖像中的某一類別（比如貓）。

上圖解釋了感知器的輸入如何通過(guò)一組權(quán)重，來(lái)實(shí)現(xiàn)輸入單元到輸出單元的轉(zhuǎn)換。權(quán)重是對(duì)每一次輸入對(duì)輸出單元做出的最終決定所產(chǎn)生影響的度量，但是我們?nèi)绾握业揭唤M可以將輸入進(jìn)行正確分類的權(quán)重呢？

解決這個(gè)問(wèn)題的傳統(tǒng)方法，是根據(jù)分析或特定程序來(lái)手動(dòng)設(shè)定權(quán)重。這需要耗費(fèi)大量人力，而且往往依賴于直覺(jué)和工程方法。另一種方法則是使用一種從樣本中學(xué)習(xí)的自動(dòng)過(guò)程，和我們認(rèn)識(shí)世界上的對(duì)象的方法一樣。需要很多樣本來(lái)訓(xùn)練感知器，包括不屬于該類別的反面樣本，特別是和目標(biāo)特征相似的，例如，如果識(shí)別目標(biāo)是貓，那么狗就是一個(gè)相似的反面樣本。這些樣本被逐個(gè)傳遞給感知器，如果出現(xiàn)分類錯(cuò)誤，算法就會(huì)自動(dòng)對(duì)權(quán)重進(jìn)行校正。

感知器具體算法

這種感知器學(xué)習(xí)算法的美妙之處在于，如果已經(jīng)存在這樣一組權(quán)重，并且有足夠數(shù)量的樣本，那么它肯定能自動(dòng)地找到一組合適的權(quán)重。在提供了訓(xùn)練集中的每個(gè)樣本，并且將輸出與正確答案進(jìn)行比較后，感知器會(huì)進(jìn)行遞進(jìn)式的學(xué)習(xí)。如果答案是正確的，那么權(quán)重就不會(huì)發(fā)生變化。但如果答案不正確（0被誤判成了1，或1被誤判成了0），權(quán)重就會(huì)被略微調(diào)整，以便下一次收到相同的輸入時(shí)，它會(huì)更接近正確答。這種漸進(jìn)的變化很重要，這樣一來(lái)，權(quán)重就能接收來(lái)自所有訓(xùn)練樣本的影響，而不僅僅是最后一個(gè)。

感知器是具有單一人造shen經(jīng)元的神經(jīng)網(wǎng)絡(luò)，它有一個(gè)輸入層，和將輸入單元和輸出單元相連的一組連接。感知器的目標(biāo)是對(duì)提供給輸入單元的圖案進(jìn)行分類。輸出單元執(zhí)行的基本操作是，把每個(gè)輸入（xn）與其連接強(qiáng)度或權(quán)重（wn）相乘，并將乘積的總和傳遞給輸出單元。上圖中，輸入的加權(quán)和（∑i=1,…,n wi xi）與閾值θ進(jìn)行比較后的結(jié)果被傳遞給階躍函數(shù)。如果總和超過(guò)閾值，則階躍函數(shù)輸出“1”，否則輸出“0”。例如，輸入可以是圖像中像素的強(qiáng)度，或者更常見的情況是，從原始圖像中提取的特征，例如圖像中對(duì)象的輪廓。每次輸入一個(gè)圖像，感知器會(huì)判定該圖像是否為某類別的成員，例如貓類。輸出只能是兩種狀態(tài)之一，如果圖像處于類別中，則為“開”，否則為“關(guān)”?！伴_”和“關(guān)”分別對(duì)應(yīng)二進(jìn)制值中的1和0。

感知器學(xué)習(xí)算法可以表達(dá)為：

感知器如何區(qū)分兩個(gè)對(duì)象類別的幾何解釋

如果對(duì)感知器學(xué)習(xí)的這種解釋還不夠清楚，我們還可以通過(guò)另一種更簡(jiǎn)潔的幾何方法，來(lái)理解感知器如何學(xué)習(xí)對(duì)輸入進(jìn)行分類。對(duì)于只有兩個(gè)輸入單元的特殊情況，可以在二維圖上用點(diǎn)來(lái)表示輸入樣本。每個(gè)輸入都是圖中的一個(gè)點(diǎn)，而網(wǎng)絡(luò)中的兩個(gè)權(quán)重則確定了一條直線。感知器學(xué)習(xí)的目標(biāo)是移動(dòng)這條線，以便清楚地區(qū)分正負(fù)樣本。對(duì)于有三個(gè)輸入單元的情況，輸入空間是三維的，感知器會(huì)指定一個(gè)平面來(lái)分隔正負(fù)訓(xùn)練樣本。在一般的情況下，即使輸入空間的維度可能相當(dāng)高且無(wú)法可視化，同樣的原則依然成立。

這些對(duì)象有兩個(gè)特征，例如尺寸和亮度，它們依據(jù)各自的坐標(biāo)值（x，y）被繪制在每張圖上。左邊圖中的兩種對(duì)象（加號(hào)和正方形）可以通過(guò)它們之間的直線分隔開；感知器能夠?qū)W習(xí)如何進(jìn)行這種區(qū)分。其他兩個(gè)圖中的兩種對(duì)象不能用直線隔開，但在中間的圖中，兩種對(duì)象可以用曲線分開。而右側(cè)圖中的對(duì)象必須舍棄一些樣本才能分隔成兩種類型。如果有足夠的訓(xùn)練數(shù)據(jù)，深度學(xué)習(xí)網(wǎng)絡(luò)就能夠?qū)W習(xí)如何對(duì)這三個(gè)圖中的類型進(jìn)行區(qū)分。

最終，如果解決方案是可行的，權(quán)重將不再變化，這意味著感知器已經(jīng)正確地將訓(xùn)練集中的所有樣本進(jìn)行了分類。

但是，在所謂的“過(guò)度擬合”（overfitting）中，也可能沒(méi)有足夠的樣本，網(wǎng)絡(luò)僅僅記住了特定的樣本，而不能將結(jié)論推廣到新的樣本。為了避免過(guò)度擬合，關(guān)鍵是要有另一套樣本，稱為“測(cè)試集”（test set），它沒(méi)有被用于訓(xùn)練網(wǎng)絡(luò)。訓(xùn)練結(jié)束時(shí)，在測(cè)試集上的分類表現(xiàn)，就是對(duì)感知器是否能夠推廣到類別未知的新樣本的真實(shí)度量。泛化（generalization）是這里的關(guān)鍵概念。在現(xiàn)實(shí)生活中，我們幾乎不會(huì)在同樣的視角看到同一個(gè)對(duì)象，或者反復(fù)遇到同樣的場(chǎng)景，但如果我們能夠?qū)⒁郧暗慕?jīng)驗(yàn)泛化到新的視角或場(chǎng)景中，我們就可以處理更多現(xiàn)實(shí)世界的問(wèn)題。

利用感知器區(qū)分性別

舉一個(gè)用感知器解決現(xiàn)實(shí)世界問(wèn)題的例子。想想如果去掉頭發(fā)、首飾和第二性征，比如男性比女性更為突起的喉結(jié)，該如何區(qū)分男性和女性的面部。

這張臉屬于男性還是女性？人們通過(guò)訓(xùn)練感知器來(lái)辨別男性和女性的面孔。來(lái)自面部圖像（上圖）的像素乘以相應(yīng)的權(quán)重（下圖），并將該乘積的總和與閾值進(jìn)行比較。每個(gè)權(quán)重的大小被描繪為不同顏色像素的面積。正值的權(quán)重（白色）表現(xiàn)為男性，負(fù)值的權(quán)重（黑色）傾向于女性。鼻子寬度，鼻子和嘴之間區(qū)域的大小，以及眼睛區(qū)域周圍的圖像強(qiáng)度對(duì)于區(qū)分男性很重要，而嘴和顴骨周圍的圖像強(qiáng)度對(duì)于區(qū)分女性更重要。

區(qū)分男性與女性面部的工作有趣的一點(diǎn)是，雖然我們很擅長(zhǎng)做這種區(qū)分，卻無(wú)法確切地表述男女面部之間的差異。由于沒(méi)有單一特征是決定性的，因此這種模式識(shí)別問(wèn)題要依賴于將大量低級(jí)特征的證據(jù)結(jié)合起來(lái)。感知器的優(yōu)點(diǎn)在于，權(quán)重提供了對(duì)性別區(qū)分最有幫助的面部的線索。令人驚訝的是，人中（即鼻子和嘴唇之間的部分）是最顯著的特征，大多數(shù)男性人中的面積更大。眼睛周圍的區(qū)域（男性較大）和上頰（女性較大）對(duì)于性別分類也有著很高的信息價(jià)值。感知器會(huì)權(quán)衡來(lái)自所有這些位置的證據(jù)來(lái)做出決定，我們也是這樣來(lái)做判定的，盡管我們可能無(wú)法描述出到底是怎么做到的。

感知器的擴(kuò)展

感知器激發(fā)了對(duì)高維空間中模式分離的美妙的數(shù)學(xué)分析。當(dāng)那些點(diǎn)存在于有數(shù)千個(gè)維度的空間中時(shí)，我們就無(wú)法依賴在生活的三維空間里對(duì)點(diǎn)和點(diǎn)之間距離的直覺(jué)。俄羅斯數(shù)學(xué)家弗拉基米爾·瓦普尼克（Vladimir Vapnik）在這種分析的基礎(chǔ)上引入了一個(gè)分類器，稱為“支持向量機(jī)”（Support Vector Machine）。

它將感知器泛化，并被大量用于機(jī)器學(xué)習(xí)。他找到了一種自動(dòng)尋找平面的方法，能夠最大限度地將兩個(gè)類別的點(diǎn)分開（線性）。這讓泛化對(duì)空間中數(shù)據(jù)點(diǎn)的測(cè)量誤差容忍度更大，再結(jié)合作為非線性擴(kuò)充的“內(nèi)核技巧”（kernel trick），支持向量機(jī)算法就成了機(jī)器學(xué)習(xí)中的重要支柱。

總結(jié)——并非萬(wàn)能的感知器

在感知器中，每個(gè)輸入都獨(dú)立地向輸出單元提供證據(jù)。但是，如果需要依靠多個(gè)輸入的組合來(lái)做決定，那會(huì)怎樣呢？這就是感知器無(wú)法區(qū)分螺旋結(jié)構(gòu)是否相連的原因：?jiǎn)蝹€(gè)像素并不能提供它是在內(nèi)部還是外部的位置信息。盡管在多層前饋神經(jīng)網(wǎng)絡(luò)中，可以在輸入和輸出單元之間的中間層中形成多個(gè)輸入的組合，但是在20世紀(jì)60年代，還沒(méi)有人知道如何訓(xùn)練簡(jiǎn)單到中間只有一層“隱藏單元”（hiddenunits）的神經(jīng)網(wǎng)絡(luò)。