人類需要充足的睡眠才能有最好的狀態(tài)，而最新研究發(fā)現(xiàn)，人工神經(jīng)網(wǎng)絡(luò)也可能受益于長時間的休息。模擬神經(jīng)網(wǎng)絡(luò)中類似睡眠周期的狀態(tài)，可以消除人工模擬大腦中不間斷的自學(xué)習(xí)帶來的不穩(wěn)定性。

眾所周知，充足的睡眠可以帶來元氣滿滿的一天，提高工作效率，無論是動物還是人類，都可以得到充足睡眠帶來的好處。

而近日洛斯阿拉莫斯國家實驗室 （Los Alamos National Laboratory） 的一項研究表明，人工計算大腦也可以從睡眠中受益，這種好處與睡眠給人類所帶來的好處類似。

人工計算大腦的靈感來自于人類大腦的神經(jīng)連接。想象一下，一個由相互連接的節(jié)點組成的龐大分層網(wǎng)絡(luò)，他們互相通信。一連串的信息波，通過一系列電子發(fā)射穿過結(jié)構(gòu)。網(wǎng)絡(luò)中的每個節(jié)點或 “神經(jīng)元” 都有自己的數(shù)據(jù)和信號供應(yīng)，以便將數(shù)據(jù)傳輸?shù)较乱粚庸?jié)點。

隨著時間的推移，神經(jīng)網(wǎng)絡(luò)調(diào)整這些神經(jīng)元之間獨特的相互作用，以提高其解決問題的能力。神經(jīng)組合的路線圖會慢慢地微調(diào)，直到系統(tǒng)為給定的任務(wù)開發(fā)出最佳策略。

人造大腦需要睡眠

在這項研究中，洛斯阿拉莫斯國家實驗室的研究人員重點研究了脈沖神經(jīng)網(wǎng)絡(luò)，它的功能不同于標準的人工神經(jīng)網(wǎng)絡(luò)。這些計算系統(tǒng)更接近于人腦的神經(jīng)回路，神經(jīng)元在接收到大量輸入信號后產(chǎn)生一個信號?？茖W(xué)家們?nèi)栽趯W(xué)習(xí)如何訓(xùn)練脈沖神經(jīng)網(wǎng)絡(luò)，因為這些系統(tǒng)需要與典型的人工神經(jīng)網(wǎng)絡(luò)完全不同的方法。

洛斯阿拉莫斯國家實驗室的計算機科學(xué)家 Yijing Watkins 說道：“我們研究的是脈沖神經(jīng)網(wǎng)絡(luò)，該系統(tǒng)能像人類大腦一樣學(xué)習(xí)。而且我們對神經(jīng)形態(tài)處理器的一種訓(xùn)練方法有極大的興趣，該方法可以通過模仿人類以及其他生物在童年期從環(huán)境中學(xué)習(xí)的方式來進行訓(xùn)練。

Watkins 和她的研究小組發(fā)現(xiàn)，連續(xù)一段時間的無監(jiān)督學(xué)習(xí)后，神經(jīng)網(wǎng)絡(luò)模擬變得不穩(wěn)定。當(dāng)他們將神經(jīng)網(wǎng)絡(luò)暴露在類似于人類大腦在睡眠時所經(jīng)歷的波動狀態(tài)時，穩(wěn)定性就恢復(fù)了。Watkins 說：“這就好像我們讓人工神經(jīng)網(wǎng)絡(luò)好好睡了一晚一樣?！?/p>

這一發(fā)現(xiàn)是研究小組在開發(fā)神經(jīng)網(wǎng)絡(luò)時發(fā)現(xiàn)的，該神經(jīng)網(wǎng)絡(luò)與人類和其他生物系統(tǒng)學(xué)習(xí)的方式非常接近。一開始，研究小組在進行無監(jiān)督字典訓(xùn)練時，很難穩(wěn)定模擬神經(jīng)網(wǎng)絡(luò)，這涉及到對對象進行分類，而沒有先前的例子來比較它們。

“一般很少會碰到這種讓學(xué)習(xí)系統(tǒng)更穩(wěn)定的問題，只有在嘗試使用仿生的脈沖神經(jīng)形態(tài)的處理器，或者試圖理解生物學(xué)本身時，才會碰到這種問題?！?洛斯阿拉莫斯的計算機科學(xué)家和研究合著者 Garrett Kenyon 說，“絕大多數(shù)機器學(xué)習(xí)、深度學(xué)習(xí)和人工智能研究人員從來沒有遇到過這個問題，因為在他們研究的人工系統(tǒng)中，他們可以執(zhí)行全局數(shù)學(xué)運算，從而調(diào)節(jié)系統(tǒng)的整體動態(tài)增益?！?/p>

研究人員認為，將神經(jīng)網(wǎng)絡(luò)暴露在模擬睡眠狀態(tài)下的決定，幾乎是穩(wěn)定網(wǎng)絡(luò)的最后一搏。他們對各種類型的噪音進行了實驗，這些噪音大致相當(dāng)于調(diào)諧收音機時可能遇到的電臺間的靜態(tài)電音。當(dāng)他們使用所謂的高斯噪聲波時，得到了最好的結(jié)果。

研究小組的下一個目標是在英特爾的 Loihi 神經(jīng)形態(tài)芯片上實現(xiàn)他們的算法。他們希望讓 Loihi 時不時地進入睡覺狀態(tài)，使其能夠穩(wěn)定地實時處理來自硅視網(wǎng)膜攝像頭的信息。如果這些發(fā)現(xiàn)證實了人造大腦需要睡眠，我們或許可以期待未來機器人和其他智能機器也會有同樣的情況。

Watkins 團隊在 6 月 14 日的 CVPR 大會上對該項研究做了詳細介紹，文章一經(jīng)發(fā)表，也在 Reddit 網(wǎng)站上引起熱議。

Reddit 熱議：人造大腦真的是在睡覺嗎？

有網(wǎng)友指出，稱人造大腦的穩(wěn)定狀態(tài)類比于睡眠狀態(tài)有待商榷，因為如果我們不了解睡眠，我們怎么能說他們相似或不相似？唯一相似的地方，是噪聲和腦波中存在的波形，該波形隨處可見，并非睡眠獨有。

而也有網(wǎng)友表達不同的意見，他認為如果我們把 “睡眠” 概念化為一種恢復(fù)退化的認知功能的無反應(yīng)的恢復(fù)過程，那么睡眠對于任何給定的系統(tǒng)都將是一個不同的過程，但最終功能是相同的，本文所描述的過程甚至可能是相符的。

除此外，有網(wǎng)友質(zhì)疑該研究在很大程度上夸大了人造大腦與睡眠的相似之處，使得它的適用性比現(xiàn)在更加廣泛。

脈沖神經(jīng)網(wǎng)絡(luò)雖然經(jīng)常被譽為第三代人工神經(jīng)網(wǎng)絡(luò)，但是屬于相當(dāng)小眾的研究領(lǐng)域。對于傳統(tǒng)的 CNN 來說，這種技術(shù)可能并不需要，因為它們在訓(xùn)練過程中會不斷地進行自我規(guī)則化。

也有網(wǎng)友補充知識點，生物神經(jīng)網(wǎng)絡(luò)具有固有的延遲，因為電信號在網(wǎng)絡(luò)中傳播需要時間，長時間訓(xùn)練網(wǎng)絡(luò)也非常困難。

信號需要時間流過網(wǎng)絡(luò)，如果正在訓(xùn)練，則需要進行反向傳播來加強連接。如果最短路徑和最長路徑之間的時間差變得太大，則將先處理一條路徑，而另一條路徑仍在傳播。然后當(dāng)后來的輸入進入時，前一個輸入的潛在處理將破壞新數(shù)據(jù)，即引起“幻覺”。

這位網(wǎng)友指出，研究人員所做的 “重置” 很可能是發(fā)送固定頻率的脈沖，其中或許有一個作用，就是優(yōu)化由于最近學(xué)習(xí)而加強的路徑，使路徑之間的時間間隔縮短到某個閾值以下，以防止幻覺的產(chǎn)生。

該網(wǎng)友還建議將生物神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)網(wǎng)絡(luò)完全區(qū)別對待。雖然人工神經(jīng)網(wǎng)絡(luò)可能會受到生物學(xué)的啟發(fā)，但有大量的基本差異使得用一個來描述另一個變得困難。