神經(jīng)網(wǎng)絡(luò)無需學(xué)習(xí)就能駕駛虛擬賽車。
動物生下來就具有天生的能力和稟性。馬生下來幾小時后就會走,鴨子孵出來后很快就會游,人類嬰兒自然而然會被人臉吸引。大腦進化到了即使幾乎沒有經(jīng)驗也敢于面對世界的地步,許多研究人員希望AI也有這種天生的能力。
新研究發(fā)現(xiàn),人工神經(jīng)網(wǎng)絡(luò)可以進化到無需學(xué)習(xí)即可執(zhí)行任務(wù)的程度。該技術(shù)有望帶來這樣的AI:極其擅長處理各種任務(wù),比如為照片添加標簽或駕駛汽車。
人工神經(jīng)網(wǎng)絡(luò)對彼此之間傳輸信息的小型計算單元(“神經(jīng)元”)進行了排列。這種網(wǎng)絡(luò)常常通過調(diào)整神經(jīng)元之間連接的“權(quán)重”或強度來學(xué)習(xí)諸多任務(wù),比如玩游戲或識別圖像。一種名為神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(neural architecture search)的技術(shù)試過眾多網(wǎng)絡(luò)形狀和大小,以找到針對某特定用途提高學(xué)習(xí)能力的那種網(wǎng)絡(luò)形狀和大小。
新方法使用同樣這種搜索技術(shù)來查找權(quán)重并不重要的網(wǎng)絡(luò)。對于這種網(wǎng)絡(luò)而言,網(wǎng)絡(luò)的整體形狀決定了它的智能,可能使其特別適合某些任務(wù)。
供職于谷歌Brain的論文主要作者、計算機科學(xué)家Adam Gaier說:“如果動物有所有這些天生的行為,一些神經(jīng)網(wǎng)絡(luò)在未經(jīng)大量訓(xùn)練的情況下就有出色的表現(xiàn),我們想知道我們能將這個想法運用到多先進的程度。”
整個過程始于一組很簡單的網(wǎng)絡(luò),這些網(wǎng)絡(luò)將輸入(比如來自機器人傳感器的數(shù)據(jù))與行為輸出連接起來。它評估網(wǎng)絡(luò)處理特定任務(wù)時的性能,保持網(wǎng)絡(luò)處于最佳性能狀態(tài),并通過添加神經(jīng)元、添加連接或改變神經(jīng)元對輸入總和的敏感度使網(wǎng)絡(luò)發(fā)生突變。在評估階段,為網(wǎng)絡(luò)的所有權(quán)重賦予一個共享的隨機數(shù)。(這實際上針對幾個隨機數(shù)來完成,然后對結(jié)果求平均值。)
結(jié)果名為與權(quán)重?zé)o關(guān)的神經(jīng)網(wǎng)絡(luò)(WANN)。這種網(wǎng)絡(luò)因處理任務(wù)時表現(xiàn)出色和很簡單而獲得加分。處理該研究論文中那些任務(wù)的典型網(wǎng)絡(luò)可能有數(shù)千個神經(jīng)元和權(quán)重,而WANN只有少量的神經(jīng)元和僅僅一個權(quán)重。
但令人驚訝的是,WANN仍表現(xiàn)不俗。研究團隊將它們與標準網(wǎng)絡(luò)架構(gòu)進行了比較,標準網(wǎng)絡(luò)架構(gòu)的權(quán)重經(jīng)過逐漸完善,可以熟練完成這三項模擬任務(wù):駕駛賽車、使兩足機器人行走以及控制雙輪推車以平衡支桿。
兩條腿旁邊是神經(jīng)網(wǎng)絡(luò)及眾多連接的示意圖。盡管沒有取得高分,但前一代網(wǎng)絡(luò)中的極簡架構(gòu)仍能控制此處所示的向前行走的Bipedal Walker兩足機器人。
與經(jīng)過訓(xùn)練的網(wǎng)絡(luò)相比,WANN得到的分數(shù)只有其分數(shù)的六分之一到一半。研究人員賦予表現(xiàn)最佳的權(quán)重而不是隨機權(quán)重后,與經(jīng)過訓(xùn)練的網(wǎng)絡(luò)相比,WANN得到的分數(shù)提高到三分之二到五分之四。如果在進化后,以訓(xùn)練龐大標準網(wǎng)絡(luò)的同一方式來訓(xùn)練WANN,其性能與標準網(wǎng)絡(luò)相媲美。
在涉及識別手寫數(shù)字的任務(wù)中,WANN的準確率超過90%(而針對這項任務(wù)訓(xùn)練的龐大網(wǎng)絡(luò)的準確率為99%)。該研究論文上個月在加拿大溫哥華的神經(jīng)信息處理系統(tǒng)(NeurIPS)大會上公布。
優(yōu)步AI實驗室(Uber AI Labs)的計算機科學(xué)家Rosanne Liu沒有參與這項研究,他說:“他們的整個系統(tǒng)切實可行,這非常了不起。”其他研究人員嘗試開發(fā)不依賴權(quán)重的網(wǎng)絡(luò),但以失敗告終。Gaier稱,這個突破最初是為所有權(quán)重賦予同一數(shù)字的bug,卻不料最終簡化了網(wǎng)絡(luò)搜索。
雖然WANN的性能未能超過經(jīng)過訓(xùn)練的大型網(wǎng)絡(luò),但該方法為尋找專門適合不同任務(wù)的網(wǎng)絡(luò)架構(gòu)開辟了一條新途徑,正如大腦各部位以不同的方式相連以適合特定的用途。比如說,卷積神經(jīng)網(wǎng)絡(luò)的特點是擁有適合圖像識別的架構(gòu),可以映射大腦視覺皮層的結(jié)構(gòu)。Gaier認為,可能還有多得多的構(gòu)建模塊,準備使AI一問世就很聰明。
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4771瀏覽量
100772 -
圖像識別
+關(guān)注
關(guān)注
9文章
520瀏覽量
38273 -
卷積神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
4文章
367瀏覽量
11865
發(fā)布評論請先 登錄
相關(guān)推薦
評論