如今，深度學(xué)習(xí)已經(jīng)不僅局限于識別支票與信封上的手寫文字。比如，深度神經(jīng)網(wǎng)絡(luò)已成為許多CV應(yīng)用的關(guān)鍵組成部分，包括照片與視頻編輯器、醫(yī)療軟件與自動駕駛汽車等。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)與人類大腦相似，觀察世界的方式也與人類更相近。但是，神經(jīng)網(wǎng)絡(luò)還是會犯一些人類根本不會犯的錯誤，改進(jìn)空間仍很大。

對抗樣本：如果在這張熊貓圖片上添加一個不可察覺的噪聲層，會導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)將熊貓誤識別為長臂猿。這些情況通常被稱為“對抗樣本”（adversarial examples），不經(jīng)意就改變AI模型的行為。對抗機(jī)器學(xué)習(xí)是當(dāng)前人工智能體系的最大挑戰(zhàn)之一。對抗樣本可能會導(dǎo)致機(jī)器學(xué)習(xí)模型的意外失敗，或使模型容易受到網(wǎng)絡(luò)攻擊。因此，構(gòu)建可抵御對抗攻擊的AI系統(tǒng)，已成為AI研究的熱門話題之一。在CV中，保護(hù)深度學(xué)習(xí)系統(tǒng)免受對抗攻擊的方法之一，是應(yīng)用神經(jīng)科學(xué)領(lǐng)域的研究發(fā)現(xiàn)，來縮小神經(jīng)網(wǎng)絡(luò)與哺乳動物視覺系統(tǒng)之間的差距。使用這一方法，MIT與MIT-IBM Watson AI Lab的研究人員發(fā)現(xiàn)，若將哺乳動物視覺皮層的特征直接映射到深度神經(jīng)網(wǎng)絡(luò)上，則能夠創(chuàng)建行為可預(yù)測、且面對對抗干擾（adversarial perturbation）時更“魯棒”的AI系統(tǒng)。在論文“Simulating a Primary Visual Cortex at the Front of CNNs Improves Robustness to Image Perturbations”中，研究人員介紹了一種叫做“VOneNet”的架構(gòu)，將當(dāng)前的深度學(xué)習(xí)技術(shù)與受神經(jīng)科學(xué)啟發(fā)的神經(jīng)網(wǎng)絡(luò)相結(jié)合。

這項(xiàng)工作是由來自慕尼黑大學(xué)、路德維希·馬克西米利安大學(xué)和奧格斯堡大學(xué)的科學(xué)家的幫助下完成的，已被NeurIPS 2020接收。1

關(guān)于卷積神經(jīng)網(wǎng)絡(luò)

目前，計(jì)算機(jī)視覺所使用的主要架構(gòu)是卷積神經(jīng)網(wǎng)絡(luò)（CNN）。當(dāng)多個卷積層堆疊在一起時，卷積層可訓(xùn)練于從圖像中學(xué)習(xí)和提取層次特征。疊得較低的層可以發(fā)現(xiàn)角、邊等常規(guī)圖案，疊得較高的層則會越來越擅長發(fā)現(xiàn)圖像上的具體事物，比如物體與人。

圖注：神經(jīng)網(wǎng)絡(luò)的每一層都會從輸入圖像中提取特定特征。與傳統(tǒng)的全連接網(wǎng)絡(luò)相比，ConvNet更“魯棒”、計(jì)算效率也更高。但是，CNN和人類視覺系統(tǒng)處理信息的方式之間仍然存在根本差異。“深度神經(jīng)網(wǎng)絡(luò)（尤其是CNN）已經(jīng)成長為出色的視覺皮層模型，更令人驚訝的是，與專門用于解釋神經(jīng)科學(xué)數(shù)據(jù)的計(jì)算模型相比，它們更擬合從大腦中收集的實(shí)驗(yàn)數(shù)據(jù) 。”MIT-IBM Watson AI Lab的IBM總監(jiān)David Cox介紹道。“但并不是每個深度神經(jīng)網(wǎng)絡(luò)都能很好地匹配大腦數(shù)據(jù)，且大腦與DNN之間一直都存在差距。”自2000年開始，Cox進(jìn)入MIT師從神經(jīng)科學(xué)教授James DiCarlo以來，他就一直在探索神經(jīng)科學(xué)和人工智能的交叉領(lǐng)域。

“但是，能夠欺騙DNN的圖像卻永遠(yuǎn)也不可能欺騙人類的視覺系統(tǒng)，” Cox說。“同時，DNN難以抵抗圖像的自然退化（比如增加噪音），因此，魯棒性通常是DNN的一個開放問題。考慮到這一點(diǎn)，我們認(rèn)為可以從這個角度去尋找大腦和DNN之間的差異。”“大腦是一個功能強(qiáng)大且高效的信息處理機(jī)器。那么，我們是否能從大腦中學(xué)習(xí)可以實(shí)際有用的新技巧呢？同時，我們可以利用對人工系統(tǒng)的了解來提供指導(dǎo)理論和假設(shè)，幫助我們進(jìn)行了解人類大腦的實(shí)驗(yàn)。” Cox說。2

類腦神經(jīng)網(wǎng)絡(luò)

這篇論文的主要作者是Joel Dapello和Tiago Marques，Cox和導(dǎo)師DiCarlo加入他們，主要研究當(dāng)神經(jīng)網(wǎng)絡(luò)的激活與大腦活動相似時，神經(jīng)網(wǎng)絡(luò)是否對對抗攻擊更具有“魯棒性”。AI研究人員測試了在ImageNet數(shù)據(jù)集上訓(xùn)練的幾種流行的CNN架構(gòu)，包括AlexNet，VGG和ResNet的各種變體。此外，他們還測試了一些已經(jīng)過“對抗訓(xùn)練”的深度學(xué)習(xí)模型，在這個過程中，神經(jīng)網(wǎng)絡(luò)在對抗樣本中進(jìn)行訓(xùn)練，以避免分類錯誤。科學(xué)家使用“ BrainScore”指標(biāo)評估了AI模型，該指標(biāo)比較了深度神經(jīng)網(wǎng)絡(luò)的激活和大腦的神經(jīng)反應(yīng)。然后，他們通過白盒對抗攻擊測試來測量每個模型的魯棒性，在測試中，攻擊者對目標(biāo)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和參數(shù)有充分了解。“令我們驚訝的是，模型越像大腦，系統(tǒng)對抗對抗攻擊的魯棒性就越強(qiáng)，” Cox說。“受此啟發(fā)，我們好奇，是否有可能通過在網(wǎng)絡(luò)輸入階段添加基于神經(jīng)科學(xué)實(shí)驗(yàn)的視覺皮層模擬來提高魯棒性（包括對抗性魯棒性）。”

圖注：研究表明，BrainScores更高的神經(jīng)網(wǎng)絡(luò)，對白盒對抗攻擊也具有更強(qiáng)的魯棒性。3

VOneNet與VOneBlock

為了進(jìn)一步驗(yàn)證他們的發(fā)現(xiàn)，研究人員開發(fā)了一個叫做“VOneNet”的混合深度學(xué)習(xí)架構(gòu)，將標(biāo)準(zhǔn)的CNN與一層以神經(jīng)科學(xué)為靈感的神經(jīng)網(wǎng)絡(luò)相結(jié)合。VOneNet用VOneBlock代替了CNN的前幾層。VOneBlock是一種根據(jù)靈長類動物的初級視覺皮層（也稱為V1區(qū)域）所形成的神經(jīng)網(wǎng)絡(luò)架構(gòu)。也就是說，圖像數(shù)據(jù)首先由VOneBlock處理，然后再傳遞到網(wǎng)絡(luò)的其余部分。VOneBlock本身由Gabor filter bank（GFB）、簡單和復(fù)雜的細(xì)胞非線性、神經(jīng)元隨機(jī)性（neuronal stochasticity）組成。GFB與其他神經(jīng)網(wǎng)絡(luò)中的卷積層相似。但是，盡管經(jīng)典的神經(jīng)網(wǎng)絡(luò)具有隨機(jī)參數(shù)值，在訓(xùn)練期間也會對參數(shù)進(jìn)行調(diào)整，但GFB參數(shù)的值是根據(jù)初級視覺皮層的激活來確定和調(diào)整的。

圖注：VOneBlock是一種模仿初級視覺皮層功能的神經(jīng)網(wǎng)絡(luò)架構(gòu)。“ GFB的權(quán)重與VOneBlock的架構(gòu)選擇是根據(jù)生物學(xué)來設(shè)計(jì)的。這意味著，我們?yōu)閂OneBlock所做的所有選擇都受到了神經(jīng)生理學(xué)的限制。換句話說，我們設(shè)計(jì)了VOneBlock來盡可能地模仿靈長類動物的初級視覺皮層（V1 區(qū)域）。我們考慮了過去四十年中從幾項(xiàng)研究中收集到的可用數(shù)據(jù)，以確定VOneBlock參數(shù)。”論文的共同作者之一Tiago Marques介紹道。

盡管不同靈長類動物的視覺皮層存在一定差異，但也有許多共同特征，尤其是在V1區(qū)域。“大量研究表明，猴子的物體識別能力接近人類。我們的模型使用了已發(fā)布的可用數(shù)據(jù)來表征猴子的V1神經(jīng)元的反應(yīng)。盡管我們的模型仍只是靈長類動物V1的近似值（它不包括所有已知數(shù)據(jù)，這些數(shù)據(jù)甚至在某種程度上受到了限制——我們對V1處理信息的過程了解還不夠），但這是一個很好的近似值。”Marques解釋。除了GFB層之外，VOneBlock的簡單和復(fù)雜細(xì)胞還為神經(jīng)網(wǎng)絡(luò)提供了在不同條件下檢測特征的靈活性。“最終，物體識別的目標(biāo)是不依賴物體的確切形狀、大小、位置和其他低層特征來識別物體的存在，”Marques說。“在VOneBlock中，簡單和復(fù)雜的單元在不同圖像擾動下的支持性能方面似乎起到互補(bǔ)的作用。簡單單元對于處理常見的損壞特別重要，而復(fù)雜單元則擅長處理白盒對抗性攻擊。”4

VOneNet的運(yùn)作

VOneBlock的優(yōu)勢之一是與當(dāng)前CNN架構(gòu)的兼容性。VOneBlock在設(shè)計(jì)時專門設(shè)置了即插即用功能，這意味著它可以直接替代標(biāo)準(zhǔn)CNN結(jié)構(gòu)的輸入層。緊隨VOneBlock核心的過渡層則可以確保其輸出與CNN架構(gòu)的其余部分兼容。研究人員將VOneBlock插入幾個在ImageNet數(shù)據(jù)集上表現(xiàn)良好的CNN架構(gòu)。有趣的是，添加了簡單的塊后，白盒對抗攻擊的魯棒性得到了顯著提高，且性能優(yōu)于基于訓(xùn)練的防御方法。研究人員在論文中寫道：“在標(biāo)準(zhǔn)CNN架構(gòu)的前端模擬靈長類初級視覺皮層的圖像處理，可以顯著提高其對圖像擾動的魯棒性，甚至使它們的性能優(yōu)于最新的防御方法。”

圖注：實(shí)驗(yàn)表明，包括VOneBlock的卷積神經(jīng)網(wǎng)絡(luò)在抵抗白盒對抗攻擊時更具有靈活性。“添加了V1的模型實(shí)際上非常簡單。我們只是更改系統(tǒng)的第一階段，同時保持網(wǎng)絡(luò)的其余部分不變，且此V1模型的生物保真度也仍然非常簡單。”Cox 說，并提到可以將更多細(xì)節(jié)和細(xì)微差別添加到這個模型中，使其與人類大腦更接近。Cox認(rèn)為：“在某些方面，簡單是一種優(yōu)勢，因?yàn)樗綦x了可能重要的較小原則集，但有趣的是，它探索了生物保真度的其他方面是否重要。”該論文挑戰(zhàn)了過去幾年中在AI研究領(lǐng)域越來越普遍的一種趨勢。許多AI科學(xué)家在研究中沒有應(yīng)用關(guān)于腦機(jī)制的最新發(fā)現(xiàn)，而是專注于利用可用的龐大計(jì)算資源和大數(shù)據(jù)集來訓(xùn)練越來越大規(guī)模的神經(jīng)網(wǎng)絡(luò)，來推動AI領(lǐng)域的進(jìn)步。但這種方法給人工智能研究帶來了許多挑戰(zhàn)。VOneNet證明，生物智能仍然有很大的發(fā)展?jié)摿Γ梢越鉀QAI研究正面臨的一些基本問題。論文所介紹的模型直接采自靈長類動物神經(jīng)生物學(xué)，只需要較少的訓(xùn)練便能實(shí)現(xiàn)更類人的行為。這是良性循環(huán)的新轉(zhuǎn)折：神經(jīng)科學(xué)和人工智能相互促進(jìn)并增強(qiáng)了對方的理解和能力。在未來，本文的研究人員將進(jìn)一步探索VOneNet的特性，以及神經(jīng)科學(xué)和AI研究發(fā)現(xiàn)的進(jìn)一步融合。據(jù)Cox介紹，這項(xiàng)工作目前只有一個局限性，即雖然已經(jīng)證明了添加V1塊可以帶來改進(jìn)，但他們卻無法很好地理解為什么會有這樣的改進(jìn)。發(fā)展理論，以找到改善的原因，能夠幫助AI研究人員最終了解真正重要的步驟，并建立更高效的系統(tǒng)。原文鏈接：https://bdtechtalks.com/2020/12/07/vonenet-neurscience-inspired-deep-learning/

原文標(biāo)題：即插即用：把仿生模塊和CNN拼接，對抗攻擊魯棒性顯著提高！

文章出處：【微信公眾號：通信信號處理研究所】歡迎添加關(guān)注！文章轉(zhuǎn)載請注明出處。

責(zé)任編輯：haq