為了讓深度學(xué)習(xí)算法像人類一樣用形狀來(lái)識(shí)別物體，研究人員用涂有不相干紋理的圖片來(lái)訓(xùn)練這些系統(tǒng)。結(jié)果表明：系統(tǒng)的表現(xiàn)得到了提高，這同時(shí)也為我們視覺(jué)的進(jìn)化提供了線索。

當(dāng)你注視一張貓的照片，無(wú)論它被涂成姜黃色，被弄皺，變成黑白色，被污染，被磨損甚至是褪色，你都有可能把它識(shí)別出來(lái)。當(dāng)貓藏在枕頭后面或正在向工作臺(tái)上跳躍時(shí)，你同樣可能會(huì)識(shí)別出它。你已經(jīng)很自然地學(xué)會(huì)了在幾乎任何情況下識(shí)別一只貓。相比之下，由深度神經(jīng)網(wǎng)絡(luò)驅(qū)動(dòng)的機(jī)器視覺(jué)系統(tǒng)有時(shí)甚至能在某些條件下比人類做得更好。但是在一些特殊的情形下，如圖片上有噪聲，顆粒等的情況下，機(jī)器的識(shí)別率會(huì)大打折扣。

德國(guó)的一個(gè)研究小組發(fā)現(xiàn)了導(dǎo)致這種情況的令人意想不到的原因：當(dāng)人類關(guān)注物體的形狀時(shí)，深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)算法通常會(huì)關(guān)注物體的紋理。

這一發(fā)現(xiàn)使人類和機(jī)器的“思考”方式形成鮮明對(duì)比，并說(shuō)明了我們的直覺(jué)可能誤導(dǎo)了人工智能的發(fā)展，同時(shí)也暗示了人類的視覺(jué)為什么會(huì)以現(xiàn)有的方式進(jìn)化。

身著大象皮膚的貓咪和鐘表組成的飛機(jī)

深度學(xué)習(xí)算法的訓(xùn)練方法是向神經(jīng)網(wǎng)絡(luò)展示包含或不包含貓的數(shù)千幅圖像。系統(tǒng)從這些數(shù)據(jù)中找到一些模式，然后用這些模式來(lái)決定如何給從未見(jiàn)過(guò)的圖像貼上標(biāo)簽。該網(wǎng)絡(luò)的架構(gòu)粗略地模仿了人類視覺(jué)系統(tǒng)的架構(gòu)，因?yàn)樗嗷ミB接的層可以讓它從圖像中提取越來(lái)越抽象的特征。這個(gè)系統(tǒng)通過(guò)一個(gè)黑箱過(guò)程來(lái)建立聯(lián)系，使其找到正確的答案，而人類只能在事后去理解這個(gè)過(guò)程。“我們一直在試圖找出這些深度學(xué)習(xí)計(jì)算機(jī)視覺(jué)算法成功的原因，和導(dǎo)致了它們的不穩(wěn)定的因素。”俄勒岡州立大學(xué)(Oregon State University)計(jì)算機(jī)科學(xué)家托馬斯·迪特里希(Thomas Dietterich)說(shuō)。

大象皮膚的貓

為了做到這一點(diǎn)，一些研究人員來(lái)研究通過(guò)修改圖像來(lái)欺騙網(wǎng)絡(luò)時(shí)會(huì)發(fā)生什么。他們發(fā)現(xiàn)，非常小的變化就能導(dǎo)致系統(tǒng)的識(shí)別結(jié)果完全錯(cuò)誤，而大的變化又不會(huì)導(dǎo)致這些錯(cuò)誤。與此同時(shí)，其他專家通過(guò)網(wǎng)絡(luò)去分析單個(gè)“神經(jīng)元”對(duì)圖像的反應(yīng)，生成系統(tǒng)學(xué)得的“激活圖譜”的特征。

但德國(guó)圖賓根大學(xué)(University of Tubingen)計(jì)算神經(jīng)學(xué)家馬蒂亞斯貝斯格(Matthias Bethge)和心理物理學(xué)家費(fèi)利克斯威克曼(Felix Wichmann)的實(shí)驗(yàn)室里的一隊(duì)科學(xué)家采用了一種更加定性的方法。去年，這個(gè)小組訓(xùn)練一個(gè)對(duì)被某種特定噪音影響的圖像進(jìn)行分類的神經(jīng)網(wǎng)絡(luò)時(shí)，發(fā)現(xiàn)它可以比人類做得更好。但是，當(dāng)這些圖像以一種稍微不同的方式改變時(shí)，它就完全失效了，盡管在人類看來(lái)，新的這兩種情況看起來(lái)幾乎一樣。

為了解釋這個(gè)結(jié)果，研究人員想到即使是只包含極小的噪聲其特征也會(huì)變化很大的特征量——紋理。貝斯格（Bethge）和威克曼實(shí)驗(yàn)室的研究生、這項(xiàng)研究的主要作者羅伯特·吉爾霍斯(Robert Geirhos)說(shuō)：“如果一直增加噪音，物體的形狀基本上是完好無(wú)損的。但是圖像中的局部結(jié)構(gòu)會(huì)隨著噪音的添加很快被扭曲。”所以他們想出了一個(gè)聰明的方法來(lái)測(cè)試人和深度學(xué)習(xí)系統(tǒng)是如何處理圖像的。

貝斯格（Bethge）和威克曼的同事制作了包括兩種特征的圖像：其中形狀來(lái)自一個(gè)物體，紋理來(lái)自另一個(gè)物體。例如一只貓的輪廓顏色與大象的皮膚紋理,或者鋁罐構(gòu)成的熊或一架由鐘面填充的飛機(jī)。在展示了數(shù)百?gòu)堖@樣的圖片后，人類幾乎每次都會(huì)根據(jù)它們的形狀——貓、熊、飛機(jī)——給它們貼上標(biāo)簽，就像預(yù)期的那樣。然而，四種不同的分類算法卻傾向于另一種方式，它們貼出的標(biāo)簽反映了物體的紋理的識(shí)別:大象、罐頭、時(shí)鐘。

哥倫比亞大學(xué)的計(jì)算神經(jīng)學(xué)家Nikolaus Kriegeskorte說(shuō):“這改變了我們對(duì)深度前饋神經(jīng)網(wǎng)絡(luò)如何進(jìn)行視覺(jué)識(shí)別的理解”。

乍一看，人工智能偏愛(ài)紋理甚于形狀似乎有些奇怪，但這是有道理的。克里格斯科特（Kriegeskorte）說(shuō):“你可以把紋理想象成更微小尺度上的形狀。這種微小尺度更容易被系統(tǒng)捕捉到:包含紋理信息的像素?cái)?shù)量遠(yuǎn)遠(yuǎn)超過(guò)構(gòu)成物體邊界的像素?cái)?shù)量，而網(wǎng)絡(luò)的最初幾步包括檢測(cè)線和邊緣等局部特征。多倫多約克大學(xué)(York University)的計(jì)算視覺(jué)科學(xué)家約翰索索斯(John Tsotsos)說(shuō)。“紋理就是將以相同方式排列的線段分組。”

吉爾霍斯和他的同事已經(jīng)證明，這些局部特征足以讓網(wǎng)絡(luò)執(zhí)行圖像分類任務(wù)。事實(shí)上，貝斯格和該研究的另一名作者、博士后研究員維蘭德布倫德?tīng)?Wieland Brendel)在一篇論文中也闡明了這一點(diǎn)。在這項(xiàng)工作中，他們建立了一個(gè)深度學(xué)習(xí)系統(tǒng)，它運(yùn)行起來(lái)很像深度學(xué)習(xí)出現(xiàn)之前的分類算法——就像一個(gè)“功能包”。“它把圖像分成小塊,就像現(xiàn)在的模型開(kāi)始做的那樣,但是,接下來(lái)并不是整合這些信息逐步提取高級(jí)特性,而是直接判斷每個(gè)小塊的內(nèi)容。它只是將這些小塊加在一起來(lái)確定對(duì)象的身份，而沒(méi)有考慮每個(gè)小塊之間的全局空間關(guān)系。然而，它卻能以驚人的準(zhǔn)確度識(shí)別物體。

布倫德?tīng)栒f(shuō):“這挑戰(zhàn)了‘深度學(xué)習(xí)正在做一些完全不同于以往的事情’的假設(shè)。”“顯然……這是一個(gè)飛躍。這一飛躍接近一些人的預(yù)期。”

約克大學(xué)(York University)和多倫多大學(xué)(University of Toronto)的博士后研究員阿米爾羅森菲爾德(Amir Rosenfeld)表示，“我們認(rèn)為神經(jīng)網(wǎng)絡(luò)應(yīng)該做的事情和它們實(shí)際做的事情之間仍然存在巨大差異”，包括它們?cè)诙啻蟪潭壬现噩F(xiàn)了人類行為。

布倫德?tīng)柋磉_(dá)了類似的觀點(diǎn)。他說(shuō)，一般我們假設(shè)神經(jīng)網(wǎng)絡(luò)將像我們?nèi)祟愐粯咏鉀Q任務(wù)。“但我們往往忘記還有其他方式。”

更人性化的方案

目前的深度學(xué)習(xí)方法可以將局部特征(如紋理)集成到更全局的模式(如形狀)中。克里格斯科特說(shuō):“在這些論文中，令人驚訝的一點(diǎn)是，盡管架構(gòu)允許這樣做，但如果你只是訓(xùn)練它(對(duì)標(biāo)準(zhǔn)圖像進(jìn)行分類)，它不會(huì)自動(dòng)學(xué)會(huì)這種整合方式的。”

吉爾霍斯想看看當(dāng)團(tuán)隊(duì)強(qiáng)制令他們的模型忽略紋理時(shí)會(huì)發(fā)生什么。該團(tuán)隊(duì)拍攝了傳統(tǒng)上用于訓(xùn)練分類算法的圖像，并以不同的風(fēng)格“繪制”它們，本質(zhì)上剝離了它們有用的紋理信息。當(dāng)他們根據(jù)新的圖像重新訓(xùn)練每個(gè)深度學(xué)習(xí)模型時(shí)，系統(tǒng)開(kāi)始依賴更大、更全局的模式，并表現(xiàn)出更像人類的對(duì)形狀的偏好。

圖賓根大學(xué)(University of Tubingen)計(jì)算神經(jīng)科學(xué)研究員維蘭德?布倫德?tīng)?Wieland Brendel)發(fā)現(xiàn)，神經(jīng)網(wǎng)絡(luò)將圖像視為“特征包”，并依賴于這些特征信息對(duì)圖像對(duì)象進(jìn)行分類。

當(dāng)這種情況發(fā)生時(shí)，算法也變得更善于對(duì)有噪聲的圖像進(jìn)行分類，即使它們沒(méi)有接受過(guò)處理這種失真的訓(xùn)練。“基于形狀的網(wǎng)絡(luò)變得更加強(qiáng)大，”吉爾霍斯說(shuō)。“這告訴我們，對(duì)特定的任務(wù)有正確的偏好，也就是形狀偏好，在這種情況下，有助于將其推廣到一個(gè)新的背景。”

它還暗示，人類可能天生就有這種偏好，因?yàn)榧词故窃谟性肼暤那闆r下，用形狀定義我們所看到的東西也是一種更有力的方式。人類生活在一個(gè)三維的世界里，在這個(gè)世界里，人們可以在許多不同的條件下從多個(gè)角度觀察物體，我們的其他感官，比如觸覺(jué)，可以根據(jù)需要幫助識(shí)別物體。所以我們的視覺(jué)將形狀置于紋理之上是有道理的。

威克曼說(shuō)，這項(xiàng)研究提醒我們，“數(shù)據(jù)利用的偏好和影響比我們想象的要多。”這并不是研究人員第一次遇到這樣的問(wèn)題:面部識(shí)別程序、自動(dòng)招聘算法和其他神經(jīng)網(wǎng)絡(luò)因?yàn)橛?xùn)練他們所用的數(shù)據(jù)存在自身的偏好，所以之前已經(jīng)被證明過(guò)于重視我們不太關(guān)注的特征。事實(shí)證明，在他們的決策過(guò)程中消除這些不必要的偏好是困難的，但威克曼表示，新的研究表明這是可能的。

然而，即使是關(guān)注形狀的吉爾霍斯模型，也可能被圖像中過(guò)多的噪音或特定的像素變化打敗——這表明它們距離實(shí)現(xiàn)人類水平的視覺(jué)還有很長(zhǎng)的路要走。盡管如此，克里格斯科特說(shuō)，通過(guò)這樣的研究，“我們可以很明確地說(shuō)這些模型還沒(méi)有捕捉到人類大腦的重要機(jī)制。”“在某些情況下，”威克曼說(shuō)，“也許研究數(shù)據(jù)集更重要。”

“我們需要設(shè)計(jì)更聰明的數(shù)據(jù)和更聰明的任務(wù)，” 多倫多大學(xué)的計(jì)算機(jī)科學(xué)家費(fèi)德勒（Sanja Fidler）說(shuō)。她和她的同事們正在研究給予神經(jīng)網(wǎng)絡(luò)次要任務(wù)從而能幫助它們發(fā)揮主要功能。受吉爾霍斯發(fā)現(xiàn)的啟發(fā)，他們最近訓(xùn)練了一種圖像分類算法，不僅能識(shí)別物體本身，還能識(shí)別出哪些像素是物體輪廓或形狀的一部分。網(wǎng)絡(luò)自動(dòng)地在它的常規(guī)對(duì)象識(shí)別任務(wù)中變得更好。費(fèi)德勒說(shuō):“給你一個(gè)任務(wù)，你會(huì)選擇性關(guān)注某些特征而對(duì)其他很多事情都視而不見(jiàn)。”“如果我給你多個(gè)任務(wù)，你可能會(huì)關(guān)注更多的方面。這些算法也是一樣的。解決不同的任務(wù)讓他們“對(duì)不同的信息產(chǎn)生偏好”，這與吉爾霍斯在形狀和紋理上的實(shí)驗(yàn)相似。

迪特里希說(shuō)，這些研究成果是令人興奮的一步，加深了我們對(duì)(深度學(xué)習(xí))現(xiàn)狀的理解，或許有助于我們克服目前所看到的局限。”