約翰霍普金斯大學(xué)的最新研究發(fā)現(xiàn)：人類可能在像計(jì)算機(jī)一樣思考。這樣研究的作者、大四學(xué)生周正隆等人對1800人做了實(shí)驗(yàn)，結(jié)果顯示98%的人傾向于像計(jì)算機(jī)那樣回答問題。

人類的本質(zhì)不是復(fù)讀機(jī)，可能是計(jì)算機(jī)。

長期以來，人們想方設(shè)法研究讓計(jì)算機(jī)像人類一樣思考，比如做視覺識別。但是，約翰霍普金斯大學(xué)的最新研究發(fā)現(xiàn)：人類可能在像計(jì)算機(jī)一樣思考。

不信先來做一組測試。

第一題：你覺得計(jì)算機(jī)會把下圖認(rèn)成什么？

A.交通信號燈

B.電話

答案是：

·

·

·

·

·

·

·

·

A

第二題：你覺得計(jì)算機(jī)會把下圖認(rèn)成什么？

A.貨運(yùn)車

B.校車

答案是：

·

·

·

·

·

·

·

·

B

你是不是都選對了？

我們知道，即使是像自動駕駛汽車那樣功能強(qiáng)大的計(jì)算機(jī)，只要把某些圖像的像素稍作改動，攝像頭就可能被欺騙，例如會把黑人識別成猩猩、把香蕉識別成烤面包機(jī)等等，這些機(jī)器似乎以人類永遠(yuǎn)無法想象的方式錯(cuò)誤地識別物體。

但真的是這樣嗎？

約翰霍普金斯大學(xué)的測試視頻顯示，75%的人其實(shí)選的跟計(jì)算機(jī)一樣，并且他們還對1800人做了八組實(shí)驗(yàn)，發(fā)現(xiàn)98%的人傾向于像計(jì)算機(jī)那樣回答問題。

換句話說：雖然我們看不見，但其實(shí)人類知道計(jì)算機(jī)在想什么，因?yàn)槿祟惪赡茉谙裼?jì)算機(jī)一樣思考。

這項(xiàng)研究是由約翰霍普金斯大學(xué)大四本科生周正隆（Zhenglong Zhou，音譯）等人提出來，主要證明計(jì)算機(jī)錯(cuò)誤識別物體的缺陷可能并不像人們想象的那么糟糕。研究也提供了一個(gè)新的視角，以及一個(gè)可以探索的新的實(shí)驗(yàn)范式。

這項(xiàng)研究論文發(fā)表在最新的Nature Communications上，周正隆是第一作者。

論文地址：

https://www.nature.com/articles/s41467-019-08931-6

機(jī)器思維理論：讓人類分辨難倒機(jī)器的圖像

計(jì)算機(jī)視覺領(lǐng)域存在一個(gè)關(guān)鍵的盲點(diǎn)：有可能故意制造出神經(jīng)網(wǎng)絡(luò)無法正確看到的圖像。這些圖片，被稱為對抗性或愚弄性的圖片。

其中，對抗性圖像中有兩類特別引人注目，它們可以被粗略地稱為“欺騙”圖像(“fooling” image)和“擾動”圖像(“perturbed” image)，如下所示：

a.間接編碼的“欺騙”圖像。b.直接編碼“欺騙”圖像。c.擾動對抗圖像。d. LaVAN攻擊可以導(dǎo)致機(jī)器對自然圖像進(jìn)行錯(cuò)誤分類。e.“魯棒的”對抗性圖像是從多個(gè)角度錯(cuò)誤分類的3D對象的呈現(xiàn)。

欺騙圖像：是毫無意義的模式，被機(jī)器視覺系統(tǒng)歸類為熟悉的對象。例如，一組有方向的線條可以被歸類為“棒球”，或者一個(gè)彩色的電視靜態(tài)圖像可以被稱為“犰狳”。

擾動圖像：通常可以被準(zhǔn)確而直接地分類(例如，雛菊的普通照片，或者手寫的數(shù)字6)，但是被機(jī)器稍微擾動一下，就會產(chǎn)生完全不同的分類(例如，美洲虎，或者手寫的數(shù)字5)。

對抗性圖像是一個(gè)大問題，它們不僅可能被黑客利用，造成安全風(fēng)險(xiǎn)，而且，人們本能地認(rèn)為，人類不會像機(jī)器那樣對圖像進(jìn)行分類，人類和機(jī)器看到的圖像非常不同。

盡管經(jīng)常有人斷言，對抗性圖像“完全無法被人類眼睛識別”，但很少有研究通過測試人類在這類圖像上的表現(xiàn)來積極探索這一假設(shè)。與此同時(shí)，在什么條件下可以有效地比較人類和機(jī)器的性能，這一點(diǎn)從來都不清楚，特別是因?yàn)檫@類機(jī)器視覺系統(tǒng)通常只有有限的標(biāo)簽可以應(yīng)用于這類圖像。

為此，周正隆等人引入了一種“機(jī)器思維理論(machine-theory-of-mind)”任務(wù)，詢問人類是否能夠推斷出機(jī)器視覺系統(tǒng)將分配給給定圖像的分類。

人類的任務(wù)是“像機(jī)器一樣思考”并確定為每個(gè)圖像生成了哪個(gè)標(biāo)簽。

周正隆等人對任務(wù)進(jìn)行了八次實(shí)驗(yàn)，探索人類對五種不同對抗性圖像集的理解。在這8個(gè)實(shí)驗(yàn)中，涵蓋了各種各樣的對抗性攻擊，以及核心實(shí)驗(yàn)設(shè)計(jì)的幾個(gè)變種。實(shí)驗(yàn)發(fā)現(xiàn)，人類受試者能夠預(yù)測機(jī)器對對抗性刺激的分類。結(jié)論是，人類的直覺比機(jī)器分類更加可靠。

實(shí)驗(yàn)：98%的人傾向于計(jì)算機(jī)的回答

由于篇幅有限，本文只介紹八個(gè)實(shí)驗(yàn)中的前三個(gè)。

實(shí)驗(yàn)1：用foil標(biāo)簽欺騙圖像

第一個(gè)實(shí)驗(yàn)采用48張欺騙圖像來進(jìn)行“機(jī)器思維理論”任務(wù)。這些圖像是由進(jìn)化算法產(chǎn)生的，用來混淆一個(gè)極具影響力的圖像識別CNN——AlexNet，并將它們歸類為“Pinwheel（風(fēng)車）”和“bagel（百吉餅）”等熟悉的對象。

在每一項(xiàng)試驗(yàn)中，受試者都看到了一張欺騙圖像，并選擇他們認(rèn)為機(jī)器為該圖像生成的兩個(gè)標(biāo)簽中的任何一個(gè)，如下圖所示。

圖2

值得注意的是，人類觀察者強(qiáng)烈傾向于機(jī)器所選擇的標(biāo)簽，而不是foil標(biāo)簽：分類的“準(zhǔn)確性”(即，與機(jī)器分類一致)為74%，遠(yuǎn)高于50%。

也許更有說服力的是，98%的觀察者選擇機(jī)器的標(biāo)簽的幾率高于隨機(jī)比率，這表明人們驚人地對機(jī)器的選擇是普遍認(rèn)同的。

這一初步結(jié)果表明，人類觀察者可以大致區(qū)分CNN用于將欺騙圖像分類為熟悉對象的特征。

實(shí)驗(yàn)2：首選 vs. 次選

這種能力到底有多強(qiáng)呢？

雖然實(shí)驗(yàn)1中的受試者可以將機(jī)器選擇的標(biāo)簽與隨機(jī)標(biāo)簽區(qū)分開來，但是這種實(shí)現(xiàn)，可能不是通過辨別圖像與其CNN生成的標(biāo)簽之間的任何有意義的相似性，而是通過識別它們之間非常膚淺的共性來實(shí)現(xiàn)的。

為了詢問人類是否能夠理解機(jī)器所做出的微妙區(qū)分，實(shí)驗(yàn)2將CNN的首選標(biāo)簽與隨機(jī)標(biāo)簽進(jìn)行了對比。

例如，考慮到圖2中的圓形金色斑點(diǎn)，AlexNet在“bagel（百吉餅）”之后的下一個(gè)選擇是“pretzel（椒鹽卷餅）”，它同樣意味著彎曲的金色物體。因此，便得到了每個(gè)被欺騙的圖像排名第二的選項(xiàng)，并讓實(shí)驗(yàn)2中的觀察者在機(jī)器的首選項(xiàng)和次選項(xiàng)之間做出選擇。

同樣，人類觀察者同意機(jī)器的分類：91％的觀察者傾向于選擇機(jī)器的首選項(xiàng)而不是次選項(xiàng)，71%的圖像顯示人機(jī)一致(下圖中間柱形)。

顯然，人類能夠從對抗性圖像中識別出更深層次的特征，從而將CNN的主要分類與替代分類區(qū)分開來。

此外，這一結(jié)果還表明，即使在圖像標(biāo)簽的排序上，人類和機(jī)器也表現(xiàn)出重疊，這表明，CNN的次選項(xiàng)對人類來說也是比較直觀的。

實(shí)驗(yàn)3a：多種方式分類

上述實(shí)驗(yàn)表明，人類可以從相關(guān)備選方案中識別機(jī)器的首選標(biāo)簽。

然而，這兩項(xiàng)研究都涉及僅有兩種選擇的有限情況；相比之下，圖像識別CNN通常在對這樣的圖像進(jìn)行分類時(shí)是從數(shù)百或數(shù)千個(gè)標(biāo)簽中進(jìn)行選擇。 若是在更不受約束的情況下，人類在圖像分類時(shí)是否會做出與機(jī)器一樣的選擇呢？

即使在這些苛刻的條件下，88％的受試者以高于概率的速度選擇了該機(jī)器的標(biāo)簽。此外，在一項(xiàng)受機(jī)器學(xué)習(xí)文獻(xiàn)中排名第5的測量方法啟發(fā)的分析中，我們發(fā)現(xiàn)63%的圖像中，機(jī)器的標(biāo)簽是人類選擇的前五名中的一員。

換句話說，即使單個(gè)最受歡迎的人類選擇標(biāo)簽不是CNN的首選標(biāo)簽，第二，第三，第四或第五最受歡迎的人類選擇標(biāo)簽（48種可能的選擇中）通常與CNN的首選標(biāo)簽相匹配。

實(shí)驗(yàn)3b：“這是什么？”

之前的研究更接近于CNN在圖像分類中所面臨的任務(wù)，即在眾多圖像中選擇一個(gè)標(biāo)簽進(jìn)行分類。

然而，之前所有的實(shí)驗(yàn)都與CNN的任務(wù)有另一個(gè)不同之處：CNN選擇一個(gè)與圖像最匹配的標(biāo)簽，而我們的人類受試者被要求預(yù)測機(jī)器的標(biāo)簽，而不是自己給圖像貼標(biāo)簽。如果人類的任務(wù)只是簡單地直接對圖像進(jìn)行分類，他們還會同意CNN的分類嗎?

實(shí)驗(yàn)3b通過改變?nèi)蝿?wù)說明來研究這個(gè)問題：不是讓受試者“像機(jī)器一樣思考”并猜測機(jī)器的首選標(biāo)簽，而是簡單地向他們展示圖片，并問他們“這是什么?”

在每次試驗(yàn)中，屏幕上都會出現(xiàn)一張圖片，受試者被問到“如果你必須為它選一個(gè)標(biāo)簽，你會選什么?”(有48種標(biāo)簽)。

再次，人類的判斷和機(jī)器的分類融合在一起：90%的受試者同意機(jī)器，81%的圖像顯示人機(jī)一致。這些結(jié)果表明，人類破譯對抗性圖像的能力并不取決于我們的“機(jī)器思維理論”任務(wù)的特性，而人類的表現(xiàn)反映了對機(jī)器(錯(cuò)誤)分類的普遍認(rèn)同。

接下來的四個(gè)實(shí)驗(yàn)分別是：

電視靜態(tài)圖像；

被擾動的數(shù)字；

自然圖像和局部擾動；

3D對象。

詳細(xì)內(nèi)容可以查看原文章：

https://www.nature.com/articles/s41467-019-08931-6#rightslink

人類與機(jī)器存在某種意義上的相似

目前的研究結(jié)果表明，人類的直覺是機(jī)器如何對圖像進(jìn)行分類的可靠信息來源——即使是那些專門用來欺騙機(jī)器的對抗圖像。

這意味著，在將圖像與標(biāo)簽關(guān)聯(lián)時(shí)，人類和機(jī)器在優(yōu)先級的圖像特性上至少存在某種有意義的相似性。

對抗性圖像的存在讓人懷疑，最近開發(fā)的機(jī)器視覺系統(tǒng)在如何對圖像進(jìn)行分類方面是否與人類有任何真正的相似之處，以及此類模型是否可以被秘密攻擊。目前的結(jié)果表明，這種挑戰(zhàn)人機(jī)相似性的概念可能并不像看上去的那么簡單。

更加熟悉對抗性圖像的空間可能會讓人們更好地預(yù)測機(jī)器的分類，也許未來的工作可能決定如何最好地準(zhǔn)備和訓(xùn)練人類檢測和破譯這些圖像。

以上就是周正隆等人發(fā)表在Nature Communications上的論文主要內(nèi)容。

周正隆等人的研究給人們研究計(jì)算機(jī)眼中的世界提供了一種新的思路。

實(shí)際上，Ian Goodfellow等人在去年的時(shí)候也做過探索解決對抗性圖像的研究，在研究中，構(gòu)建了從計(jì)算機(jī)視覺模型轉(zhuǎn)移到人類視覺系統(tǒng)的對抗性示例。

Ian Goodfellow等人的論文

在這篇論文中，Ian Goodfellow等人利用了機(jī)器學(xué)習(xí)、神經(jīng)科學(xué)和心理物理學(xué)三個(gè)核心思想：

首先，使用最新的黑匣子對抗性示例構(gòu)造技術(shù)，為目標(biāo)模型創(chuàng)建對抗性示例，而無需訪問模型的體系結(jié)構(gòu)或參數(shù)。

其次，調(diào)整機(jī)器學(xué)習(xí)模型以模仿人類的初始視覺處理，使得對抗性示例更有可能從模型轉(zhuǎn)移到人類觀察者。

第三，在時(shí)間限制的環(huán)境中評估人類觀察者的分類決策，以便甚至可以檢測到對人類感知的微妙影響。

研究發(fā)現(xiàn)跨計(jì)算機(jī)視覺模型傳遞的對抗性例子確實(shí)成功地影響了人類觀察者的感知，從而揭示了計(jì)算機(jī)視覺模型與人類大腦之間共享的一類新幻想。

論文地址：

https://arxiv.org/abs/1802.08195

行文至此，引出另外一個(gè)話題：AI眼中的世界到底是什么樣子？

最近，谷歌與OpenAI共同創(chuàng)建了Activation Atlases（激活地圖），這是一種可視化神經(jīng)元之間相互作用的新技術(shù)。通過使用特征反演(feature inversion)來可視化一個(gè)圖像分類網(wǎng)絡(luò)中數(shù)以百萬計(jì)的激活。

換言之，神經(jīng)網(wǎng)絡(luò)圖像分類的黑匣子終于被打開了。

詳細(xì)文章請點(diǎn)擊下圖了解Activation Atlases的原理。

你認(rèn)為人類的本質(zhì)是什么？