哈佛大學(xué)的科學(xué)家們把猴子的大腦與神經(jīng)網(wǎng)絡(luò)連接起來(lái)，試圖刺激猴子大腦中負(fù)責(zé)識(shí)別面部的單個(gè)神經(jīng)元。他們利用AI生成圖像，然后向猴子展示這些圖像，最終成功地激活特定的神經(jīng)元，而不影響其他神經(jīng)元。相關(guān)論文發(fā)表在最新的Cell期刊上。

新智元不久前報(bào)道，MIT 的三位科學(xué)家首次利用 AI 生成圖像來(lái)激活特定視覺(jué)神經(jīng)元，實(shí)現(xiàn)了控制動(dòng)物大腦的神經(jīng)元活動(dòng)。

該研究引起熱議，被認(rèn)為是使用人工神經(jīng)網(wǎng)絡(luò)來(lái)理解真實(shí)神經(jīng)網(wǎng)絡(luò)的最強(qiáng)有力的驗(yàn)證。

無(wú)獨(dú)有偶，在一項(xiàng)新實(shí)驗(yàn)中，哈佛大學(xué)的科學(xué)家們把猴子的大腦與神經(jīng)網(wǎng)絡(luò)連接起來(lái)，試圖刺激猴子大腦中負(fù)責(zé)識(shí)別面部的單個(gè)神經(jīng)元。他們利用 AI 生成圖像，然后向猴子展示這些圖像，試圖盡可能地激活這些特定的神經(jīng)元。

最終，AI 系統(tǒng)學(xué)會(huì)了生成能夠激活單個(gè)腦細(xì)胞、而不會(huì)同時(shí)激活它的相鄰細(xì)胞的圖像。這些圖像像是超現(xiàn)實(shí)的噩夢(mèng)中的景象一般，模模糊糊的又與臉孔或其他熟悉的形狀相似 —— 這是傳感器和人工智能開(kāi)始窺視生物大腦的又一個(gè)令人興奮的例子。

一張由神經(jīng)網(wǎng)絡(luò)進(jìn)化而來(lái)、刺激獼猴神經(jīng)元的圖像

相關(guān)研究發(fā)表在最新的 Cell 期刊上。

研究者提出的算法名為XDREAM，可以根據(jù)特定神經(jīng)元對(duì)圖像的反應(yīng)強(qiáng)度的實(shí)時(shí)反饋來(lái)生成新圖像。

論文的第一作者、哈佛大學(xué)和華盛頓大學(xué)神經(jīng)科學(xué)家 Carlos Ponce 說(shuō)：“如果細(xì)胞會(huì)做夢(mèng)，那么 (這些圖像) 就是細(xì)胞夢(mèng)見(jiàn)的景象。”

該研究的幾個(gè)要點(diǎn)：

在神經(jīng)元放電的引導(dǎo)下，深度神經(jīng)網(wǎng)絡(luò)和遺傳算法進(jìn)化生成圖像

演進(jìn)的圖像使獼猴視覺(jué)皮層的神經(jīng)元放電最大化

演進(jìn)的圖像比大量的自然圖像更能激活神經(jīng)元

與演進(jìn)圖像的相似性可以預(yù)測(cè)神經(jīng)元對(duì)新圖像的反應(yīng)

研究概覽

具體來(lái)說(shuō)，研究人員利用 AI 生成圖像并展示給猴子，然后研究猴子的神經(jīng)元對(duì)圖像的反應(yīng)。然后，AI 算法可以根據(jù)大腦反應(yīng)的信息來(lái)調(diào)整圖像，生成可能與猴子的視覺(jué)處理系統(tǒng)產(chǎn)生更多共鳴的新圖像。

Ponce 說(shuō)：“當(dāng)我們第一次看到這種情況時(shí)，感覺(jué)就好像我們是在用一種神經(jīng)元自己的語(yǔ)言與它進(jìn)行交流，就好像我們賦予了細(xì)胞一種交流的能力。”

實(shí)驗(yàn)過(guò)程：GAN+遺傳算法，窺探猴子的夢(mèng)境

為什么我們的眼睛更容易被某些形狀、顏色和輪廓所吸引呢？

半個(gè)多世紀(jì)以來(lái)，科學(xué)家們已經(jīng)了解到，大腦視覺(jué)系統(tǒng)中的神經(jīng)元對(duì)某些圖像的反應(yīng)會(huì)比對(duì)其他圖像的反應(yīng)更強(qiáng)烈 —— 這一特征對(duì)于我們識(shí)別、理解和解釋周圍大量視覺(jué)信息的能力至關(guān)重要。

例如，當(dāng)人類或其他靈長(zhǎng)類動(dòng)物 —— 具有高度協(xié)調(diào)性和視覺(jué)系統(tǒng)的動(dòng)物 —— 在看到面孔、地點(diǎn)、物體或文字時(shí)，大腦中被稱為下顳葉皮層的特定視覺(jué)神經(jīng)元群會(huì)更活躍。但這些神經(jīng)元究竟是對(duì)什么做出了反應(yīng)，至今仍不清楚。

迄今為止，絕大多數(shù)試圖測(cè)試神經(jīng)元偏好的實(shí)驗(yàn)都使用了真實(shí)的圖像。但真實(shí)的圖像帶有固有的偏見(jiàn)：僅限于現(xiàn)實(shí)世界中可用的刺激以及研究人員選擇測(cè)試的圖像。基于 AI 的程序可以根據(jù)每個(gè)神經(jīng)元的偏好來(lái)創(chuàng)建合成圖像，從而克服了這個(gè)障礙。

在這個(gè)研究中，來(lái)自哈佛大學(xué)醫(yī)學(xué)院的幾位研究人員，使用預(yù)訓(xùn)練的深度生成神經(jīng)網(wǎng)絡(luò)(Dosovitskiy and Brox, 2016) 和遺傳算法，實(shí)現(xiàn)了讓神經(jīng)元反應(yīng)來(lái)知道合成圖像的進(jìn)化。

深度生成對(duì)抗網(wǎng)絡(luò)通過(guò)遺傳算法表達(dá)和搜索

為了記錄視覺(jué)神經(jīng)元的活動(dòng)，研究團(tuán)隊(duì)將微電極陣列植入六只猴子的下顳葉皮質(zhì)(耳朵上方稍微靠后的區(qū)域)。然后，研究人員通過(guò)電腦屏幕向猴子展示圖像，并測(cè)量猴子在觀看圖像時(shí)大腦中單個(gè)視覺(jué)神經(jīng)元的放電率。

如下圖所示，網(wǎng)絡(luò)以 4096 維的向量 (圖像代碼) 作為輸入，然后將其轉(zhuǎn)換為 256×256 的 RGB 圖像。

圖 1：通過(guò)神經(jīng)元引導(dǎo)的進(jìn)化合成首選的刺激特定神經(jīng)元的圖像

（A）生成對(duì)抗網(wǎng)絡(luò)。

（B）初始的合成圖像，這里顯示了 30 個(gè)示例。

（C）行為任務(wù)。

（D）實(shí)驗(yàn)流程。圖像代碼通過(guò)深度生成對(duì)抗網(wǎng)絡(luò)傳遞，以合成呈現(xiàn)給猴子看的圖像。使用神經(jīng)元反應(yīng)對(duì)圖像代碼進(jìn)行排序，然后對(duì)其進(jìn)行選擇，重組和變異，以生成新的圖像代碼。

具體來(lái)說(shuō)，遺傳算法使用從獼猴大腦中記錄到的神經(jīng)元響應(yīng)來(lái)優(yōu)化輸入到神經(jīng)網(wǎng)絡(luò)的圖像代碼。每個(gè)實(shí)驗(yàn)從 GAN 隨機(jī)產(chǎn)生的 40 個(gè)圖像（圖 1B）開(kāi)始。

然后記錄猴子在被動(dòng)執(zhí)行固定任務(wù)時(shí) IT 神經(jīng)元的反應(yīng)。圖 1C 顯示了一個(gè)單元的感受野。

然后根據(jù)神經(jīng)元對(duì)每個(gè)合成圖像的反應(yīng)對(duì)圖像編碼進(jìn)行評(píng)分，確定 10 張?jiān)诮o定神經(jīng)元或神經(jīng)元群中最活躍的圖像。研究人員將這些圖像通過(guò)一種遺傳算法 —— 本質(zhì)上是重新組合這些像素 —— 生成 30 張類似的圖像，然后將這些圖像連同最初的前 10 張圖像一起展示給猴子（圖 1D） 。

研究人員將整個(gè)方法稱為XDREAM (EXtending DeepDream with Real-time Evolution for Activity Maximization in real neurons)。

這個(gè)過(guò)程在 1-3 小時(shí)內(nèi)重復(fù)多達(dá) 250 代。

作為對(duì)照，研究人員還向猴子展示了包含人物、地點(diǎn)等的自然圖像和簡(jiǎn)單的線條圖。

進(jìn)化的圖像(左)和自然圖像(右)

在幾個(gè)小時(shí)的過(guò)程中，研究人員將每張 AI 生成的圖像向猴子展示 100 毫秒。

這些圖像從灰度隨機(jī)紋理圖案開(kāi)始，根據(jù)實(shí)驗(yàn)中猴子神經(jīng)元的激活程度，程序逐漸引入形狀和顏色，直到形成最終的充分體現(xiàn)神經(jīng)元偏好的圖像。

“每次實(shí)驗(yàn)結(jié)束時(shí)，” 參與該研究的哈佛醫(yī)學(xué)院研究生 Will Xiao 說(shuō)：“程序會(huì)生成對(duì)這些細(xì)胞產(chǎn)生超級(jí)刺激的圖像。”

神經(jīng)元選擇的怪異圖像，有助于理解認(rèn)知問(wèn)題

CaffeNet 中單元首選刺激的演變

研究人員首先在人工神經(jīng)網(wǎng)絡(luò)中的單元上驗(yàn)證 XDREAM，作為生物神經(jīng)元的模型。他們的方法為 CaffeNet 的各層單元產(chǎn)生了超級(jí)刺激（圖 2）。

圖 2：XDREAM 算法為 CaffeNet 中的單元生成超級(jí)刺激

一種生物神經(jīng)元的偏好刺激的演變

隨著遺傳算法根據(jù)神經(jīng)元的響應(yīng)優(yōu)化圖像，合成圖像會(huì)隨著每一代的進(jìn)化而改變。下圖是進(jìn)化實(shí)驗(yàn)的一個(gè)例子。

圖 3：一個(gè)猴子選擇的合成圖像演化

每個(gè)圖像都是每代的前 5 個(gè)合成圖像的平均值（從左到右，從上到下排序），幾代之后，合成圖像進(jìn)化成更有效的刺激 (圖 4)。

圖 4：通過(guò)最大化單個(gè)神經(jīng)元的響應(yīng)來(lái)合成圖像的演變

視頻：猴子神經(jīng)元的選擇導(dǎo)致合成圖像演化的兩個(gè)示例，每個(gè)演化實(shí)時(shí)都需要幾個(gè)小時(shí)

其他神經(jīng)元中優(yōu)選刺激的演變

圖 5：其他 IT細(xì)胞的演化

圖 6：其他 IT 神經(jīng)元中合成圖像的演化

其中一些圖片符合研究人員的預(yù)期。例如，他們懷疑神經(jīng)元可能會(huì)對(duì)面孔做出反應(yīng)，一個(gè)神經(jīng)元進(jìn)化生成圓形的粉紅色圖像，上面有兩個(gè)類似眼睛的大黑點(diǎn)。

其他的則更令人驚訝。例如，其中一只猴子的神經(jīng)元不斷地生成看起來(lái)像猴子身體的圖像，但在它的脖子附近有一個(gè)紅色斑點(diǎn)。研究人員最終發(fā)現(xiàn)，這只猴子被關(guān)在另一只總是戴著紅項(xiàng)圈的猴子旁邊。

Ponce 說(shuō)：“從霧中看到一個(gè)像臉一樣的東西在盯著你看，而你知道這張照片是來(lái)自猴子的大腦時(shí)，這可能是我的科學(xué)生涯里的最神奇的經(jīng)歷之一。”

研究人員說(shuō)：“我們認(rèn)為這個(gè)神經(jīng)元不僅對(duì)猴子的身體有優(yōu)先反應(yīng)，而且對(duì)特定的猴子也有優(yōu)先反應(yīng)。”

但并不是每一張最終的突破看起來(lái)都可以辨認(rèn)。一只猴子的神經(jīng)元進(jìn)化產(chǎn)生一個(gè)黑色的小方塊。另一只則產(chǎn)生無(wú)確定形狀的黑色和橙色的混合體。

這些研究表明，這些神經(jīng)元的反應(yīng)并不是天生的，而是通過(guò)長(zhǎng)期持續(xù)地接觸視覺(jué)刺激來(lái)學(xué)習(xí)的。但目前還不知道這種識(shí)別特定圖像的能力是如何出現(xiàn)的。研究團(tuán)隊(duì)計(jì)劃在未來(lái)的研究中調(diào)查這個(gè)問(wèn)題。

了解視覺(jué)系統(tǒng)如何對(duì)圖像產(chǎn)生反應(yīng)可能是更好地理解驅(qū)動(dòng)認(rèn)知問(wèn)題的基本機(jī)制的關(guān)鍵，這些認(rèn)知問(wèn)題涉及學(xué)習(xí)障礙、自閉癥譜系障礙等，通常以兒童處理面部線索和識(shí)別面孔的能力受損為特征。

研究人員表示，大腦視覺(jué)處理系統(tǒng)的故障會(huì)干擾人們連接、溝通和理解基本線索的能力，通過(guò)研究那些對(duì)面孔做出優(yōu)先反應(yīng)的細(xì)胞，我們可以發(fā)現(xiàn)社會(huì)發(fā)展如何發(fā)生的線索，以及有可能出現(xiàn)的問(wèn)題。