試想一下，你的電腦里存了成千上萬張未分類的照片，然而只要你在腦海里想象一下初戀花兒般的臉，系統就可以自動幫你找到那張照片。又或者，不需要提筆，你就可以畫出廚房設計草圖。甚至，給你的愛人發一張唯美的日落照，盡管這張照片你從來沒有拍到過。

顯然，能夠讀懂人類在想什么（會讀心術）的計算機在日常生活中大有用武之地，特別是對殘疾人來說，他們急需一種高效的交流工具。

雖然這些場景聽起來都非常夢幻，但是科學家們正在努力向這一夢想靠近。

如今，來自日本京都大學科學家們已經創造了一種算法，它可以解釋并準確地重現他人看到或想象的圖像。這項技術可能仍然需要數十年的時間才能投入實際使用，但是研究人員距離這個可以投射我們內心世界的系統又近了一步。

美國印第安納州普渡大學計算機科學家 Zhongming Liu 評價說：“它的運行效果非常好，這讓我印象深刻?！贝饲埃琙hongming Liu 曾開發了一種算法，可以在一定程度上重現電影愛好者觀影時所看到的內容。

實際上，使用算法來解碼心理圖像并不新鮮。自2011年以來，已經有研究人員通過將大腦活動與早先觀看圖像時記錄的活動進行匹配，重構了影像片段、照片甚至是夢中的意象。但是，這些方法都有很大的局限性：有些方法只能處理臉型，有些方法必須從預先設置好的圖片和類別中選擇，而不能從頭開始構建圖像。

而這一次的工作則可以立即生成圖像，甚至再現人類想象中而非親眼所見的圖形的形狀。

為了弄清楚一個人看到的到底是什么，京都大學的研究人員使用了功能磁共振成像（fMRI），來測量大腦的血液流量，作為大腦神經活動的衡量值。在實驗中，研究人員讓三名測試人員每次觀察 1000 多張圖像，并重復幾次，然后以此來映射出可視化處理區域，分辨率可達 2mm。這樣做的目的是，觀察大腦在思考圖像時的活動，并讓計算機構建出一幅能夠讓大腦產生相同活動的圖像。

計算機會反復修改繪制的圖像，一直到正確為止。除此之外，該研究團隊還為大腦建立了一個軟件平臺——一個深度神經網絡（DNN）。日本京都大學的神經科學家，同時也是該論文的作者 Yakiyasu Kamitani 表示：“我們相信深層神經網絡可以很好地代表大腦的分層處理，通過使用 DNN，我們可以從不同層面的大腦視覺系統中提取出信息?！睆暮唵蔚墓饩€對比度到人臉，都屬于這些信息。

使用解碼器，研究人員可以創建人類大腦對圖像的反應的表示，只不過這個表示存在于 DNN 中。從此以后，研究人員便不再需要進行fMRI測量，用 DNN 來轉換就可以了。

當系統猜測某人正在查看的是什么內容時，這里的“翻譯”就起到了模板的作用，而不再需要fMRI數據。然后系統會嘗試繪制出圖片，然后觸發 DNN 與此模板進行匹配，這一過程會不斷重復，直到繪制出我們希望的圖像為止。

一開始，這個系統會隨機生成圖像，然后不斷地改進并細化圖像，一共迭代 200 輪。為了讓其更接近理想中的圖像，系統會將 DNN 活動與模板 DNN 活動進行比較，自動計算兩者之間的差異，以此來擬合一個個像素，知道接近理想的圖像。

為了讓最終的成像更加準確，研究人員開發了一個“深層生成器網絡”（DGN），這種算法已經進行過預訓練，可以根據輸入生成逼真的成像。DGN 將細化這些圖像，使其看起來更加自然。研究人員表示，一旦加入了 DGN，一個中立的人類觀察員可以輕易地分辨兩張圖片中哪張是我們希望重建的，而且準確率可達 99%。

接下來，研究人員開始嘗試讀懂人類想象圖像時的腦部活動。如何進行這項研究呢？他們讓參與實驗的人員回憶之前展示過的圖像，包括一條魚、一架飛機、以及一些簡單的彩色圖形，然后依次掃描他們的大腦。實驗證明，這種方法對于復雜的照片并不適用，對圖形卻很有效，研究表明，生成器 83% 的時間里都可以生成一張可識別的圖像。

首先，輸入圖像的像素值會被優化，以便使圖像的 DNN 特征與從 fMRI 活動記錄中解碼出來的特征相似。之后，深度生成器網絡（DGN）可以有選擇的與 DNN 組合，以生成自然的圖片，其中，優化過程在 DGN 的輸入層執行。

圖1：深度圖像重建。

圖2：自然圖像重建。黑框和灰框分別代表展示的圖像和重建的圖像。

圖 3：人眼看到的形狀重建。黑框和灰框分別代表展示和重建的圖像。

圖 4：意象重建。黑框和灰框分別代表目標圖像和重建圖像。

哥倫比亞大學祖克曼研究所（Zuckerman Institute）的計算神經科學家 Nikolaus Kriegeskorte 雖然認為這是一項“有趣而且謹慎”的工作，但是他提出了自己的疑問：計算機生成的圖像的不準確性，和大腦活動測量的限制，到底有多大關聯，以及它們在多大程度上，反應了我們的大腦是如何錯誤解讀圖像的。

Kriegeskorte 表示：“更高分辨率的 fMRI 結合其他大腦成像技術可能會進一步改善現在的結果。隨著更先進的測量方式的出現以及算法的不斷改進，未來我們有可能會通過意念圖片來進行交流。