如果你在初來乍到的城市里迷了路，身邊又沒有地圖或者手機導航，你可能會自然而然地向其他人問路。

這件在你看來順理成章的事情對于人工智能來說卻是一個大難關。

AI不能獨立地徹底理解人類的自然語言，自然也聽不懂使用自然語言的指路，對于虛擬助手而言，僅僅能夠對人類提出的問題做出簡單的回應，這遠遠達不到要求。

Facebook的人工智能研究室（FAIR）正在試圖突破這一難關。

要讓人工智能系統理解人類語言，方法之一就是把語言和特定環境聯系起來，以更加自然的方式來訓練這些系統。就像嬰兒最先學會說的是他們能看到摸到的東西一樣，這種方式也被稱為具體的人工智能，更偏向于在真實環境中學習，而不是通過大量的文本數據進行訓練。

FAIR的研究人員把這一新的研究課題稱為Talk the Walk。在這個研究課題中，一對AI智能體相互交流，共同完成導航到指定位置的任務。

但是他們不是將AI智能體置于一個簡單的類似于游戲的環境中，而是設計了一個機器人游客，向它展示紐約街區真實的全景照片，讓它模擬一位迷路的游客來問路。另一個只記錄下周圍街區二維地圖的機器人作為指路人，輸出自然語言，來幫助“游客”找到它的目的地。

通過一種新型的被稱為MASC (Masked Attention for Spatial Convolution) 的注意力機制，讓導航機器人專注于地圖上正確的地方。這種方式使得在測試集上導航的準確率提高了一倍。

Facebook表示，這項工作的目標是要提高學術界對于交流、感知和行動如何影響基礎語言學習問題的理解，同時也為把自然語言作為一種人機交互方式提供了壓力測試。

FAIR也將發布Talk the Walk的基線和數據集。他們認為開源這項工作可以為其他研究人員提供一個測試他們自己的具體AI系統的框架，特別是在對話方面。

AI將如何扮演游客和導游？

為了為他們的系統提供學習和演示基礎語言的環境，FAIR研究人員使用全景攝像頭分別拍攝了紐約市五個街區的部分街道，包括曼哈頓的Hell’s Kitchen、East Village、Financial District、Upper East Side以及布魯克林的Williamsburg。

選定的這些區域都具有統一的、網格狀的布局，同時為實驗中的每一對AI智能體雙方分別提供了一半的第一人稱環境視角。

另一方面，AI“導游”只能獲取帶有通用地標的2D俯視地圖，例如“餐廳”和“酒店”。“導游”和“游客”都不能和對方共享自己的視圖，因此，必須要溝通才能導航到指定位置。

當導游預測游客已經到達目標位置時，就意味著本次實驗的結束。如果預測正確，則導航過程被標記為成功；失敗的預測則被標記為不正確。實驗不限制移動或交流的次數。

在真實環境中學習對于這一領域來說是全新的，對環境的完全仿真可能會是未來的方向。

FAIR研究人員還創建了智能體之間的自然語言互動，收集了來自人類玩家的真實互動數據，例如“一直走到下一個街區，然后右轉進入餐廳”，而不是專門為機器人生成的、經過仔細措辭的信息。

這些人類參與者也和機器人一起被分配了導游和游客的角色，具有相同的共享導航目標和信息約束（第一人稱視角或俯視地圖）。

強調使用真實環境和現實生活語言使整體問題更加困難。與實際城市街區的全景圖像相比，模擬的環境一般不會那么混亂，而且更具有可預測性。一系列精心編寫的回復也不太可能捕捉到在人與人真實對話中那種微妙的、不精確的和混亂的信息傳遞。

但是提高任務難度可以使其結果更具相關性。為了能夠有效地與人類進行交互，未來的AI系統需要理解在復雜環境中的文本和超出有限的預定短語列表的語言。

探索自然和人造交流

盡管自然語言交流是這項研究的主要焦點，但FAIR團隊還設計了兩種額外的“緊急通信”設定，在其中智能體使用不同的通信協議而不是模仿人類語言。

第一個設定是，智能體通過連續向量進行通信，這意味著它們將原始數據相互傳輸。例如，這些連續的向量包括游客正在看到的和做的事情的表示，這能夠幫助基于地圖的導游來定位他們的同伴。

第二個緊急通信設定采用了完全不同的方法，研究人員稱之為人造語言。在這種情況下的交流比自然語言簡單得多，使用的是一組非常有限的離散符號來傳達信息。

通過為機器人提供以最簡單的形式進行通信的選項，從而能夠實現快速而精確的互動，這也讓我們能更好地了解到自然語言的魅力。

當使用這兩種緊急協議而不是自然語言時，AI游客和導游都會表現得更好。這對于研究人員來說并不奇怪，因為AI使用的自然語言沒有得到明確的信息交換。

緊密聯系AI與其應用環境

將這些研究結果以及FAIR的研究放在適當的背景中非常重要：Talk the Walk不是自然語言和合成交互之間的競爭，而是試圖為創建能夠和人類有效交互的機器這一最終目標，提供一個清晰而可衡量的結果。

為了證明語言基礎的價值，研究人員創建了MASC，一種新型的注意力機制，使得導游根據游客提供的俯視地圖的信息，可以預測其位置。

注意力機制通常用于深度學習，以允許系統集中處理某些任務，類似于人們將注意力集中的狀態。

MASC根據游客的狀態轉換（例如向左，向右移動，從俯視角度，向上和向下移動）識別地標嵌入（例如，“餐館”，“酒吧”等），并將其表示為地圖嵌入的2D卷積。該空間掩膜基于對游客可能行進的追蹤來預測游客當前的位置。

MASC具有廣泛的有效性。它提高了所有通信協議、自然語言和緊急通信方法的本地化性能。

通過將旅游系統的話語與導航系統的地圖相關聯，MASC的準確性有了大幅改進，是基于合成通信的系統準確度的兩倍以上。

人工智能代理經過培訓可以生成自己的自然語言信息，在使用這些自然語言的任務中也有更好的表現。用自動生成的自然語言，而不是簡單地使用從人類玩家的互動中提取的文字例子，可以明確溝通任務內容。

不相關的閑聊通常是自然語言交互的優勢，但對于基于通信交流的任務并非有利，因為閑聊會帶來性能的不穩定。

例如，一個人類參與者在看到兩家咖啡店和一家鄰近的Chipotle后，發出了信息：“天吶，如果我來紐約，這就是我要去的地方！”，其他玩家對此發出“這是天堂啊！”的回應。通過微調和AI代理來生成僅與任務相關的自然語言，由此產生的交互就避免了這些閑聊的分歧和干擾。

最后，這項研究表明，使用自然語言的人類比使用合成通信的AI代理人在本地化方面更糟糕。和Talk the Walk得出的其他人機性能間的比較一樣，這是一個重要的結果，它有助于為進一步研究與開發依賴自然語言的AI系統相關的挑戰建立基線和可能的機會。

未來的系統能否利用自然語言的多功能性，同時避免人們溝通方式固有的模糊性和低效率？或者對話是否施加了無法規避的限制？作為基礎研究，這項研究提出了這些問題，而對它們的回答還有待進一步的研究。