麻省理工學院計算機科學及人工智能實驗室（CSAIL）的研究人員表示，在不久的將來機器人將能夠通過觸覺來感知物體。近日一篇最新的相關論文將于下周在加利福尼亞長灘市的計算機視覺與模式識別會議上公開，這篇論文描述了一種人工智能系統，它可以通過觸覺信號生成觸摸物的視覺形象，還能根據視覺數據來預測物體的觸感。

“通過觀察物體的表面，我們的模型可以預測某個平面或棱角的觸感。通過觸摸物體，我們的人工智能模型可以根據觸感來構建感知到的環境。將這兩種感知數據相結合，機器人的性能就會得到優化，它在搬運或抓取某個物體時所需的數據就更少，”CSAIL博士生李昀燭說道，他與他的導師Russ Tedrake、Antonio Torralba以及另一位博士后朱俊彥一起撰寫了本篇論文。

這篇論文的核心干貨到底是什么？

這項跨域建模任務的主要挑戰在于兩者之間顯著的比例差異：當我們的眼睛同時感知整個視覺場景時，只能感受到物體的一小部分。為了將視覺和觸覺聯系起來，研究人員引入了兩個跨模態任務：

1）從視覺輸入中合成可信的觸覺信號；

2）從視覺輸入中直接預測哪個物體和哪個部分正在被觸摸；

為了完成此目標，研究人員構建了一個機器人系統來自動化收集大規模視覺、觸覺對的過程。

如圖 1a 所示，機器人手臂裝有一個觸覺傳感器，稱為 GelSight，該傳感器由CSAIL的Ted Adelson小組創建。然后，GelSight收集的信息被輸入AI，以便了解視覺和觸覺信息之間的關系。

為了教AI如何通過觸摸識別物體，研究人員總共記錄了對 195 個不同物體的 12000 次觸摸。每個觸摸動作包含 250 幀的視頻序列，如織物，工具和被觸摸的家用物品。最后產生了 300 萬個視覺和觸覺對圖像，AI使用此數據集連接觸覺和視覺數據用以總結和完善實驗結果。

CSAIL博士學生和主要作者李昀燭在一篇關于該系統的新論文中說?！巴ㄟ^盲目地觸摸，我們的模型可以純粹通過觸覺來預測與環境的相互作用。將這兩種感官結合在一起可以增強機器人的能力并減少我們在涉及操縱和抓取物體的任務時可能需要的數據?！?/p>

目前，機器人只能識別受控環境中的物體，這些研究人員指出，目前的數據集還非常有限，對于現有的系統而言，物體的顏色、柔軟度等細節還很難預測。但很顯然他們的研究會為更多的人機一體化打下基礎，尤其是針對光線昏暗甚至黑暗密閉空間中的任務。下一步則將是如何構建更大的數據集，以便機器人可以在更多樣化的環境中工作。