您印象中的機器人還僅僅是按照代碼指令完成任務嗎？其實，通過觀察人類行為來進行操作才是機器人的未來趨勢。

圖片由斯坦福視覺和學習實驗室提供

在前不久的GPU技術大會上，來自斯坦福大學的Animesh Garg和Marynel Vázquez在主題為《機器人移動和操控的通用性自主能力》的演講中分享了他們的研究成果。

通俗來講，通用性自主能力是指機器人可以觀察、學習并模仿人類行為，進而在各種任務和情況中加以應用。例如，通過觀看YouTube視頻學習烹飪，或者找到走出一間擁擠房間的方法。

Cooking 101

Garg是斯坦福視覺和學習實驗室（CVGL）的博士后研究員。他熱衷烹飪，還特別喜歡機器人。但是，他認為如果未來的每臺機器人都只會做一道菜，就太無聊了。

目前，精通單個任務的機器人已經很常見，但Garg 則致力于研究如何實現他自己的“通用型機器人夢想”。

實現這個夢想的途徑可能就在于神經任務編程 (NTP)，這是一種新的元學習方法。NTP利用層次化結構，并學習使用模塊化機器人API進行編程，從而僅通過一個測試示例即可執行隱藏任務。

例如，機器人廚師會將烹飪視頻輸入到它的系統里，然后使用分層式神經程序將視頻數據分解成Garg所說的基于視覺線索和時間序列的結構化任務表達式。

機器人并非只學習制作肉丸意大利面的單一菜譜，而是會了解組成該任務的所有子程序或組件。如此一來，這位嶄露頭角的機器人廚師便可以在其他場景中展示其燒水、油炸肉丸和煨醬汁等烹飪技能。

解決任務域（而非任務實例）是Garg所謂的元學習的關鍵所在。NTP已經取得了一些令人鼓舞的成果，其結構化的分層式方法在處理隱藏任務時比扁平化編程表現優越。此外，在處理可見任務時NTP也同樣出色。

感到太擁擠了？跟著機器人走吧

我們都經歷過這樣的情況。您嘗試穿過擁擠的房間，然后突然發現自己撞到了迎面走來的陌生人。

您向右移動以繞開他，但他也向右，并且仍然擋著路。出于本能，你們都移動到另一個方向，然后又撞到了！

為了打破尷尬的場面，你們中的一個人開玩笑說“我們來跳個舞吧！”終于，你們越過彼此繼續前進。

在一個擁擠的空間中行走時，理解人們如何以及為何按照某種方式移動十分重要。教會機器人理解這些規則是非常艱巨的任務。下面，我們來認識下Vázquez和CVGL的機器人Jackrabbot 。

Jackrabbot在2015年首次踏上人行道，以低于每小時五英里的行人速度進行小批量運送。正如Vázquez所解釋的那樣，Jackrabbot（得名于他校園中頻繁出現的野生動物的名字）是用于解決在人群中預測人體運動這一復雜問題的工具。

讓自動駕駛車輛學會在非結構化空間（比如真實世界）中行駛是一個涉及多方面因素的問題。“安全是第一要務，”Vázquez 說。

為了解決安全問題，他們開始利用深度學習開發了一種生成式對抗網絡 (GAN)，將JackRabbot相機捕獲的實時數據與GAN即時生成的圖像進行比較。

這些圖像代表如果一個區域可以安全通過，機器人所應該看到的內容，例如走廊上沒有關閉的門、被丟棄的家具或站在路上的行人。如果現實情形滿足這些理想條件，JackRabbot就會繼續行走。否則，它就會進行緊急制動。

然后，這支團隊轉向了多目標任務，即“追蹤無法追蹤的行人”。在人群中優雅地穿梭不僅需要迅速判斷“我的路線是否清晰？”，還要追蹤朝不同方向移動的多人的行動路線，并預測他們接下來的目的地。

在這里，該團隊使用長短期記憶方法構建了一個遞歸神經網絡，以解釋隨時間測量的多個線索，包括外觀、速度、相互作用和相似性等。

一篇已發表的研究論文已經深入探討了這些技術細節。但實際上，CVGL設計了一種新穎的方法，可以學習人們在擁擠空間的常識行為，然后利用這種理解來預測每個人接下來可能前往的“軌跡”。

因此，如果下一次您發現自己在一個滿是陌生人的房間中即將遭遇“我們來跳個舞吧！”的尷尬時刻，請記得花點時間去探尋規律，將每個人的運動軌跡記憶在腦海之中。

當然您也可以采取捷徑——找一個JackRabbot，讓它為您指路。近期，配備雙路NVIDIA GPU的JackRabbot 2.0已經發布。