人形機器人是機電一體化、控制理論和 AI 交叉領(lǐng)域的一道綜合性難題。人形機器人的動力學(xué)和控制十分復(fù)雜，它們需要先進的工具、技術(shù)和算法才能在移動和操作任務(wù)中保持平衡。由于人形機器人需要融合復(fù)雜的傳感器和高分辨率攝像頭，才能有效感知環(huán)境并推理如何與周圍環(huán)境進行實時互動，因此另一大難題是機器人數(shù)據(jù)的采集和各種傳感器的集成。此外，為了滿足實時處理感知數(shù)據(jù)和決策所需要的算力，還需要有功能強大的機載計算機。

當前的研究重點仍是開發(fā)能夠?qū)崿F(xiàn)機器人自適應(yīng)行為并促進人與機器人自然交互的技術(shù)、工具與機器人基礎(chǔ)模型。我們正在積極開展 NVIDIA Project GR00T 研究計劃，旨在幫助人形機器人生態(tài)系統(tǒng)構(gòu)建者加快下一代先進機器人的開發(fā)工作。本文將討論用于開發(fā)人形機器人的全新 GR00T 工作流，包括：

GR00T-Gen 多樣化環(huán)境生成工作流

GR00T-Mimic 機器人運動和軌跡生成工作流

GR00T-Dexterity 精細靈巧操作工作流

GR00T-Mobility 移動和導(dǎo)航工作流

GR00T-Control 全身控制（WBC）工作流

GR00T-Perception 多模態(tài)感知工作流

GR00T-Gen 多樣化環(huán)境

生成工作流

GR00T-Gen 是一套在 OpenUSD 中生成機器人任務(wù)和仿真就緒環(huán)境的工作流，用于訓(xùn)練通用機器人執(zhí)行操縱、移動和導(dǎo)航。

為了讓機器人學(xué)習(xí)得更“扎實”，需要在具有各種物體和場景的多樣化環(huán)境中進行訓(xùn)練。但通常情況下，在現(xiàn)實世界中生成大量不同環(huán)境既昂貴又耗時，而且大多數(shù)開發(fā)者還無法使用，因此仿真成為了一個極佳的替代方案。

GR00T-Gen 使用大語言模型（LLM）和 3D 生成式 AI 模型創(chuàng)建并提供以人為本的逼真、多樣化環(huán)境。它擁有 2500 多個 3D 資產(chǎn)，涵蓋了 150 多個物體類別。為了創(chuàng)建視覺多樣化場景，在仿真中加入了多種紋理以實現(xiàn)域隨機化。域隨機化使訓(xùn)練而成的模型和策略在部署到現(xiàn)實世界中時能夠有效地泛化。

GR00T-Gen 為移動機械臂和人形機器人提供了跨具身支持并且包含了 100 多種任務(wù)，例如開門、按鍵和導(dǎo)航。

GR00T-Mimic 機器人運動

和軌跡生成工作流

GR00T-Mimic 是一個強大的工作流，它可從遠程操作演示中生成用于模仿學(xué)習(xí)的運動數(shù)據(jù)。模仿學(xué)習(xí)是一種訓(xùn)練機器人的方法，機器人通過觀察和復(fù)制教師演示的動作來掌握技能。該訓(xùn)練過程的一個關(guān)鍵要素是可用演示數(shù)據(jù)的數(shù)量和質(zhì)量。

人形機器人要想有效、安全地在以人為中心的環(huán)境中移動，其“老師”必須是人類示范者，這樣才能讓機器人通過模仿人類行為來學(xué)習(xí)。但現(xiàn)有的高質(zhì)量訓(xùn)練數(shù)據(jù)十分匱乏，這就帶來了巨大的挑戰(zhàn)。

為了解決這個問題，需要開發(fā)能夠捕捉人類行為的大量數(shù)據(jù)集。生成這種數(shù)據(jù)的可行方法之一是遠程操作，即人類操作員遠程控制機器人演示特定任務(wù)。雖然遠程操作可以生成高保真的演示數(shù)據(jù)，但在特定時間能夠訪問這些系統(tǒng)的人數(shù)有限。

GR00T-Mimic 旨在擴大數(shù)據(jù)采集流程的規(guī)模。該方法包括在物理世界中使用擴展現(xiàn)實（XR）和空間計算設(shè)備（如 Apple Vision Pro）采集數(shù)量有限的人類演示。然后利用這些初始演示生成合成運動數(shù)據(jù)，從而有效地擴大演示數(shù)據(jù)集。我們的目標是創(chuàng)建一個全面的人類動作庫供機器人學(xué)習(xí)，從而提高它們在真實世界環(huán)境中執(zhí)行任務(wù)的能力。

為了進一步支持 GR00T-Mimic，NVIDIA Research 還發(fā)布了 SkillMimicGen。這是利用最少的人類演示解決實機操縱任務(wù)的第一步。

GR00T-Dexterity 精細靈巧

操作工作流

GR00T-Dexterity 是一套用于精細靈巧操作的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的機器人抓取需要集成從識別抓取點到規(guī)劃運動和控制手指等多個復(fù)雜環(huán)節(jié)。對于有許多執(zhí)行器的機器人來說，管理這些系統(tǒng)（尤其是使用狀態(tài)機來處理抓取失敗等故障）使端到端抓取成為了一大難題。

GR00T-Dexterity 引入了一個借鑒研究論文 DextrAH-G 的工作流。該工作流是一種基于強化學(xué)習(xí)（RL）的機器人靈巧性策略開發(fā)方法。借助它，可以創(chuàng)建出像素到動作的端到端抓取系統(tǒng)。該系統(tǒng)經(jīng)過仿真訓(xùn)練后，可部署到物理機器人上。該工作流專為生成能夠根據(jù)輸入的深度數(shù)據(jù)流進行快速、反應(yīng)性抓取的策略而設(shè)計，并且可以泛化到新物體。

該流程涉及創(chuàng)建一個幾何織物定義機器人的運動空間和簡化抓取動作，同時針對并行化訓(xùn)練進行優(yōu)化。通過使用 NVIDIA Isaac Lab，可在多顆 GPU 上使用強化學(xué)習(xí)訓(xùn)練織物引導(dǎo)的策略，從而泛化抓取行為。最后，通過模仿學(xué)習(xí)，可利用輸入的深度將學(xué)習(xí)到的策略提煉為適用于現(xiàn)實世界的版本，從而在數(shù)小時內(nèi)制定出穩(wěn)健的策略。

請注意，GR00T-Dexterity 工作流預(yù)覽版基于研究論文 DextrAH-G：使用幾何織物實現(xiàn)像素到動作的靈巧機械臂-手抓取，并已從 NVIDIA Isaac Gym（已廢棄）遷移到 Isaac Lab。如果您是 Isaac Gym 用戶，請按照教程和遷移指南開始使用 Isaac Lab。

GR00T-Mobility 移動和

導(dǎo)航工作流

GR00T-Mobility 是一套用于移動和導(dǎo)航的模型和策略并包含開發(fā)這些模型和策略的參考工作流。

傳統(tǒng)的導(dǎo)航方法在雜亂環(huán)境中難以發(fā)揮作用并且需要進行大量的調(diào)整，而基于學(xué)習(xí)的方法難以泛化到新的環(huán)境。

GR00T-Mobility 引入了一套基于 Isaac Lab 支持的強化學(xué)習(xí)（RL）和模仿學(xué)習(xí)（IL）構(gòu)建的新型工作流，專門用于創(chuàng)建適用于不同環(huán)境和具身的通用移動導(dǎo)航方法。

借助使用 NVIDIA Isaac Sim 構(gòu)建的世界模型，該工作流可生成豐富的環(huán)境動態(tài)潛在表示，以此實現(xiàn)了更具適應(yīng)性的訓(xùn)練。它將世界建模與行動策略學(xué)習(xí)和RL微調(diào)分離，從而提高了靈活性，并且由于支持多樣化的數(shù)據(jù)源而具有更高的通用性。

僅在 Isaac Sim 提供的逼真合成數(shù)據(jù)集上（使用該工作流）訓(xùn)練而成的模型實現(xiàn)了零樣本仿真到現(xiàn)實轉(zhuǎn)換，并且可應(yīng)用于一系列具身，包括差動驅(qū)動、Ackermann、四足動物和人形等。

該工作流以 NVIDIA 應(yīng)用研究團隊在 X-MOBILITY：通過世界建模實現(xiàn)端到端可泛化導(dǎo)航中展示的研究成果為基礎(chǔ)。

圖 1. 通過使用 Isaac Sim 通過的合成數(shù)據(jù)集，

GR00T-Mobility 工作流將世界建模和行動策略訓(xùn)練相結(jié)合，

實現(xiàn)了可泛化的導(dǎo)航與零樣本仿真到現(xiàn)實轉(zhuǎn)換。

GR00T-Control 全身控制工作流

GR00T-Control 是一套用于開發(fā) WBC 的先進運動規(guī)劃和控制程序庫、模型、策略與參考工作流。參考工作流可運用于各種平臺、預(yù)訓(xùn)練模型和加速程序庫。

WBC 對于實現(xiàn)精確、靈敏的人形機器人控制必不可少，尤其是在需要靈巧和移動的任務(wù)中。GR00T-Control 引入了一種基于學(xué)習(xí)的傳統(tǒng)模型預(yù)測控制（MPC）替代方案，其工作流與 NVIDIA 應(yīng)用研究團隊開發(fā)的 Isaac Lab 相集成。這項工作基于 OmniH2O：通用和靈巧人類到人形機器人全身遠程操作與學(xué)習(xí)中展示的原創(chuàng)研究成果以及最新發(fā)布的 HOVER：人形機器人多功能中性全身控制器。

該參考工作流可幫助開發(fā)用于遠程操作和自主控制的人形機器人全身控制策略（WBC 策略）。OmniH2O 的遠程操作通過 VR 頭顯、RGB 攝像頭、口頭命令等輸入方法實現(xiàn)了高精度的人類控制。同時，HOVER 的多模態(tài)策略提煉框架促進了自主任務(wù)模式之間的無縫轉(zhuǎn)換，使其能夠適應(yīng)復(fù)雜的任務(wù)。

WBC 策略工作流采用仿真到真實學(xué)習(xí)流程。該流程首先使用 Isaac Lab 作為 能夠訪問詳細運動數(shù)據(jù)的“教師”模型，通過強化學(xué)習(xí)在仿真中訓(xùn)練特權(quán)控制策略。之后將該模型提煉成可部署的現(xiàn)實世界版本，該版本能夠在感官輸入有限的情況下運行，解決遠程操作延遲、VR 或視覺追蹤輸入受限（針對 OmniH2O）以及多種自主任務(wù)模式的適應(yīng)性（針對 HOVER）等難題。

（使用 OmniH2O 工作流開發(fā)的）全身控制策略提供了 19 個自由度，實現(xiàn)了精確的人形機器人控制。

GR00T-Perception 多模態(tài)

感知工作流

GR00T-Perception 是一套先進的感知程序庫（例如 nvblox 和 cuVSLAM）、基礎(chǔ)模型（例如 FoundationPose 和 RT-DETR）以及基于 Isaac Sim 和 NVIDIA Isaac ROS 構(gòu)建的參考工作流。這些參考工作流展示了如何在機器人解決方案中結(jié)合使用這些平臺、預(yù)訓(xùn)練模型和加速程序庫。

ReMEmbR 是 GR00T-Perception 新增的一項重要功能，是一項應(yīng)用研究參考工作流。該工作流通過讓機器人“記住”長期事件歷史增強人機交互，大大改善了個性化和情境感知響應(yīng)，同時通過集成視覺語言模型、LLM和檢索增強記憶大幅提升人形機器人的感知、認知和適應(yīng)能力。

借助 ReMEmbR，機器人能夠長期保留上下文信息，通過整合圖像、聲音等感官數(shù)據(jù)提高空間感知、導(dǎo)航和交互效率。該工作流遵循結(jié)構(gòu)化的記憶構(gòu)建和查詢流程，可部署在真實機器人上的 NVIDIA Jetson AGX Orin 上。

想要了解有關(guān) ReMEmbR 的更多信息，請參閱使用生成式 AI 使機器人借助 ReMEmbR 進行推理和行動：

https://developer.nvidia.com/blog/using-generative-ai-to-enable-robots-to-reason-and-act-with-remembr/

圖 2. ReMEmbR 高級工作流包含兩個階段，

分別是記憶構(gòu)建階段和信息查詢階段。

結(jié)論

通過 NVIDIA Project GR00T，我們正在構(gòu)建能夠根據(jù)人形機器人開發(fā)者需求單獨或組合使用的先進技術(shù)、工具與 GR00T 工作流。這些改進有助于開發(fā)智能化水平更高、適應(yīng)性和能力更強的人形機器人，推動人形機器人在現(xiàn)實世界應(yīng)用中的發(fā)展。

進一步了解領(lǐng)先機器人公司如何使用 NVIDIA 平臺，包括 1X、Agility Robotics、The AI Institute、Berkeley Humanoid、波士頓動力、Field AI、傅利葉、銀河通用、Mentee Robotics、Skild AI、Swiss-Mile、宇樹科技和小鵬機器人。