新的 Project GR00T 工作流和 AI world model開發技術將提高機器人的靈巧性、控制性、操縱性和移動性。

NVIDIA 在本周于德國慕尼黑舉行的機器人學習大會（CoRL）上發布了全新 AI 和仿真工具以及工作流。機器人開發者可以使用這些工具和工作流，大大加快 AI 機器人（包括人形機器人）的開發工作。

此次發布的系列產品包括：NVIDIA Isaac Lab 機器人學習框架正式版；Project GR00T（一個為加速人形機器人發展的項目）的六個全新人形機器人學習工作流；以及用于視頻數據管理和處理的全新世界模型開發工具，包括用于視頻處理的NVIDIA Cosmos tokenizer和NVIDIA NeMo Curator。

開源 Cosmos tokenizer可將圖像和視頻分解為具有極高壓縮率的高質量 token，為機器人開發者提供卓越的視覺標記化功能。Cosmos tokenizer的運行速度最高可達到當前標記器的 12 倍，NeMo Curator 的視頻處理整理速度則最高可達到未優化管線的 7 倍。

NVIDIA 在 CoRL 上還發布了 23 篇與機器人學習相關的論文，并舉辦了 9 場研討會，同時發布了面向開發者的培訓和工作流指南。此外，Hugging Face 和 NVIDIA 還宣布，將共同使用 LeRobot、NVIDIA Isaac Lab和NVIDIA Jetson來加速開發者社區的開源機器人研究。

使用 Isaac Lab 加速機器人開發

NVIDIA Isaac Lab 是一個建立在NVIDIA Omniverse平臺上的開源機器人學習框架。NVIDIA Omniverse 是一個用于開發適用于工業數字化和物理 AI 仿真的 OpenUSD 應用的平臺。

開發者可以使用 Isaac Lab 來大規模訓練機器人策略。這個開源的統一機器人學習框架適用于從人形機器人到四足機器人和協作機器人等各種具身，能夠處理日益復雜的動作和交互。

全球領先的商用機器人制造商、機器人應用開發商和機器人研究機構都在使用 Isaac Lab，包括 1X、Agility Robotics、波士頓動力人工智能研究所、Berkeley Humanoid、波士頓動力公司、Field AI、傅利葉、銀河通用、Mentee Robotics、Skild AI、Swiss-Mile、宇樹科技和小鵬機器人。

Project GR00T：

通用人形機器人的基礎

制造先進的人形機器人非常困難，需要多層技術和跨學科方法，才能使機器人有效地感知、移動和學習技能，進而實現人與機器人以及機器人與環境的交互。

Project GR00T旨在通過開發加速庫、基礎模型和數據管線，加速全球人形機器人開發者生態的發展。

這六個全新 Project GR00T 工作流為人形機器人開發者提供了實現最具挑戰性的人形機器人功能的藍圖：

GR00T-Gen用于構建基于 OpenUSD 的生成式 AI 3D 環境

GR00T-Mimic用于生成機器人運動和軌跡

GR00T-Dexterity用于機器人靈巧操作

GR00T-Control用于全身控制

GR00T-Mobility用于機器人運動和導航

GR00T-Perception用于多模態感知

NVIDIA 具身 AI 高級研究經理 Jim Fan 表示：“人形機器人是具身 AI 的下一輪浪潮。NVIDIA 的研究和工程團隊正在與整個公司內部和我們的開發者生態合作構建 Project GR00T，以幫助推動全球人形機器人開發者的進步和發展?！?/p>

世界模型構建者的新開發工具

如今，機器人開發者正在構建世界模型。這種用 AI 呈現世界的方式可以預測物體和環境對機器人行動的反應。構建這些世界模型需要大量計算和數據，這些模型需要數千小時的經過整理的真實世界圖像或視頻數據。

NVIDIA Cosmos tokenizer 提供高效、優質的編碼和解碼能力，能夠簡化這些世界模型的開發。它們樹立了最小失真和時間不穩定性的新標準，實現了高質量的視頻和圖像重建。

Cosmos tokenizer 提供了高質量壓縮和最高達 12 倍的視覺重構速度，為在廣泛的視覺域開發可擴展、強大且高效的生成應用創造了條件。

人形機器人公司 1X 已更新了 1X 世界模型挑戰賽數據集，以便使用 Cosmos tokenizer。

1X Technologies AI 副總裁 Eric Jang 表示：“NVIDIA Cosmos tokenizer 在保持視覺保真度的同時，實現了對我們數據的高度時空壓縮。這讓我們能夠以更高效的計算方式，來使用長視距視頻生成技術去訓練世界模型。”

包括小鵬機器人和 Hillbot 在內的其他人形機器人和通用機器人開發商正在其開發過程中使用 NVIDIA Cosmos tokenizer，以管理高分辨率圖像和視頻。

NeMo Curator 現在加入了一個視頻處理管線，這使機器人開發者能夠通過處理大規模文本、圖像和視頻數據，來提高其世界模型的準確性。

由于視頻數據的規模龐大，需要可擴展的管線和跨 GPU 負載平衡的高效編排，這給視頻數據管理帶來了挑戰。此外，還需要對過濾、字幕生成和嵌入模型進行優化，才能最大程度地提高吞吐量。

NeMo Curator 通過自動管線編排來簡化數據整理工作，顯著縮短了處理時間，從而克服了這些挑戰。NeMo Curator 支持跨多節點、多 GPU 系統的線性擴展，可高效處理 100 PB 以上的數據，這簡化了 AI 開發，降低了成本，加快了產品的上市時間。

在 CoRL 上

推進機器人學習社區的發展

NVIDIA 機器人團隊與 CoRL 共同發布的近二十篇研究論文涵蓋了以下領域的突破性成果：集成 VLM 來優化環境理解和任務執行、機器人時間導航、為復雜的多步驟任務制定長視距規劃策略，以及利用人類演示來習得技能。

有關人形機器人控制和合成數據生成的突破性論文包括：SkillGen（一個基于合成數據生成的系統，用于在人工演示極少的情況下訓練機器人）和 HOVER（一個用于控制人形機器人運動和操作的機器人基礎模型）。

NVIDIA 研究人員還參加了本屆大會的九場研討會。進一步了解有關活動的完整日程安排：

供貨情況

NVIDIA Isaac Lab 1.2 現已在 GitHub 上開源可用。NVIDIA Cosmos tokenizer現已在 GitHub 和 Hugging Face 上開源。用于視頻處理的 NeMo Curator 將于本月底發布。

新的 NVIDIA Project GR00T 工作流即將推出，以幫助機器人公司更加輕松地構建人形機器人功能。

學習使用 Isaac Lab 的研究人員和開發者現可以訪問開發者指南和教程，包括 Isaac Gym 到 Isaac Lab 的遷移指南。

在即將于 11 月 13 日舉行的關于機器人仿真和學習的 OpenUSD 內部直播中了解機器人學習和仿真的最新進展.。