開發(fā)者可以訪問新的 NVIDIA NIM 微服務(wù)，用于 Isaac Lab 和 Isaac Sim 中的機(jī)器人仿真、OSMO 機(jī)器人云計(jì)算編排服務(wù)和遠(yuǎn)程操作數(shù)據(jù)捕獲工作流等

?

?
?
丹佛—SIGGRAPH—當(dāng)?shù)貢r(shí)間 2024 年 7 月 29 日—為加速全球人形機(jī)器人的發(fā)展，NVIDIA 于今日宣布，為全球領(lǐng)先的機(jī)器人制造商、AI 模型開發(fā)者和軟件制造商提供一套服務(wù)、模型以及計(jì)算平臺(tái)，以開發(fā)、訓(xùn)練和構(gòu)建下一代人形機(jī)器人。
?
整套產(chǎn)品包括用于機(jī)器人仿真和學(xué)習(xí)的全新 NVIDIA NIM? 微服務(wù)和框架、用于運(yùn)行多階段機(jī)器人工作負(fù)載的 NVIDIA OSMO 編排服務(wù)，以及支持 AI 和仿真的遠(yuǎn)程操作工作流，該工作流允許開發(fā)者使用少量人類演示數(shù)據(jù)來訓(xùn)練機(jī)器人。
?
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示：“AI 的下一波浪潮是機(jī)器人，其中最令人興奮的發(fā)展之一是人形機(jī)器人。我們正在推進(jìn)整個(gè) NVIDIA 機(jī)器人堆棧的發(fā)展，面向全球人形機(jī)器人開發(fā)者和公司開放訪問，讓他們能夠使用最符合其需求的平臺(tái)、加速庫和 AI 模型。”
?
借助 NVIDIA NIM 和 OSMO 加速開發(fā)
NIM 微服務(wù)提供了由 NVIDIA 推理軟件提供支持的預(yù)構(gòu)建容器，使開發(fā)者能夠?qū)⒉渴饡r(shí)間從數(shù)周縮短到幾分鐘。機(jī)器人專家將能夠通過兩項(xiàng)新的 AI 微服務(wù)，在 NVIDIA Isaac Sim?（基于 NVIDIA Omniverse? 平臺(tái)構(gòu)建的機(jī)器人仿真參考應(yīng)用）中增強(qiáng)生成式物理 AI 仿真工作流。
?
MimicGen NIM 微服務(wù)可根據(jù) Apple Vision Pro 等空間計(jì)算設(shè)備記錄的遠(yuǎn)程操作數(shù)據(jù)，生成合成運(yùn)動(dòng)數(shù)據(jù)。Robocasa NIM 微服務(wù)可在 OpenUSD（一個(gè)用于在 3D 世界中進(jìn)行開發(fā)和協(xié)作的通用框架）中生成機(jī)器人任務(wù)和仿真就緒環(huán)境。
?
現(xiàn)已推出的 NVIDIA OSMO 是一項(xiàng)云原生托管服務(wù)，允許用戶跨分布式計(jì)算資源來協(xié)調(diào)和擴(kuò)展復(fù)雜的機(jī)器人開發(fā)工作流，無論是在本地還是在云端。
?
OSMO 大大簡(jiǎn)化了機(jī)器人訓(xùn)練和仿真工作流，將部署和開發(fā)周期從數(shù)月縮短到一周內(nèi)。用戶可以對(duì)各種任務(wù)進(jìn)行可視化管理，包括合成數(shù)據(jù)生成、模型訓(xùn)練、強(qiáng)化學(xué)習(xí)以及大規(guī)模的人形機(jī)器人、自主移動(dòng)機(jī)器人和工業(yè)機(jī)械臂軟件在環(huán)測(cè)試。
?
為人形機(jī)器人開發(fā)者提供先進(jìn)的數(shù)據(jù)捕獲工作流
訓(xùn)練人形機(jī)器人的基礎(chǔ)模型需要大量的數(shù)據(jù)。遠(yuǎn)程操作是獲取人類演示數(shù)據(jù)的方法之一，但這個(gè)過程正變得越來越昂貴和漫長。
?
通過在 SIGGRAPH 計(jì)算機(jī)圖形大會(huì)上展示的 NVIDIA AI 和 Omniverse 遠(yuǎn)程操作參考工作流，研究者和 AI 開發(fā)者能夠從極少量遠(yuǎn)程捕捉的人類演示中生成大量合成運(yùn)動(dòng)和感知數(shù)據(jù)。
?
首先，開發(fā)者使用 Apple Vision Pro 捕獲少量遠(yuǎn)程操作演示，隨后在 NVIDIA Isaac Sim 中仿真這些錄像，并使用 MimicGen NIM 微服務(wù)基于錄像生成合成數(shù)據(jù)集。
?
開發(fā)者可以使用真實(shí)數(shù)據(jù)和合成數(shù)據(jù)對(duì) Project GR00T 人形機(jī)器人基礎(chǔ)模型進(jìn)行訓(xùn)練，以節(jié)省時(shí)間和降低成本。然后，他們可以使用 Isaac Lab 中的 Robocasa NIM 微服務(wù)（一個(gè)機(jī)器人學(xué)習(xí)框架）來生成經(jīng)驗(yàn)并重新訓(xùn)練機(jī)器人模型。在整個(gè)工作流中，NVIDIA OSMO 將計(jì)算任務(wù)無縫地分配給不同的資源，為開發(fā)者減少了數(shù)周的管理工作量。
?
通用機(jī)器人平臺(tái)公司傅利葉看到了使用仿真技術(shù)綜合生成訓(xùn)練數(shù)據(jù)的優(yōu)勢(shì)。
?
傅利葉首席執(zhí)行官 Alex Gu 表示：“人形機(jī)器人的開發(fā)極其復(fù)雜，這項(xiàng)工作需要從現(xiàn)實(shí)世界中繁瑣地獲取大量真實(shí)數(shù)據(jù)。NVIDIA 的全新仿真和生成式 AI 開發(fā)者工具將有助于引導(dǎo)和加速我們的模型開發(fā)工作流。”
?
擴(kuò)大 NVIDIA 人形機(jī)器人開發(fā)者技術(shù)的訪問渠道

NVIDIA 提供了三個(gè)計(jì)算平臺(tái)來簡(jiǎn)化人形機(jī)器人的開發(fā)，分別是：用于訓(xùn)練模型的 NVIDIA AI 超級(jí)計(jì)算機(jī)；基于 Omniverse 構(gòu)建的 NVIDIA Isaac Sim，使機(jī)器人可以在仿真世界中學(xué)習(xí)和完善技能；以及用于運(yùn)行模型的 NVIDIA Jetson? Thor 人形機(jī)器人計(jì)算機(jī)。開發(fā)者可以根據(jù)具體需求來訪問和使用全部平臺(tái)或其中的任何部分。
?
通過新的 NVIDIA 人形機(jī)器人開發(fā)者計(jì)劃，開發(fā)者可以提前獲取這些新產(chǎn)品以及最新版本的 NVIDIA Isaac Sim、NVIDIA Isaac Lab、Jetson Thor 和 Project GR00T 通用人形機(jī)器人基礎(chǔ)模型。
?
首批加入早期訪問計(jì)劃的企業(yè)有 1x、波士頓動(dòng)力公司、字節(jié)跳動(dòng) ByteDance Research、Field AI、Figure、傅利葉、銀河通用、逐際動(dòng)力、Mentee、Neura Robotics、星動(dòng)紀(jì)元和 Skild AI。
?
波士頓動(dòng)力公司首席技術(shù)官 Aaron Saunders 表示：“波士頓動(dòng)力公司與 NVIDIA 在推動(dòng)機(jī)器人技術(shù)發(fā)展方面有著悠久的密切合作歷史。我們非常高興看到這項(xiàng)工作的成果正在加速整個(gè)行業(yè)的發(fā)展。而要想獲得最先進(jìn)的技術(shù)，早期訪問計(jì)劃無疑是最佳的途徑。”
?
可用性
開發(fā)者現(xiàn)在可以加入 NVIDIA 人形機(jī)器人開發(fā)者計(jì)劃，以訪問 NVIDIA OSMO 和 Isaac Lab，并將很快能夠訪問 NVIDIA NIM 微服務(wù)。

觀看 NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛在 8 月 1 日于丹佛舉行的 SIGGRAPH 計(jì)算機(jī)圖形大會(huì)上的爐邊談話，進(jìn)一步了解生成式 AI 和加速計(jì)算的最新進(jìn)展。
?
?