在 2025 CES，NVIDIA 宣布了對NVIDIA Isaac的重要更新。NVIDIA Isaac 是一個由加速庫、應用框架和 AI 模型組成的平臺，可加速 AI 機器人的開發(fā)。

NVIDIA Isaac 簡化了從仿真到實際部署的機器人系統(tǒng)開發(fā)流程。本文將聚焦 NVIDIA Isaac 的更新：

Isaac Sim

Isaac Lab

Isaac Manipulator

Isaac Perceptor

Isaac Sim 4.5 的更新

NVIDIA Isaac Sim 是一款基于NVIDIA Omniverse構(gòu)建的參考應用程序，用于在基于物理的虛擬環(huán)境中開發(fā)、仿真和測試由 AI 驅(qū)動的機器人。

將于 1 月底推出的全新 Isaac Sim 4.5 將有一系列重大更新，包括以下內(nèi)容：

參考應用程序模板

改進的 URDF 導入和設置

改進的物理仿真和建模

新的關(guān)節(jié)可視化工具

仿真精度和統(tǒng)計數(shù)據(jù)

NVIDIA Cosmos世界基礎模型

參考應用程序模板

Isaac Sim 已被重新設計為可定制的參考應用程序。提供了一個啟動速度更快的簡化模板，以及一個具備完整功能和所有依賴項的完整模板。支持根據(jù)具體需求調(diào)整應用，無論是用于無界面應用程序還是完整的 Isaac Sim 體驗。

改進的 URDF 導入和設置

URDF 導入工具有了顯著改進。優(yōu)化用戶界面，以提供更流暢的導入流程，并與其他格式的導入方式保持一致。同時，支持單獨配置關(guān)節(jié)驅(qū)動器，導入后機器人即可立即使用。為了輔助關(guān)節(jié)驅(qū)動配置，還提供了基于固有頻率的調(diào)諧選項。

優(yōu)化的物理仿真和建模

Isaac Sim 4.5 在物理建模和仿真方面有了重大進展。用戶可以定義和配置機器人組件之間的各種關(guān)節(jié)類型，設置諸如剛度和阻尼等參數(shù)，以微調(diào)關(guān)節(jié)行為。

新增關(guān)節(jié)可視化工具

新增的關(guān)節(jié)可視化工具可檢查選定對象的物理屬性，包括其位置、旋轉(zhuǎn)、線速度和角速度以及加速度。此外，還能優(yōu)化場景參數(shù)，如可變形表面或內(nèi)存使用情況，在運行仿真前進行排查。

圖 1.所選對象的各種屬性及其與其他對象的關(guān)聯(lián)

仿真精度和統(tǒng)計功能

新的剛體和關(guān)節(jié)動量守恒的實現(xiàn)，顯著提升了仿真精度。

開發(fā)者能夠可視化對象和場景的仿真統(tǒng)計數(shù)據(jù)，這些對象和場景可以相互交互，也可以完全獨立。通過查看從可變形表面到緩沖區(qū)中使用的總體內(nèi)存等不同參數(shù)，有助于在運行仿真之前排查問題和優(yōu)化場景。

圖 2.給定場景內(nèi)的仿真統(tǒng)計數(shù)據(jù)

NVIDIA Cosmos 世界基礎模型

在 CES 上宣布的 NVIDIA Cosmos 平臺，結(jié)合 Isaac Sim 可生成大量可控的合成數(shù)據(jù)，可用于訓練機器人感知系統(tǒng)。

在 Isaac Sim 中，可以通過統(tǒng)一各種數(shù)據(jù)輸入（包括 CAD、激光雷達點云掃描以及從諸如 Edify 3D 等 AI 模型生成的 3D 對象）來構(gòu)建適合仿真的 3D 場景。之后，通過編排和設置場景，以反映機器人必須執(zhí)行的特定任務，并渲染圖像或視頻。

Cosmos 可以攝取圖像和視頻，并輸出逼真的視頻片段，然后用于策略模型的再訓練。

視頻 1.NVIDIA Cosmos：用于物理 AI 的世界基礎模型平臺

Isaac Lab 2.0 的更新

NVIDIA Isaac Lab是一個用于機器人學習以訓練機器人策略的開源統(tǒng)一框架。Isaac Lab 基于 NVIDIA Isaac Sim 構(gòu)建，幫助開發(fā)者和研究人員更高效地構(gòu)建具備強大感知能力、且經(jīng)過仿真訓練策略的智能、適應性強的機器人。

本月底將推出新版 Isaac Lab 2.0，其在性能和可用性方面的改進如下：

平鋪渲染：平鋪渲染速度提升高達 1.2 倍，它將來自同時進行的仿真的輸出合并為一張打大圖像，而不是處理來自各個攝像頭的眾多小圖像。

用戶體驗優(yōu)化：通過 Python 包管理器簡化安裝流程。此外，Isaac Lab 將以容器形式提供，支持在不同系統(tǒng)間無縫遷移工作負載，無需依賴底層環(huán)境。

此次 CES 上首次發(fā)布了NVIDIA Isaac GR00T Blueprint，人形機器人開發(fā)者現(xiàn)在可以利用該Blueprint，通過少量人類示范構(gòu)建自定義數(shù)據(jù)管線，生成大量合成軌跡數(shù)據(jù)。目前，GR00T Blueprint 還處于僅限受邀用戶訪問的階段。加入人形機器人開發(fā)者計劃，以便在其進入測試版時獲取使用權(quán)限。

視頻 2.使用 NVIDIA Isaac GR00T 簡化數(shù)據(jù)收集

Isaac Manipulator 的更新

NVIDIA Isaac Manipulator基于 ROS 2 構(gòu)建，包括NVIDIA CUDA加速庫、AI 模型和參考工作流。通過這一工具，可以構(gòu)建 AI 驅(qū)動的機械臂，這些機械臂能夠感知、理解并與周圍環(huán)境進行交互。

Isaac Manipulator 現(xiàn)在包含用于拾取和放置以及物體跟蹤的全新端到端參考工作流，能夠支持快速進行基本的工業(yè)機械臂開發(fā)任務：

物體跟蹤：展示了機器人夾爪在避開障礙物的同時，能保持與移動物體的相對位置。

拾取和放置：展示了機器人如何在避開障礙物的情況下拾取物體并將其放置在預定區(qū)域（圖 3）。

圖 3.基于感知的拾取與放置

Isaac Sim 現(xiàn)在已經(jīng)支持以上參考工作流，無需設置物理硬件即可進行快速測試。

開發(fā)者支持和其他改進包括以下：

FoundationPose 的性能改進

針對機械臂用例對 nvblox 的更新

機器人手眼校準教程

基于 Isaac Sim 的工具，用于為夾爪與物體組合設置和仿真自定義抓取動作。

Isaac Perceptor 的更新

NVIDIA Isaac Perceptor 基于 ROS 2 構(gòu)建，包括一系列 NVIDIA CUDA 加速庫、AI 模型和參考工作流，用于開發(fā)自主移動機器人（AMR）。它使 AMR 能夠在諸如倉庫或工廠等非結(jié)構(gòu)化環(huán)境中進行感知、定位和操作。

Isaac Perceptor 包含 CUDA 加速庫，如用于 3D 場景重建的 nvblox 和用于立體視覺慣性 SLAM（同時定位與地圖構(gòu)建）的 cuVSLAM，開發(fā)者可以將這些庫集成到現(xiàn)有的 AMR 工作流中。

Isaac Perceptor 的最新更新顯著提升了 AMR 在諸如倉庫等動態(tài)環(huán)境中的環(huán)境感知能力和操作效率。主要的新功能和改進包括：

全新的端到端視覺 SLAM 參考工作流

關(guān)于使用多個攝像頭運行 nvblox 進行 3D 場景重建（含人員檢測和動態(tài)場景元素）的新示例

通過在多個 RGB-D 相機上運行 Isaac Perceptor 改進 3D 場景重建

這些更新顯著提升了 3D 場景重建能力，使得在真實場景以及復雜多變的環(huán)境中，3D 場景捕捉與地圖繪制性能的精度和穩(wěn)定性都得到了提高。

圖 4.基于多攝像頭的 3D 場景重建

NVIDIA 生態(tài)系統(tǒng)合作伙伴，如奧比中光、立普思（Realsense）、StereoLabs（Zed）提供兼容的攝像頭。開發(fā)者支持還包括“使用 Isaac Perceptor 進行建圖與定位”教程，該教程介紹如何利用 Nova 傳感器，結(jié)合 cuVGL 和 cuVSLAM 庫實現(xiàn)離線建圖功能。

生態(tài)合作伙伴的應用情況

多個行業(yè)合作伙伴已宣布將 NVIDIA Isaac 集成到他們的平臺和解決方案中：

波士頓動力正在通過 Isaac Lab 和 NVIDIA Jetson AGX Orin，把仿真策略直接部署用于推理，從而簡化了部署過程。

為了訓練 GR-1 和 GR-2 人形機器人，傅利葉團隊使用 NVIDIA Isaac Gym（現(xiàn)已棄用）進行強化學習。他們目前正在將其工作流遷移到 NVIDIA Isaac Lab。

Foxglove在 Isaac Sim 中開發(fā)了一個擴展程序，可實現(xiàn)將機器人仿真數(shù)據(jù)實時可視化，并直接在 Foxglove 平臺上呈現(xiàn)。

Main Street Autonomy的 Calibration Anywhere 軟件使用 Isaac Perceptor 實現(xiàn)了傳感器校準自動化，改進了機器人的傳感器融合。

Miso Robotics使用先進的機器人技術(shù)、Isaac Manipulator 和NVIDIA Isaac ROS實現(xiàn)了廚房任務自動化，提高了商業(yè)廚房的效率、標準化和客戶滿意度。

RGo Robotics和 NVIDIA 正在使用 Isaac Perceptor 和 Isaac ROS，通過先進的 AI 和感知技術(shù)改造移動機器人。

Scaled Foundations作為 NVIDIA 初創(chuàng)加速計劃的成員，開發(fā)了通用機器人智能開發(fā)（GRID）平臺，這是一個先進的基于云的平臺，可加速機器人 AI 解決方案的開發(fā)。GRID 無縫集成了 Isaac Sim 和 Isaac Lab 技術(shù)，為機器人開發(fā)者和研究人員提供了一個端到端的平臺，用于訓練、仿真和部署他們的機器人應用程序。想要了解更多信息，請參閱基于 GRID 平臺的 NVIDIA Isaac Sim。

Virtual Incision正在使用包括 Holoscan、IGX、Sensor Bridge、Isaac Sim 在內(nèi)的 NVIDIA 平臺，并在探索使用 Cosmos 進行訓練、仿真和測試，同時也在探索適用于下一代輔助機器人手術(shù)設備的推理 AI 功能。

NVIDIA 初創(chuàng)加速計劃成員、深度科技初創(chuàng)公司W(wǎng)andelbots正在利用其操作系統(tǒng) Wandelbots NOVA 構(gòu)建定制化機器人仿真，該系統(tǒng)能夠與 Isaac Sim 實現(xiàn)無縫集成。

即刻開始開發(fā)您自己的

機器人解決方案

加入 NVIDIA 開發(fā)者計劃，獲取有關(guān)其他資源和參考架構(gòu)的更新，助力實現(xiàn)開發(fā)目標：

https://developer.nvidia.cn/developer-program

NVIDIA Cosmos 可實現(xiàn)為物理 AI 系統(tǒng)構(gòu)建自定義世界模型，其中包括用于機器人應用的預訓練世界基礎模型。

NVIDIA Isaac Lab 是一個用于機器人學習的開源統(tǒng)一框架，用于訓練機器人策略。

NVIDIA Isaac ROS 基于開源的 ROS 2 軟件框架構(gòu)建，包含一系列加速計算庫和 AI 模型，為全球各地的 ROS 開發(fā)者帶來 NVIDIA 的加速技術(shù)。

NVIDIA Isaac Sim 基于 NVIDIA Omniverse 構(gòu)建，可以構(gòu)建基于 OpenUSD 的應用程序，在基于物理的虛擬環(huán)境中設計、仿真、測試和訓練基于 AI 的機器人和機器。

GTC 2025 將于2025 年 3 月 17 至 21 日在美國加州圣何塞及線上同步舉行。