NVIDIA 為 NVIDIA ISAAC Sim 發(fā)布了一個(gè)新的 NVIDIA Omniverse 機(jī)器人體驗(yàn)，以幫助支持對(duì)機(jī)器人學(xué)中精確、可靠、易于使用的仿真工具的加速需求。隨著許多研究實(shí)驗(yàn)室和大學(xué)的無限期關(guān)閉，世界各地的機(jī)器人專家都與他們開發(fā)、測(cè)試和部署自主機(jī)器所需的物理硬件和環(huán)境分離開來。現(xiàn)在，更好的仿真工具比以往任何時(shí)候都能幫助機(jī)器人和自動(dòng)化領(lǐng)域的重要工作向前發(fā)展。

這個(gè)機(jī)器人經(jīng)驗(yàn)展示了 Omniverse 套件 中的 NVIDIA ISAAC Sim 仿真工具包。將 ISAAC Sim 構(gòu)建到 Omniverse 平臺(tái)中，相對(duì)于現(xiàn)有的機(jī)器人工作流程，它帶來了一些有用的改進(jìn)：

它利用了 Omniverse Kit 的高精度物理模擬，直接集成了業(yè)界領(lǐng)先的物理框架，如用于剛體動(dòng)力學(xué)的 NVIDIA Physx SDK 和用于流體動(dòng)力學(xué)的 NVIDIA 流量 。

它重新關(guān)注互操作性，與 NVIDIA ISAAC 軟件開發(fā)工具包 和 ROS 的擴(kuò)展進(jìn)行了深度集成。

Omniverse 對(duì)于 ISAAC Sim 的體驗(yàn)很容易擴(kuò)展。現(xiàn)在您可以使用 Omniverse 工具包的 基于 Python 的腳本接口 和 擴(kuò)展系統(tǒng) 來定制 ISAAC Sim 以適應(yīng)您自己的用例。

它是為可部署而構(gòu)建的，其體系結(jié)構(gòu)支持本地工作站上的工作流，在 NVIDIA Jetson 系列硬件的邊緣，并通過云與 NVIDIA NGC 一起使用。

下面我們將更詳細(xì)地了解此版本中包含的預(yù)覽和示例代碼。

橋接工作流

Omniverse ISAAC Sim 仿真環(huán)境支持兩個(gè)突出的機(jī)器人框架： NVIDIA ISAAC 軟件開發(fā)工具包 和 ROS 。

ISAAC SDK 是一個(gè)企業(yè)級(jí)框架，用于開發(fā)機(jī)器人人工智能、導(dǎo)航和操作應(yīng)用程序。 ISAAC Sim 使用 Robot Engine Bridge （REB） 擴(kuò)展與 ISAAC SDK 通信，通過 TCP / IP 發(fā)送模擬傳感器數(shù)據(jù)、驅(qū)動(dòng)器命令、地面真相和場(chǎng)景管理。 ISAAC SDK 文檔 突出了一系列的仿真場(chǎng)景，從復(fù)雜的多機(jī)器人自主倉庫導(dǎo)航到使用 Jupyter 筆記本的 簡(jiǎn)單操作 。此外， ISAAC SDK 與 ISAAC Sim 為幾個(gè)基于 Jetson 的參考平臺(tái)（如 卡特 和 卡婭 機(jī)器人）橋接虛擬和物理機(jī)器人。

Omniverse ISAAC Sim 還支持 ROS ，這是一個(gè)機(jī)器人專家常用的框架。 ISAAC Sim ROS Bridge 擴(kuò)展使機(jī)器人研究人員能夠利用 Omniverse ISAAC Sim 功能強(qiáng)大的多功能 GPU 實(shí)時(shí)仿真和協(xié)作平臺(tái)來擴(kuò)充現(xiàn)有的工作流程。此版本提供了一個(gè) 喙樣 ，它將詳細(xì)介紹如何發(fā)布和訂閱主題，包括關(guān)節(jié)狀態(tài)、關(guān)節(jié)命令、 TF 、相機(jī)和 Lidar 主題。

圖 1 使用 ROS 網(wǎng)橋擴(kuò)展來發(fā)布和訂閱不同的 rostopic 。這張截圖顯示了一只弗蘭卡熊貓機(jī)器人手臂的關(guān)節(jié)狀態(tài)流到 ROS 。

敏捷自動(dòng)化

ISAAC Sim 在 Omniverse 中的另一個(gè)優(yōu)點(diǎn)是復(fù)雜的剛體動(dòng)力學(xué)現(xiàn)在很容易在機(jī)器人和自動(dòng)化場(chǎng)景中進(jìn)行模擬。 UR10 示例應(yīng)用程序 使用通用機(jī)器人的 UR10 機(jī)械臂和一個(gè)基于吸力的抓取器來說明垃圾箱的填充和堆垛過程。在垃圾箱填充的例子中，用戶將不同的零件扔進(jìn)一個(gè)機(jī)器人正在抓取的箱子里，直到箱子太重以至于吸力抓取器失靈。零件到處都是。然后，機(jī)器人手臂能夠檢測(cè)到掉落的垃圾箱，將其撿起來，并將其定位以接收新部件。雖然垃圾箱填充和堆垛是標(biāo)準(zhǔn)程序，但這些示例顯示了如何智能地?cái)U(kuò)展它們，使機(jī)器人自動(dòng)化更加靈活和適應(yīng)動(dòng)態(tài)環(huán)境。

UR10 示例應(yīng)用程序附帶了非常詳細(xì)的源代碼和文檔。它們展示了幾個(gè)核心仿真組件：

使用 URDF 進(jìn)口商 加載機(jī)器人模型

為精益自動(dòng)化創(chuàng)建狀態(tài)機(jī)

使用 黎曼運(yùn)動(dòng)策略 （ RMPs ）將傳統(tǒng)路徑規(guī)劃與高級(jí)運(yùn)動(dòng)生成相結(jié)合

模擬機(jī)器人上下的傳感器。

查看此擴(kuò)展以了解如何為您自己的機(jī)器人應(yīng)用程序構(gòu)建端到端仿真。

定制機(jī)器人

除了 UR10 機(jī)器人之外， Omniverse ISAAC Sim 還有一個(gè)機(jī)器人、末端效應(yīng)器和環(huán)境的資產(chǎn)庫，可用于模擬。但是，您也可以使用 ISAAC Sim URDF importer 擴(kuò)展來處理您自己的定制機(jī)器人。此擴(kuò)展將導(dǎo)入一個(gè) URDF 文件并將其轉(zhuǎn)換為 Omniverse 美元代表 ，使其成為高級(jí)模擬更可用、更持久的格式。 URDF Importer 擴(kuò)展還附帶了幾個(gè)示例導(dǎo)入和 Python API ，用于加載和配置您自己的機(jī)器人。

在這個(gè)版本中，文檔有一個(gè) 所以取樣 ，它引導(dǎo)您完成為 Omniverse ISAAC Sim 導(dǎo)入和配置自定義機(jī)器人的過程。它以 NVIDIA 卡婭 作為參考硬件。 Kaya 是由 NVIDIA Jetson Nano 提供動(dòng)力的 3D 打印機(jī)器人。它的目的是使先進(jìn)的機(jī)器人技術(shù)為業(yè)余愛好者和教育者所用。然而，精確的仿真是一個(gè)特別具有挑戰(zhàn)性的參考平臺(tái)。它有幾個(gè) CAD 文件，一個(gè)復(fù)雜的完整傳動(dòng)系統(tǒng)，和許多傳感器，必須配置這些傳感器來模擬它的三維映射、定位、目標(biāo)識(shí)別和里程計(jì)功能。您可以查看有關(guān)創(chuàng)建物理上精確的虛擬 Kaya 的文檔，以了解如何從 CAD 或 URDF 文件轉(zhuǎn)換為準(zhǔn)備模擬的機(jī)器人。

圖 3 Kaya 示例展示了如何從 CAD 文件或 ISAAC Sim URDF importer 擴(kuò)展中定制或 DIY 機(jī)器人仿真。

感知世界

在 Omniverse 機(jī)器人技術(shù)體驗(yàn)中，您可以預(yù)覽機(jī)器人模擬的實(shí)時(shí)光線跟蹤的好處。除了逼真的視覺效果， Omniverse 實(shí)時(shí)光線跟蹤還模擬光的物理行為。這使得 ISAAC Sim 能夠精確地模擬幾種基于光的傳感器的物理特性，包括 RGB 相機(jī)、深度相機(jī)和激光雷達(dá)。 激光雷達(dá)樣品 演示了如何利用 ISAAC Sim 激光雷達(dá) API 來創(chuàng)建和激活這些傳感器，用于訓(xùn)練自主機(jī)器人。設(shè)置分辨率、視野和旋轉(zhuǎn)速率，以匹配物理機(jī)器人使用的激光雷達(dá)的硬件屬性。

圖 4 Omniverse ISAAC Sim 中的激光雷達(dá)擴(kuò)展可用于模擬機(jī)器人的自主導(dǎo)航。

進(jìn)行模擬

新的 Omniverse ISAAC Sim 體驗(yàn)的最新版本展示了現(xiàn)代機(jī)器人仿真工具包如何使研究人員和開發(fā)人員受益。在 NVIDIA Omniverse 平臺(tái)上構(gòu)建該工具包，為機(jī)器人仿真提供了新的工作流程，是可用性、可擴(kuò)展性和互操作性的一次重大升級(jí)。

關(guān)于作者

Madeline Gannon 是 NVIDIA 的機(jī)器人和人工智能研究人員，她專注于人類與機(jī)器人交互的工具。甘農(nóng)是世界經(jīng)濟(jì)論壇文化領(lǐng)袖，也是全球物聯(lián)網(wǎng)、機(jī)器人和智能城市理事會(huì)的理事。甘農(nóng)擁有卡內(nèi)基梅隆大學(xué)博士學(xué)位和佛羅里達(dá)國際大學(xué)建筑學(xué)碩士學(xué)位。

審核編輯：郭婷