自主機器人所面臨的關(guān)鍵挑戰(zhàn)之一是感知和理解周圍的世界。

在 ROS World 2021 上，NVIDIA 發(fā)布了向 ROS 開發(fā)者社區(qū)提供高性能感知技術(shù)的最新項目。這些項目將加速產(chǎn)品開發(fā)、提高產(chǎn)品性能，并最終簡化為將先進計算機視覺和 AI/ML 功能整合到基于 ROS 的機器人應(yīng)用程序中的任務(wù)。

公告要點

性能最強的實時立體測距解決方案以 ROS 包的形式提供

NGC 上的所有 NVIDIA 推理 DNN 均可以 ROS 組件的形式提供，并帶有圖像分割和姿態(tài)估計實例

Isaac Sim 中的新合成數(shù)據(jù)生成（SDG）工作流程，可為視覺 AI 訓練創(chuàng)建大規(guī)模生產(chǎn)級數(shù)據(jù)集

Omniverse 上的 NVIDIA Isaac Sim GA 版本提供 ROS 開箱即用支持，是迄今為止對開發(fā)者最友好的版本

NVIDIA Isaac ROS GEM – 經(jīng)過優(yōu)化的性能

Isaac ROS GEM 提供圖像處理和計算機視覺等組件，其中有針對 NVIDIA GPU 和 Jetson 進行高度優(yōu)化的 DNN 算法。

重點GEM

立體視覺測距 – 超高的精度和經(jīng)過優(yōu)化的性能

當自主機器在環(huán)境中移動時，它們必須持續(xù)追蹤自己的位置。視覺測距通過估算攝像機與其起點的相對位置來解決這個問題。Isaac ROS GEM for stereo visual odometry 為 ROS 開發(fā)者提供這項強大的功能。

該 GEM 為實時立體攝像機視覺測距解決方案提供最佳精度。除了高精度之外，這個 GPU 加速組件的運行速度也非常快。現(xiàn)在已可以在 NVIDIA Jetson Xavier AGX 上以高清分辨率（1280×720）實時（》60fps）運行 SLAM。

重點 GEM DNN 推理現(xiàn)已向 ROS 開發(fā)者

開放所有 NGC DNN 推理模型

您可以使用 NVIDIA 在 NGC 上提供的眾多推理模型中的任何一種，甚至可以使用 DNN 推理 GEM（一套ROS2軟件包）提供自己的 DNN 推理模型。開發(fā)者可以使用 NVIDIA TAO 工具套件對預訓練模型進一步調(diào)整或者對自定義模型進行優(yōu)化。

經(jīng)過優(yōu)化后，這些組件由 NVIDIA 推理服務(wù)器 TensorRT 或 Triton 部署。憑借使用 TensorRT（NVIDIA高性能推理SDK）的節(jié)點，可實現(xiàn)最佳推理性能。如果 TensorRT 不支持所需的 DNN 模型，則應(yīng)使用 Triton 來部署該模型。

GEM 包含對 U-Net 和 DOPE 的原生支持。基于 TensorRT 的 U-Net 組件可用于從圖像中生成語義分割掩碼。而 DOPE 組件可用于對所有檢測到的物體進行三維姿態(tài)估計。

該工具是在 ROS 應(yīng)用中加入高性能 AI 推理的最快方式。

NVIDIA Isaac SIM GA 版本

Isaac Sim 的 GA 版本將于 2021 年 11 月發(fā)布，這將是迄今為止對開發(fā)者最友好的版本。其用戶界面、性能和實用構(gòu)建模塊經(jīng)過了大量改進，使用戶可以更快構(gòu)建更強大的模擬。此外，經(jīng)過改進的 ROS 橋和更多 ROS 樣本將提高 ROS 開發(fā)者的開發(fā)體驗。

該版本的更新內(nèi)容

（2021.2版本計劃于2021年11月發(fā)布）

提升了性能，減少了內(nèi)存用量和啟動時間

經(jīng)過改進的占位圖生成，URDF 導入器

新的環(huán)境：大型倉庫、辦公室、醫(yī)院

用于與機器人、物體、環(huán)境對接的新 Python 構(gòu)建模塊

經(jīng)過改進的 ROS/ROS2 橋、深度點云和激光雷達點云性能

樣本更新

Multi-robot navigation with ROS2

使用 ROS2 實現(xiàn)多機器人導航

SDG with Domain Randomization in Jupyter

Jupyter 中帶有域隨機化的 SDG

新的合成數(shù)據(jù)生成工作流程

來自 Isaac Sim 的生產(chǎn)級數(shù)據(jù)集

自主機器人需要使用大量不同的數(shù)據(jù)集，來訓練眾多運行其感知棧的 AI 模型。從真實世界場景中獲取全部訓練數(shù)據(jù)的成本過高，而且一些極端場景可能存在危險。Isaac Sim 提供的新合成數(shù)據(jù)工作流程，通過建立生產(chǎn)級數(shù)據(jù)集解決了自主機器人的安全和質(zhì)量問題。

建立數(shù)據(jù)集的開發(fā)者，可以控制物體在場景中的隨機分布、場景本身、照明和合成傳感器。開發(fā)者也可以通過精細的控制，確保數(shù)據(jù)集中包含重要的極端案例。最后，該工作流程支持版本控制和調(diào)試信息，因此可以在需要審核和保障安全時完整地復制數(shù)據(jù)集。

責任編輯：haq