全新Isaac模擬引擎不但能夠創造更逼真的環境,而且還能簡化合成數據生成和域隨機化,從而建立真值數據集來訓練用于物流、倉庫、未來工廠等的各種機器人。
Omniverse是NVIDIA模擬器的根本基礎,包括加入了多項新功能的Isaac平臺。NVIDIA Isaac Sim目前已發布公測版,您可以通過該平臺探索更高級的機器人模擬功能。
Isaac Sim基于NVIDIA Omniverse平臺而構建,它是一個機器人模擬應用與合成數據生成工具。機器人專家可使用它更高效地訓練和測試機器人,模擬機器人與指定環境的真實互動,而且這些環境可以超越現實世界。
Isaac Sim的發布還增加了經過改進的多攝像頭支持功能、傳感器功能以及一個PTC OnShape CAD導入器,讓3D素材的導入變得更加輕松。從實體機器人的設計和開發、機器人的訓練,到在“數字孿生”中的部署(數字孿生是一種精確、逼真的機器人模擬和測試虛擬環境),這些新功能將全方位地擴大可以建模和部署的機器人和環境范圍。
主要新功能
●支持多攝像頭
●帶合成數據的魚眼相機
●支持ROS2
●PTC OnShape導入器
●經過改進的傳感器支持
- 超聲波傳感器
- 力傳感器
- 自定義激光雷達模式
●可從NVIDIA Omniverse Launcher中下載
Isaac Sim可以將多攝像頭傳感器數據發送到Rviz(ROS可視化工具)
在Isaac Sim中控制Dofbot操作機器人
Isaac Sim實現了更多的機器人模擬
開發者早已明白強大的模擬環境對機器人測試和訓練的益處,但此類模擬器往往存在著限制其使用的缺點。Isaac Sim通過以下優勢來彌補這些缺點。
逼真的模擬
為了提供逼真的機器人模擬,Isaac Sim運用了Omniverse平臺的強大技術:使用PhysX 5進行高級GPU物理模擬、借助實時光線追蹤和路徑追蹤實現高逼真度,以及支持物理渲染的材質定義語言(Material Definition Language ,MDL)。
模塊化設計與豐富的應用
Isaac Sim專為解決許多最常見的機器人用例而創建,包括操控、自主導航和用于訓練數據的合成數據生成。其模塊化設計能夠讓用戶輕松自定義和擴展工具集,以適應多種應用和環境。
無縫連接和互操作性
借助NVIDIA Omniverse,Isaac Sim可以使用Omniverse Nucleus和Omniverse Connectors在通用場景描述(USD)中合作構建、分享、導入環境模型與機器人模型。通過ROS/ROS2接口或功能齊全的Python腳本,以及用于導入機器人模型和環境模型的插件,可以輕松地讓機器人的大腦與虛擬世界相連。
Isaac Sim的合成數據生成助力實現機器學習
合成數據生成是一個重要的工具,它正在被越來越多地用于訓練當今機器人的感知模型。獲取真實世界的、正確標記的數據是一項耗時且成本高昂的工作。 但就機器人技術而言,在現實世界中收集某些所需的訓練數據可能太困難或太危險。 對于必須靠近人類工作的機器人來說尤其如此。
Isaac Sim 內置了對訓練感知模型很重要的各種傳感器類型的支持。這些傳感器包括 RGB、深度、邊界框和分割。
玻璃物體的真值合成數據
在公測版中,我們能夠輸出KITTI格式的合成數據。這些數據可以直接用于NVIDIA遷移學習工具包,以使用特定用例數據提高模型性能。
域隨機化
域隨機化能夠對定義模擬場景的參數進行更改,如場景中的照明、顏色和材質紋理等。域隨機化的主要目標之一,便是通過將神經網絡暴露在所模擬的各種域參數中,來加強機器學習(machine learning ,ML)模型的訓練。這有助于模型在真實世界場景中實現有效的泛化。實際上,這項技術能夠教會模型忽略不重要的內容。
工廠場景的域隨機化
Isaac Sim能夠對定義一個特定場景的多個不同屬性進行隨機化。借助這些功能,機器學習工程師可以確保合成數據集包含足夠的多樣性來驅動穩健的模型性能。
在Isaac Sim公測版中,我們通過允許用戶定義隨機化區域來增強域隨機化功能。開發人員現在可以在場景中要隨機化的區域周圍繪制一個框,場景的其余部分將保持靜態。
-
機器人
+關注
關注
211文章
28423瀏覽量
207139 -
NVIDIA
+關注
關注
14文章
4989瀏覽量
103074 -
CAD
+關注
關注
17文章
1092瀏覽量
72508
發布評論請先 登錄
相關推薦
評論