案例簡介

在本案例中，銀河通用的團隊借助Isaac Lab搭建了具有挑戰(zhàn)性的靈巧抓握基準 DexGraspNet，這是一個最近提出的基準套件，專門用于學習可泛化的靈巧抓握。DexGraspNet 包含 1.32M 個 ShadowHand 對 5355 個物體的抓握動作，比 DDG 之前的數據集大兩個數量級。它具有 GraspIt!* 無法實現(xiàn)的多種抓握類型。

*GraspIt!：GraspIt!是一個由哥倫比亞大學機器人小組開發(fā)的仿真器，作為研究抓握的工具，它可以適應任意手和機器人設計。

兼顧靈巧手抓取數據的多樣性和數量

機器人靈巧抓握是實現(xiàn)類似人類的靈巧物體操縱的第一步，因此是一項至關重要的機器人技術。然而，與使用平行夾持器的物體抓握相比，靈巧抓握的探索程度要低得多，部分原因是缺乏大規(guī)模數據集。在這項工作中，銀河通用團隊展示了一個大規(guī)模機器人靈巧抓握數據集 DexGraspNet，它由銀河通用團隊提出的高效合成方法生成，可普遍應用于任何靈巧手。銀河通用團隊的方法利用深度加速可微分力閉合估計器，因此可以高效、穩(wěn)健地大規(guī)模合成穩(wěn)定且多樣的抓握。銀河通用團隊選擇了 ShadowHand，并為 5355 個物體生成了 132 萬個抓握，涵蓋了 130多個物體類別，每個物體實例包含 200 多種不同的抓握，所有抓握都經過了 Isaac Lab 仿真器的驗證。與劉等人之前的數據集相比，由 GraspIt! 生成的數據集不僅包含更多物體和抓握，而且多樣性和質量更高。通過進行跨數據集實驗，銀河通用團隊表明，在銀河通用團隊的數據集上訓練幾種靈巧抓握合成算法的效果，明顯優(yōu)于在前一種算法上訓練。

基于強化學習

打造通用泛化靈巧手抓取技能模型

銀河通用團隊提出了一種新穎的、與對象無關的方法，用于在桌面環(huán)境下，從真實的點云觀測和本體感受信息中學習靈巧物體抓取的通用策略，即 UniDexGrasp++。為了應對在數千個對象實例中學習基于視覺的策略的挑戰(zhàn)，銀河通用團隊提出了幾何感知課程學習 (GeoCurriculum) 和幾何感知迭代通才-專才學習 (GiGSL)，它們利用任務的幾何特征，并顯著提高通用性。通過銀河通用團隊提出的技術，其最終策略在數千個對象實例上顯示出通用的靈巧抓取，在訓練集和測試集上的成功率分別為 85.4% 和 78.2%，分別比最先進的基線 UniDexGrasp 高出 11.7% 和 11.3%。

探索靈巧手抓取模型的 Scaling Law

除上述內容，銀河通用團隊還借助NVIDIA Isaac Lab和NVIDIA Isaac Sim搭建靈巧手抓取模型的仿真測試環(huán)境，顯著加速了對于靈巧手抓取模型 Scaling Law 的探索進程，以及靈巧手泛化抓取技能在真實應用場景中的落地進程。