在 日前舉行的 IEEE 國際機器人和自動化大會（ICRA）上，幾何織物（geometric fabrics）成為一個熱門的討論話題。幾何織物是 NVIDIA 機器人研究實驗室成員與合作者共同提交的七篇論文的主題之一，并于 ICRA 上發表。

什么是幾何織物？

在機器人領域，經過訓練的策略本質上是近似的。它們通常會正確行事，但有時也會使機器人移動得太快、與物體發生碰撞或使機器人左右搖晃，所以無法保證會發生什么。

因此，每當有人在物理機器人上部署經過訓練的策略，尤其是經過強化學習訓練的策略時，他們都會使用一級低級控制器來攔截來自策略的命令，然后，他們會根據硬件的限制來轉換這些命令。

在訓練 RL 策略時，應在訓練過程中使用該策略運行這些控制器。研究人員認為，他們的 GPU 加速 RL 訓練工具可以提供的一個獨特價值是將這些控制器矢量化，使其在訓練和部署過程中都能使用，這正是這項研究的目的所在。

例如，研發人形機器人的公司可能會展示帶有低級控制器的演示，這些控制器不僅能平衡機器人，還能防止機器人的手臂撞到自己的身體。

研究人員用于矢量化的控制器來自于過去對幾何織物的研究。這篇題為《幾何織物：概括經典力學以捕捉行為物理學》的文章在去年 ICRA 上獲得了最佳論文獎。

DeXtreme 策略

研究人員在今年的論文中提到的手部操縱任務也來自著名的 DeXtreme 研究。

在這項新工作中，研究人員將這兩項研究合二為一，在將幾何織物控制器矢量化的基礎上訓練 DeXtreme 策略，這將使機器人更加安全，能通過名義上的織物行為來指導策略學習，并實現仿真到現實訓練和部署的系統化，從而離在生產環境中使用 RL 工具更近一步。

該工作所創建的基礎架構，使研究人員能夠在訓練期間通過快速迭代來獲得正確的域隨機化，從而成功進行仿真到現實的部署。例如，通過在訓練和部署之間快速迭代，研究人員可以調整織物結構并在訓練期間添加大量隨機擾動力，實現遠超先前工作的魯棒性水平。

在之前的 DeXtreme 工作中，現實世界的實驗證明對物理機器人來說非常困難。機器人在實驗過程中會發生電機和傳感器磨損情況，并改變底層控制行為。曾經有一次，機器人甚至出現損壞并開始冒煙！

有了幾何織物控制器作為策略基礎并保護機器人，研究人員發現他們可以更自由地部署和測試策略，不必擔心機器人出現自毀現象。

如要了解更多信息，請參見幾何織物：策略學習的安全指導媒介或觀看DeXtreme 示例視頻。

ICRA 上的其他機器人研究

今年提交的其他值得關注的論文如下：

SynH2R

看不見但記得住

點云世界模型

SKT-Hang

SynH2R

SynH2R 的作者提出了一個框架，用于生成適合訓練機器人的真實人類抓取動作。如要了解更多信息，請參見：SynH2R：合成用于學習人機交接的手 - 對象運動。

看不見但記得住

RDMemory 的作者測試了機械臂對之前看到但后來被遮住的對象的反應，以確保它能夠在各種環境中做出可靠的反應。這項工作同時用到了仿真和現實實驗。

如要了解更多信息，請參見看不見但記得?。豪镁哂幸曨l追蹤功能的記憶模型對未觀測到的對象進行推理和規劃或觀看RDMemory 示例視頻。

點云世界模型

點云世界模型研究人員建立了一個新穎的點云世界模型（PCWM）和基于點云的控制策略。結果表明，這些策略可以提高機器人學習器的性能、縮短學習時間和增強魯棒性。

如要了解更多信息，請參見點云模型提高機器人學習器的視覺魯棒性。

SKT-Hang

SKT-Hang 作者研究的問題是如何使用機器人將各種物體掛到不同的支撐結構上。雖然這個問題看似很容易解決，但物體形狀和支撐結構的變化會給機器人帶來多重挑戰。

如要了解更多信息，請參見SKT-Hang：通過對象識別語義關鍵點軌跡生成技術來懸掛日常物體和/HCIS-Lab/SKT-Hang GitHub repo。

通過對象識別語義關鍵點軌跡生成技術來懸掛日常物體

具有手術精度的機器人

幾篇新的研究論文介紹了機器人在醫院手術環境中的應用。

ORBIT-Surgical

ORBIT-Surgical 是一個基于物理學的手術機器人仿真框架，借助NVIDIA Omniverse平臺上的NVIDIA Isaac Sim實現逼真渲染。

它利用 GPU 并行化來訓練強化學習和模仿學習算法，這些算法有助于研究機器人學習，增強人類手術技能。它還能生成適用于主動感知任務的逼真合成數據。研究人員演示了使用 ORBIT-Surgical 仿真轉現實功能將學習到的策略轉移到 dVRK 實體機器人上。

ORBIT-Surgical 的基礎機器人仿真應用將以免費開源軟件包的形式發布。

如要了解更多信息，請參見ORBIT-Surgical：一個用于學習如何提高手術靈巧性的開放仿真框架。

一個用于學習如何提高手術靈巧性的的開放仿真框架

DefGoalNet

DefGoalNet 論文重點介紹了形狀伺服控制，這是一項專門控制對象以創建特定目標形狀的機器人任務。如要了解更多信息，請參見DefGoalNet：從可變形對象操縱演示中學習上下文目標。

NVIDIA 機器人技術合作伙伴在 ICRA

NVIDIA 機器人技術合作伙伴在 ICRA 上展示了他們的最新開發成果。

總部位于蘇黎世的 ANYbotics 展示了其 ANYmal Research 項目，該項目提供一個讓用戶能夠訪問 ROS 系統底層控制的完整軟件包。ANYmal Research 是一個由數百名在頂尖機器人研究中心工作的研究人員組成的社區，包括波士頓動力 AI 研究所、蘇黎世聯邦理工學院和牛津大學等。

總部位于慕尼黑的 Franka Robotics 重點展示了與NVIDIA Isaac Manipulator的合作成果。這個基于NVIDIA Jetson的 AI 伴侶能夠為機器人控制和適用于 Matlab 的 Franka 工具箱提供助力。

Enchanted Tools 展示了其由 Jetson 驅動的 Miroka? 機器人。

NVIDIA 機器人研究實驗室位于西雅圖，重點研究機器人操縱、感知和基于物理學的仿真。該實驗室隸屬于 NVIDIA 研究部門。NVIDIA 研究部門在全球擁有 300 多名頂尖研究人員，主要研究領域包括 AI、計算機圖形學、計算機視覺和自動駕駛汽車等。