NVIDIA 機(jī)器人技術(shù)和仿真研究人員在 2022 年機(jī)器人技術(shù)：科學(xué)與系統(tǒng)（ RSS ）會(huì)議上介紹了 工廠：機(jī)器人裝配的快速接觸 。這項(xiàng)工作是機(jī)器人研究中普遍存在的接觸豐富交互的模擬和學(xué)習(xí)方面的一個(gè)新突破。其目的是大大加快機(jī)器人裝配的研究和開(kāi)發(fā)，并作為一個(gè)強(qiáng)大的工具，用于任何類型的接觸豐富的仿真。

機(jī)器人裝配：什么、為什么和挑戰(zhàn)

裝配在汽車、航空航天、電子和醫(yī)療行業(yè)中至關(guān)重要。示例包括擰緊螺母和螺栓、焊接、插銷和電纜布線。

然而，機(jī)器人裝配仍然是機(jī)器人技術(shù)中最古老、最具挑戰(zhàn)性的任務(wù)之一。由于物理復(fù)雜性、高可靠性、零件可變性和高精度要求，自動(dòng)化變得異常困難。

在工業(yè)中，機(jī)器人裝配方法可能實(shí)現(xiàn)高精度、高精度和高可靠性，但通常需要昂貴的設(shè)備和定制夾具，這些設(shè)備和夾具的設(shè)置和維護(hù)非常耗時(shí)（例如，預(yù)編程軌跡和仔細(xì)調(diào)整）。涉及對(duì)變化（零件類型、外觀和位置）魯棒性和復(fù)雜操作的任務(wù)通常使用人工完成。

研究方法可以實(shí)現(xiàn)更低的成本、更高的自適應(yīng)性和更好的魯棒性，但通常可靠性較低，速度較慢。

仿真：解決機(jī)器人裝配挑戰(zhàn)的工具

幾十年來(lái)，仿真一直用于驗(yàn)證、驗(yàn)證和優(yōu)化機(jī)器人設(shè)計(jì)和算法。這包括確保部署這些算法的安全性。它還被用于生成用于深度學(xué)習(xí)的大規(guī)模數(shù)據(jù)集，執(zhí)行系統(tǒng)識(shí)別，以及開(kāi)發(fā)規(guī)劃和控制方法。

在強(qiáng)化學(xué)習(xí)（ RL ）研究中，我們最近看到了如何將仿真結(jié)果轉(zhuǎn)移到真實(shí)系統(tǒng)。精確的物理模擬對(duì)于機(jī)器人發(fā)展的重要性無(wú)論怎樣強(qiáng)調(diào)都不為過(guò)。

基于物理的模擬器，如 MuJoCo 和 NVIDIA ISAAC Gym 已用于訓(xùn)練虛擬代理執(zhí)行操作和移動(dòng)任務(wù)，例如求解魔方或使用 ANYmal 在不平坦地形上行走。這些政策已經(jīng)成功地轉(zhuǎn)移到現(xiàn)實(shí)世界的機(jī)器人上。

然而，快速準(zhǔn)確的模擬器的能力并沒(méi)有對(duì)機(jī)器人裝配產(chǎn)生實(shí)質(zhì)性影響。為具有不同變化和運(yùn)動(dòng)的復(fù)雜物體開(kāi)發(fā)此類模擬器是一項(xiàng)困難的任務(wù)。

例如，一個(gè)簡(jiǎn)單的螺母和螺栓組件需要的不僅僅是純螺旋運(yùn)動(dòng)。螺母和螺栓的螺紋之間有有限間隙，允許螺母以六個(gè)自由度移動(dòng)。即使是人類也需要一定程度的小心，以確保螺母與螺栓具有適當(dāng)?shù)某跏紝?duì)準(zhǔn)，并且在擰緊過(guò)程中不會(huì)卡住。

然而，用傳統(tǒng)方法模擬任務(wù)可能需要使用數(shù)萬(wàn)個(gè)三角形的網(wǎng)格。檢測(cè)這些網(wǎng)格之間的碰撞、生成接觸點(diǎn)和法線以及求解非穿透約束是主要的計(jì)算挑戰(zhàn)。

盡管世界上有大量的螺紋緊固件，但沒(méi)有任何現(xiàn)有的機(jī)器人模擬器能夠以與基本物理動(dòng)力學(xué)相同的速率實(shí)時(shí)模擬單個(gè)螺母和螺栓組件。

在工廠里，研究人員開(kāi)發(fā)了一些方法來(lái)克服機(jī)器人裝配和其他接觸豐富的交互中的挑戰(zhàn)。

什么是工廠？

Factory （機(jī)器人裝配的快速接觸）是一套物理模擬方法和機(jī)器人學(xué)習(xí)工具，用于實(shí)現(xiàn)廣泛接觸豐富交互的實(shí)時(shí)和快速模擬。工廠應(yīng)用之一是機(jī)器人裝配。

工廠提供以下核心貢獻(xiàn)：

一套 methods ，用于通過(guò)基于 GPU 的符號(hào)距離函數(shù)（ SDF ）碰撞合成、接觸減少和高斯 – 賽德?tīng)柦馑闫鳎焖佟?zhǔn)確地物理模擬富含接觸的相互作用。

機(jī)器人學(xué)習(xí)套件 包括：

60 項(xiàng)高質(zhì)量資產(chǎn)，包括一臺(tái) Franka 機(jī)器人和 NIST 裝配任務(wù)委員會(huì) 1 的所有剛體裝配， NIST 裝配任務(wù)委員會(huì) 1 是機(jī)器人裝配的既定基準(zhǔn)

用于機(jī)器人裝配的三種 ISAAC 健身房式學(xué)習(xí)環(huán)境

七種經(jīng)典機(jī)器人控制器

概念驗(yàn)證強(qiáng)化學(xué)習(xí)策略 用于執(zhí)行接觸豐富任務(wù)的機(jī)器人（模擬 Franka 機(jī)器人在 NIST 板、螺母和螺栓組件上解決最多接觸豐富任務(wù)）

工廠論文中的物理模擬方法已集成到 ISAAC Gym 使用的 PhysX 物理引擎中。最新版本的 ISAAC Gym 和 ISAAC Gym 環(huán)境 GitHub 回購(gòu)。 Omniverse ISAAC Sim 模擬器中也提供了模擬方法，今年夏天晚些時(shí)候?qū)⑻峁?qiáng)化學(xué)習(xí)示例。

模擬方法和結(jié)果

使用基于 GPU 的物體 SDF 碰撞快速實(shí)現(xiàn)、用于減少 SDF 碰撞接觸的接觸減少算法和自定義數(shù)值求解器，研究人員不僅能夠?qū)崟r(shí)模擬單個(gè) M16 螺母和螺栓，而且能夠在并行環(huán)境中實(shí)時(shí)模擬 1024 個(gè)。這基本上比現(xiàn)有技術(shù)快 200000 倍。

研究人員演示了模擬器在各種具有挑戰(zhàn)性的場(chǎng)景中的性能，包括以下場(chǎng)景：

512 個(gè)碗在同一環(huán)境中落成一堆

一堆螺母被送入進(jìn)料器機(jī)構(gòu)，以 60 Hz 的頻率振動(dòng)

Franka 機(jī)器人執(zhí)行手動(dòng)腳本軌跡以抓取螺母并將其擰緊到螺栓上，該環(huán)境的 128 個(gè)實(shí)例實(shí)時(shí)執(zhí)行

機(jī)器人學(xué)習(xí)工具

機(jī)器人裝配最為成熟的基準(zhǔn)是 NIST 裝配任務(wù)委員會(huì) ，自 2017 年以來(lái)，這是年度機(jī)器人競(jìng)賽的焦點(diǎn)。 NIST 任務(wù)委員會(huì) 1 由 38 個(gè)獨(dú)特部分組成。然而，由于缺乏真實(shí)的間隙、零件之間的干涉、手動(dòng)測(cè)量等，所提供的 CAD 模型并不適合物理模擬。現(xiàn)實(shí)的模型很難找到。

工廠使用 60 個(gè)高質(zhì)量、模擬就緒的零件模型，每個(gè)模型具有一個(gè) Onshape CAD 模型、一個(gè)或多個(gè) OBJ 網(wǎng)格、 URDF 描述和符合國(guó)際標(biāo)準(zhǔn)（ ISO 724 、 ISO 965 和 ISO 286 ）或基于制造商提供的模型的估計(jì)材料特性。這些模型包括 NIST 裝配任務(wù)委員會(huì) 1 上的所有零件，其尺寸變化跨越真實(shí)世界的公差帶。零件之間的間隙范圍從 0 到最大 2.66 mm ，許多零件在 0.1-0.5 mm 范圍內(nèi)。

工廠為 ISAAC 健身房提供了三個(gè)機(jī)器人裝配場(chǎng)景，可用于開(kāi)發(fā)規(guī)劃和控制算法、收集模擬傳感器數(shù)據(jù)以進(jìn)行監(jiān)督學(xué)習(xí)以及訓(xùn)練 RL 代理。每個(gè)場(chǎng)景都包含一個(gè) Franka 機(jī)器人和 NIST 任務(wù)板 1 中分解的組件。

資產(chǎn)可以在所有環(huán)境中的類型和位置上隨機(jī)化。所有場(chǎng)景都在 NVIDIA RTX 3090 GPU 上進(jìn)行了多達(dá) 128 個(gè)同時(shí)環(huán)境的測(cè)試。場(chǎng)景如下：

學(xué)習(xí)環(huán)境中可用的七個(gè)機(jī)器人控制器包括關(guān)節(jié)空間逆微分運(yùn)動(dòng)學(xué)（ IK ）運(yùn)動(dòng)控制器、關(guān)節(jié)空間逆動(dòng)力學(xué)（ ID ）控制器、任務(wù)空間阻抗控制器、操作空間運(yùn)動(dòng)控制器、開(kāi)環(huán)力控制器、閉環(huán)比例力控制器和混合力運(yùn)動(dòng)控制器。

研究人員希望模型、環(huán)境和控制器隨著他們和社區(qū)的貢獻(xiàn)而不斷增長(zhǎng)。

概念驗(yàn)證 RL 政策

工廠采用 GPU 加速策略 RL 來(lái)解決 NIST 任務(wù)板 1 上接觸最多的任務(wù)：將螺母組裝到螺栓上。像許多裝配任務(wù)一樣，這樣的過(guò)程是一個(gè)漫長(zhǎng)的過(guò)程，并且很難進(jìn)行端到端的學(xué)習(xí)。問(wèn)題分為三個(gè)階段：

拾取：機(jī)器人從工作表面上的隨機(jī)位置用平行鉗口抓取螺母。

位置：機(jī)器人將螺母運(yùn)輸?shù)焦潭ㄔ诒砻娴穆菟敳俊?/p>

螺釘：機(jī)器人使螺母與螺栓接觸，嚙合配合螺紋，并擰緊螺母，直到其接觸螺栓頭的底座。

培訓(xùn)在單個(gè) GPU 上完成。對(duì)對(duì)象的初始位置和方向應(yīng)用大隨機(jī)性，同時(shí)使用近端策略優(yōu)化（ PPO ）訓(xùn)練一批 3-4 個(gè)策略。每個(gè)批次需要 1-1.5 小時(shí)的訓(xùn)練，每個(gè)子策略在 128 多個(gè)環(huán)境中進(jìn)行訓(xùn)練，最多 1024 個(gè)策略更新用于快速實(shí)驗(yàn)。試驗(yàn)時(shí)的成功率為 98.4% 。

最后，為了評(píng)估模擬到真實(shí)傳輸?shù)臐摿Γ▽⒃谀M中學(xué)習(xí)到的策略傳輸?shù)秸鎸?shí)世界的機(jī)器人系統(tǒng)），研究人員將在模擬中這些交互過(guò)程中產(chǎn)生的接觸力與在真實(shí)世界中使用扳手執(zhí)行相同任務(wù)的人測(cè)得的接觸力進(jìn)行了比較。有關(guān)更多信息，請(qǐng)參閱 R-PAL 日常交互操作（ DIM ）數(shù)據(jù)集 。

下圖顯示，模擬緊固螺母的直方圖位于真實(shí)緊固螺母直方圖的中間，這表明與真實(shí)值具有很強(qiáng)的一致性。

圖 螺釘子策略執(zhí)行期間的模擬接觸力與 每日交互式操作（ DIM ）數(shù)據(jù)集 中的模擬真實(shí)接觸力的比較

結(jié)論和未來(lái)方向

雖然 Factory 開(kāi)發(fā)時(shí)將機(jī)器人裝配作為一種激勵(lì)應(yīng)用，但在機(jī)器人內(nèi)使用這些方法執(zhí)行完全不同的任務(wù)沒(méi)有限制，例如在家庭環(huán)境中抓取復(fù)雜的非凸形狀，在不平坦的室外地形上移動(dòng)，以及對(duì)物體集合進(jìn)行不可抓取的操作。

這項(xiàng)工作的未來(lái)方向是實(shí)現(xiàn)復(fù)雜物理交互的完整端到端仿真，包括有效地將訓(xùn)練好的策略轉(zhuǎn)移到真實(shí)機(jī)器人系統(tǒng)的技術(shù)。這可能會(huì)將成本和風(fēng)險(xiǎn)降至最低，提高安全性，并實(shí)現(xiàn)高效行為。

有朝一日，每一個(gè)先進(jìn)的工業(yè)制造機(jī)器人都可能會(huì)使用這些技術(shù)進(jìn)行模擬訓(xùn)練，以便無(wú)縫地轉(zhuǎn)移到現(xiàn)實(shí)世界中。

為此， NVIDIA 開(kāi)發(fā)人員正在努力完善工廠研究所使用的物理模擬方法，以便可以在 Omniverse ISAAC Sim 中使用。有限的功能已經(jīng)存在，并將隨著時(shí)間的推移變得更加強(qiáng)大。

關(guān)于作者：

Oyindamola Omotuyi 是 NVIDIA 的產(chǎn)品營(yíng)銷經(jīng)理實(shí)習(xí)生，專注于機(jī)器人開(kāi)發(fā)社區(qū)。在之前的 NVIDIA 實(shí)習(xí)期間，她撰寫了 NVIDIA 對(duì)話 AI 電子書(shū)的介紹。 Oyindamola Omotuyi 擁有尼日利亞拉各斯大學(xué)系統(tǒng)工程學(xué)士學(xué)位和辛辛那提大學(xué)機(jī)械工程碩士學(xué)位。她目前正在辛辛那提大學(xué)攻讀博士學(xué)位，專注于多智能體深度強(qiáng)化學(xué)習(xí)和機(jī)器人感知。

審核編輯：郭婷