作者：paopaoslam? ? 作者：Daniel Yang, Tarik Tosun, Benjamin Eisner, Volkan Isler, and Daniel Lee 來源：?2021 IEEE International Conference on Robotics and Automation (ICRA) ? ?

摘要

? 我們提出了一種新的機器人抓取規劃方法，該方法同時使用了學習的抓取提議網絡和學習的3D形狀重建網絡。我們的系統從目標對象的單個RGB-D圖像生成6-DOF抓取，該圖像作為兩個網絡的輸入。通過幾何重構來優化抓取提議網絡生成的候選抓取，我們的系統能夠準確地抓取已知和未知物體，即使在物體上的抓取位置在輸入圖像中不可見 本文介紹了該系統的網絡結構、訓練過程和優化方法。實驗證明了我們的系統在抓取已知和未知物體時的有效性(在物理機器人環境中成功率為91%，在模擬環境中成功率為84%)。我們還進行了消融研究，展示了將學習抓取提議與幾何重建相結合的好處，也表明我們的系統在抓取任務中優于多個參考基線。?

圖1:系統概述。一個帶有分割掩碼的輸入RGB-D圖像被提供給兩個神經網絡，分別產生一個6自由度的抓取姿勢和一個物體的3D點云重建。通過將抓取姿勢投影到點云中最近的點來優化抓取姿勢，從而產生最終的輸出抓取。

圖2:GPNet的架構由并行的ResNet-34模塊組成，這些模塊嵌入了屏蔽的灰度圖像和深度圖像。這些嵌入被連接起來，并通過兩個完全連接的層回歸到一個向量t∈R12，表示齊次變換C TG。

圖3:在我們單獨的shoe和YCB對象數據集中的示例抓取。從使用3D網格生成的一組候選抓取中，我們為每個對象選擇一個單一的基本事實示例。

圖4:從前景掩蓋灰度和深度圖像中，我們的3D形狀重建網絡SRNet學習了一個映射函數fθ，該函數將點從標準域(如單位球體)映射到3D對象。我們的系統利用這種重建所提供的附加幾何信息來改進GPNet提出的抓取。

圖5:將建議的抓取投影到重建點云上提高抓取準確性。左：灰度鞋圖像。右：覆蓋在可見點云上的SRNet重建。

圖6：可見抓取（左）和隱藏抓取（右）實驗設置。在可見抓取實驗中，相機以50度仰角，距離鞋子500mm處，鞋子以90度增量依次放置在4個位姿（A-D）處。在隱藏式抓取實驗中，相機距離鞋子500mm并與桌子平行，鞋子分別以45度增量放置在四個位姿處（E-H）。從這些角度看不到鞋子左側的抓握點。

表I：可見抓握（VG）和隱藏抓握（HG）設置的鞋子抓取實驗成功率

表II：從兩個角度統計的每只鞋子抓取成功率。

圖7：與物理設置蕾絲的模擬實驗評估環境-Kinova Gen3臂和Robotiq 2F-85 平行顎夾鉗

表III：每個物體的抓取成功率（%）。糖盒是一個測試對象。對測試對象的600個視圖和火車對象的60個視圖進行了評估，所有這些都使用YCB數據集中的RGB-D信息，并將對象放置在運動學可觀的位姿模擬中。

Abstract

We present a novel approach to robotic grasp ?planning using both a learned grasp proposal network and a ?learned 3D shape reconstruction network. ?Our system generates 6-DOF grasps from a single RGB-D image of the target object, ?which is provided as input to both networks. ?By using the ?geometric reconstruction to refine the the candidate grasp ?produced by the grasp proposal network, our system is able to ?accurately grasp both known and unknown objects, even when ?the grasp location on the object is not visible in the input image.? ?

This paper presents the network architectures, training ?procedures, and grasp refinement method that comprise our ?system. ?Experiments demonstrate the efficacy of our system at ?grasping both known and unknown objects (91% success rate in ?a physical robot environment, 84% success rate in a simulated ?environment). ?We additionally perform ablation studies that ?show the benefits of combining a learned grasp proposal with ?geometric reconstruction for grasping, and also show that our ?system outperforms several baselines in a grasping task.

編輯：黃飛

?