對(duì)于機(jī)器人感知來說，RGB圖加卷積網(wǎng)絡(luò)已經(jīng)變成了感知系統(tǒng)的標(biāo)配。在機(jī)器人和通常的計(jì)算機(jī)視覺任務(wù)中，人們會(huì)從從VGG或者ResNet等網(wǎng)絡(luò)模型中借鑒基礎(chǔ)結(jié)構(gòu)以及預(yù)訓(xùn)練權(quán)重，隨后利用遷移學(xué)習(xí)的方法在特定任務(wù)的數(shù)據(jù)上進(jìn)行微調(diào)來實(shí)現(xiàn)對(duì)于特定任務(wù)的學(xué)習(xí)。但對(duì)于某些任務(wù)來說，只知道場(chǎng)景的顏色信息只能提供有限的感知。例如要訓(xùn)練機(jī)器人抓取一個(gè)新的未知物體，那么這時(shí)候理解物體及所處環(huán)境的幾何形貌就比感知它的顏色紋理重要的多。

rgb圖和對(duì)應(yīng)的深度圖（圖例用灰色）

進(jìn)行操作的物理過程主要依賴于物體的幾何、位姿和其他與顏色無關(guān)的信息（或者是顏色不變量）。可以想象一下你在手里轉(zhuǎn)筆的過程，我們可以流暢的旋轉(zhuǎn)而不需要盯著它看，這是因?yàn)槲覀円呀?jīng)對(duì)于手指和筆接觸點(diǎn)的空間位置、朝向有了極為深入的理解和認(rèn)識(shí)。那么我們不禁要問，我們可以利用彩色圖獲取對(duì)于物體如此深入的理解嗎？

其實(shí)在視覺領(lǐng)域還有一個(gè)可供選擇的解決方案：深度圖。這是一種單通道灰度圖，包含了相機(jī)到物體的深度信息，同時(shí)提供了對(duì)于物體顏色不變的信息。并且我們還可以利用濾波器來消除背景噪聲，這在很多機(jī)器人任務(wù)上十分有效。接下來的文章中將會(huì)介紹研究人員如何結(jié)合深度學(xué)習(xí)和深度圖在以下三個(gè)項(xiàng)目中取得有效的成果：Dex-Net用于機(jī)器人抓取、物體分割和機(jī)器人鋪床的任務(wù)。

感知深度

深度圖一般在特定的視角下編碼了對(duì)于環(huán)境中物體的距離信息。近年來隨著計(jì)算機(jī)視覺的發(fā)展，深度感知領(lǐng)域也產(chǎn)生了很多進(jìn)展。

傳統(tǒng)獲取深度圖的方法是利用雙目立體視覺獲取視差信息從而得到環(huán)境的深度的。而今天大多使用的深度傳感器則是基于結(jié)構(gòu)光傳感器的原理，通過將已知模式的紅外光投影到環(huán)境并解算來實(shí)現(xiàn)深度的獲取。另一種方法是通過激光雷達(dá)來獲取環(huán)境精確的深度信息，但缺點(diǎn)是高昂的成本和成像速度。

所以Kinect的出現(xiàn)提供了一種消費(fèi)級(jí)的RGB-D成像系統(tǒng)，可以通過硬件更快更便宜的獲取環(huán)境的深度信息。如今很多機(jī)器人系統(tǒng)中，比如FetchRobot和Toyoya的機(jī)器人都裝配有相似的感知系統(tǒng)，而且這一技術(shù)還在不斷改進(jìn)，Intel的realsense和Photoneo公司的產(chǎn)品都提供了更為優(yōu)異的表現(xiàn)。

在深度圖的幫助下，研究人員們可以使用深度信息幫助機(jī)器人導(dǎo)航、實(shí)時(shí)建圖和跟蹤、為室內(nèi)環(huán)境建模等任務(wù)。同時(shí)深度圖為機(jī)器人提供了距離障礙物的遠(yuǎn)近信息，這也使得它們?cè)趯?dǎo)航中獲得了壁障和定位的能力。

同時(shí)深度圖還被用于在游戲中實(shí)時(shí)地檢測(cè)、識(shí)別和定位人體的各個(gè)部分，移除造成模糊的因素（比如光線和衣服等）。更有研究人員利用模擬的深度圖像來引導(dǎo)機(jī)械臂接近物體。目前人們已經(jīng)可以利用圖形學(xué)的方法較為精確的通過模擬生成大量的深度數(shù)據(jù)了。

這些結(jié)果表明，對(duì)于某些任務(wù)深度圖可以編碼足夠多的有用信息和色彩不變信息用于幫助訓(xùn)練任務(wù)。下面將用三個(gè)例子來具體說明。

機(jī)器人抓取

抓取很多類從未見過的物體對(duì)于機(jī)器人來說依然是一個(gè)嚴(yán)峻的挑戰(zhàn)。盡管很多研究人員利用RGB圖像來完成這一任務(wù)，但需要耗費(fèi)大量的時(shí)間來進(jìn)行訓(xùn)練。而最新進(jìn)展的關(guān)鍵在于可以利用渲染技術(shù)，基于幾何和相機(jī)位置，通過3D模型合成精確的深度圖。

Bair的Dexterity Network（Dex-Net）是一個(gè)綜合了算法、代碼和數(shù)據(jù)集的項(xiàng)目用于訓(xùn)練機(jī)器人的抓取策略，它結(jié)合了大規(guī)模的合成數(shù)據(jù)集、機(jī)器人模型和隨機(jī)采樣，以及深度學(xué)習(xí)技術(shù)。Dex-Net在抓取中引入了域隨機(jī)化的概念，集中于利用簡(jiǎn)單的夾具來抓取復(fù)雜的物體。在先前的研究中，研究人員提出了670萬張圖片的虛擬數(shù)據(jù)集用于訓(xùn)練抓取質(zhì)量模型。目前他們將這一模型拓展到了深度圖上。

首先生成和增強(qiáng)大量的物體網(wǎng)格模型，隨后對(duì)于每個(gè)模型生成多種抓取位置，最后計(jì)算每一個(gè)物體及其抓取的魯棒性，并生成對(duì)應(yīng)的模擬深度圖。其中通過估計(jì)抓取成功的概率來計(jì)算魯棒性。

研究人員將Dex-Net拓展了新功能，可以自動(dòng)生成用于物體模型抓取的改進(jìn)數(shù)據(jù)集。抓取同時(shí)定義了位姿角度和夾爪的深度。上圖描述了生成數(shù)據(jù)的流程。研究的目標(biāo)是訓(xùn)練出一個(gè)可以通過深度圖來檢測(cè)夾爪是否可以成功夾住物體的模型。

抓取質(zhì)量網(wǎng)絡(luò)的架構(gòu)

研究人員利用這一數(shù)據(jù)集訓(xùn)練了抓取質(zhì)量網(wǎng)絡(luò)（Grasp Quality,GQ-CNN），用于檢測(cè)每一次抓取成功的可能性。人們可以利用GQ-CNN檢測(cè)不同抓取方式，并從中選取概率最高的方案來使用。

2017年，Dex-Net拓展到了箱內(nèi)分揀任務(wù)（bin-picking），這需要從一堆無需的物體中一個(gè)個(gè)的分揀出物體。Bair的研究人員將bin-picking理解為部分觀測(cè)的馬爾科夫決策過程，同時(shí)利用仿真來生成物體堆進(jìn)行學(xué)習(xí)。通過仿真，可以得到物體位置的完整信息，并利用監(jiān)督策略對(duì)GQ-CNN進(jìn)行的微調(diào)，最后將學(xué)習(xí)到的策略用于ABB YuMi機(jī)器人上，實(shí)現(xiàn)了在僅僅利用深度圖的情況下在3mins內(nèi)分揀除了十個(gè)物體。下圖顯示了Dex-Net顯示的抓取點(diǎn)（紅點(diǎn)），其中第一行是真實(shí)數(shù)據(jù)，第二行是仿真數(shù)據(jù)。

箱內(nèi)物體分割

實(shí)例分割任務(wù)需要判斷圖像中的像素分屬于哪一個(gè)物體，它廣泛應(yīng)用于視覺任務(wù)和機(jī)器人感知中。例如機(jī)器人需要在箱子里抓取物體時(shí)，就需要先對(duì)其中的物體進(jìn)行分析以便區(qū)分不同物體。

先前的研究主要集中在利用RGB圖實(shí)現(xiàn)的Mask R-CNN上，但訓(xùn)練需要大量手工標(biāo)注的數(shù)據(jù)。同時(shí)用于訓(xùn)練Mask R-CNN的數(shù)據(jù)包含的物體個(gè)數(shù)有限，可能還不足以完成貨倉(cāng)內(nèi)地分揀任務(wù)，對(duì)于微調(diào)所需要的數(shù)據(jù)也需要手工耗時(shí)耗力的得到。所以研究人員們提出可以放松算法的要求可以再得到物體的掩膜后再來預(yù)測(cè)類別，這樣就可以對(duì)大規(guī)模的物體預(yù)測(cè)掩膜，此時(shí)物體的幾何信息就顯得更加重要。

這一任務(wù)的數(shù)據(jù)現(xiàn)有相似的3D模型生成物體堆，再?gòu)闹蝎@取精確的深度圖和對(duì)應(yīng)的掩膜圖

基于幾何的分割來說，我們可以利用仿真和渲染技術(shù)來獲取大規(guī)模類別豐富的，同時(shí)帶有標(biāo)簽的深度數(shù)據(jù)集。研究人員假設(shè)這些深度圖包含了用于分割的足夠信息，這主要是每個(gè)物體可以由深度圖中的像素邊界來進(jìn)行區(qū)分。利用1600個(gè)3D模型和pybullet物理引擎，生成了50k的箱內(nèi)物體堆深圖數(shù)據(jù)。由于物體已知，生成深度圖和掩膜的精度得到了有效的保證。最終利用這一深度數(shù)據(jù)集，研究人員訓(xùn)練出了SD Mask R-CNN網(wǎng)絡(luò)，從合成的深度圖中分割出每一個(gè)實(shí)例。

在實(shí)際中算法的表現(xiàn)，第一行是高精度數(shù)據(jù)第二行是低精度數(shù)據(jù)，最后一列是本算法的結(jié)果。

令人驚奇的是，這個(gè)沒有見過任何真實(shí)數(shù)據(jù)的SD Mask R-CNN表現(xiàn)超過了點(diǎn)云分割和精調(diào)過的Mask R-CNN。值得注意的是，真實(shí)數(shù)據(jù)和仿真數(shù)據(jù)的物體并不相同，這意味著SD Mask R-CNN確實(shí)能夠預(yù)測(cè)出新的物體掩膜，同時(shí)利用深度圖時(shí)可以減少主干網(wǎng)絡(luò)的大小（彩色圖ResNet101，深度圖ResNet-35）。

實(shí)例分割被解耦成了分類和分割兩個(gè)任務(wù)。對(duì)于數(shù)據(jù)集中十個(gè)物體的分類，僅僅使用VGG在10mins內(nèi)就能訓(xùn)練達(dá)到95%的準(zhǔn)確率。這一工作證明SD Mask R-CNN可以與分類網(wǎng)絡(luò)串行工作，這使得對(duì)于不同物體集的訓(xùn)練變得容易。

總的來說，利用深度圖代替RGB圖實(shí)現(xiàn)分割給我們帶來了以下啟示：

- 深度編碼的幾何信息足以對(duì)物體進(jìn)行實(shí)例分割；

- 深度圖可以便捷迅速的生成，并且訓(xùn)練結(jié)果能有效遷移到真實(shí)數(shù)據(jù)上；

- 在不同物體間深度線索的表示更為一致，利用深度圖訓(xùn)練的網(wǎng)絡(luò)具有更好的泛化性。

機(jī)器人鋪床

機(jī)器人鋪床是一個(gè)典型的家庭應(yīng)用場(chǎng)景，它容錯(cuò)性高、時(shí)間充裕同時(shí)也是人類不喜歡的工作。研究人員先前通過RGB圖像來訓(xùn)練機(jī)器人，而最近使用深度感知技術(shù)將鋪床的技能遷移到不同顏色和問題的毯子上。

雜亂的床，前四個(gè)為訓(xùn)練數(shù)據(jù)，后兩個(gè)彩色為測(cè)試數(shù)據(jù)。

機(jī)器人需要將鋪床分解成一下幾個(gè)任務(wù)，首先需要識(shí)別毯子的角，然后移動(dòng)到合適的位置抓起這個(gè)角最大化毯子的面積（鋪開），最后在進(jìn)行折疊。再一次強(qiáng)調(diào)一個(gè)假設(shè)：深度圖中包含了鋪床任務(wù)中所需毯子角點(diǎn)足夠可靠的幾何信息。

為了收集訓(xùn)練數(shù)據(jù)，研究人員在毯子角上放置了紅色mark，利用機(jī)器人的RGB-D攝像頭就可以自動(dòng)地獲取彩色和深度信息。隨后利用收集到的深度圖和對(duì)應(yīng)的角點(diǎn)信息來訓(xùn)練卷積網(wǎng)絡(luò)從不同的毯子布置中找到可以抓取的角點(diǎn)。

由于抓取點(diǎn)檢測(cè)和物體檢測(cè)任務(wù)類似，這里使用了YOLO模型作為預(yù)訓(xùn)練，并添加了幾層用于微調(diào)。模型在2018張深度數(shù)據(jù)上進(jìn)行了訓(xùn)練，結(jié)果顯示雖然YOLO適用于彩色場(chǎng)景檢測(cè)的，但依然可以基于它在深度圖上得到很好的結(jié)果。

深度圖帶來的額外優(yōu)勢(shì)是可以通過距離信息濾除干擾。

利用深度圖實(shí)現(xiàn)抓取點(diǎn)檢測(cè)的結(jié)果。結(jié)果顯示這種方法大大超過了基線，幾乎實(shí)現(xiàn)了與人類同樣的水準(zhǔn)。

上圖顯示了算法對(duì)于青色毯子抓取點(diǎn)的檢測(cè)結(jié)果。抓取網(wǎng)絡(luò)并沒有利用青色毯數(shù)據(jù)進(jìn)行訓(xùn)練，由于測(cè)試數(shù)據(jù)深度圖和訓(xùn)練的深度圖十分類似，即使不一樣的顏色也能獲得優(yōu)異的結(jié)果。隨著機(jī)器人移動(dòng)到另一側(cè)，距機(jī)器人最近的抓取點(diǎn)也被很好的檢測(cè)出來。（RGB訓(xùn)練的抓取網(wǎng)絡(luò)表現(xiàn)就不如深度圖訓(xùn)練的網(wǎng)絡(luò)，因?yàn)橛?xùn)練數(shù)據(jù)都是白色床單。為了獲得更好的效果就需要投入更多顏色和紋理的床單采集數(shù)據(jù)。）

深度魅力

這些項(xiàng)目表明深度圖攜帶了足夠的信息支撐抓取點(diǎn)檢測(cè)、實(shí)例分割和變形物體角點(diǎn)檢測(cè)。隨著深度傳感器質(zhì)量和分辨率的提高，對(duì)于機(jī)器人也將變得日益重要。人們可以很便捷快速地合成深度圖，這種具有顏色不變性和豐富幾何信息的數(shù)據(jù)，同時(shí)可以充分利用其固有的特性來去除噪聲和干擾。同時(shí)深度圖比RGB維度更低，網(wǎng)絡(luò)更傾向于從中學(xué)習(xí)出邊緣和空間模式。