一、項目介紹

1.項目概述

功能目標是基于點云的軌跡引導，即無論待引導物體以何種位姿擺放（要求該位姿在機械臂的行程范圍內），視覺系統均能定位到該物體，并引導機械臂按需要的軌跡實現一定的工藝流程（比如鞋底涂膠等）。

應用場景是鞋底涂膠等需要軌跡引導的工業現場。經過四十多年的改革開放，我國制鞋產業迅猛發展，但大而不強，主要依靠大量廉價勞動力維持生產。而鞋底涂膠作為制鞋的重要工序，目前主要依靠工人手工生產或半自動設備生產，噴涂質量良莠不齊，生產效率低，并且粘膠劑揮發出的毒性氣體對操作工人的身體健康有著嚴重的威脅。采用機器替代人工實現自動化噴膠不僅能有效避免上述問題的產生，而且能夠有效地控制膠膜厚度和噴涂面積，能夠保證膠膜的均勻性和厚度的一致性，提高膠粘質量。基于示教或離線編程方式控制的執行機構，一旦工作環境或目標對象發生變化，機器人不能及時適應這些變化，從而導致噴膠作業失敗。目前，以機器視覺為核心的引導加工技術正在逐步成為現代工業生產中的關鍵技術。相較于二維機器視覺引導技術，三維機器視覺技術不僅能夠獲取物體表面的深度等形貌信息，而且能夠在實現對物體識別定位的同時根據物體姿態實時調整運動方式。在工業生產測量環境中，采用面結構光掃描的三維視覺測量技術以其抗干擾性強、精度較高等一系列優勢，得到了越來越廣泛的應用。在鞋制品生產過程中，采用面結構光掃描方式的三維視覺引導技術能夠實時感知鞋模產品，實現對任意款式鞋子噴膠的需求，能夠適應未來個性化制鞋發展的需要。

2.系統構成

系統構成及實物圖如下：

序號構成選型備注

1點云相機奧比中光的Astra Pro深度相機

2開發板奧比中光的Zora P1開發板也可使用普通的PC

3機械臂KUKA KR 210 R2700 extra也可使用其他六軸工業機器人

4引導設備M8螺栓條件有限，用螺栓代替膠槍

5待引導物品鞋墊

3.產品化

本項目實際引導精度在5mm左右，完全能滿足工業現場下cm級的引導需求。

如果需要產品化，還需要做的工作是做開發板與機械臂之間的通訊。本項目使用的是kuka機械臂，由于條件受限，沒有實現通訊。如果是類似UR機械臂等原生支持TCP通訊的，只要寫個簡單的socket程序即可，并不需要額外的硬件。

4.未來市場潛力

近些年來，隨著機器視覺和工業機器人得到越來越廣泛的使用，機器換人的趨勢日趨明顯。工業機器人可以準確高效地完成重復性的工作，但缺乏柔性，故需要添加機器視覺系統加以輔助。而2D圖像缺乏深度信息，常常難以滿足六自由度的引導要求，故需要3D點云作為數據來源。

本項目《基于點云的視覺引導系統》，就是基于奧比中光的Astra Pro深度相機和Zora P1開發板，實現基于點云的軌跡引導。軌跡引導已廣泛應用于汽車玻璃涂膠、鞋底涂膠等各個領域，未來市場潛力巨大。

此外，基于本項目使用引導方法的擴展，也可實現零件抓取、零件裝配等更多的引導需求，本項目只是受限于手頭的條件（沒有與機械臂匹配的夾爪），沒有進行相關的嘗試，但原理層面是共通的。

二、關鍵技術創新點

本項目的難點與創新點主要在于，怎么在各方面條件受限的情況下，盡量提升最后的引導精度。

條件受限包括：

●Astra Pro深度相機由于MX400芯片的原因，無法導出相機參數，即無法得到出廠時的準確內參及外參。

● 手頭沒有高精度的標定板、沒有紅外光源，難以重新標定Astra Pro深度相機。

● Astra Pro深度相機的點云精度（3mm @ 1m）遠沒有工業級點云相機（0.2mm @ 1m）高。

主要技術創新點如下：

1.相機標定

相機標定是視覺系統的基礎，工業級的相機標定需要碳纖維（或者玻璃等）的工業級標定板，保證平整度和角點精度。同時需要遮住激光器，并使用紅外光源，使得紅外相機能采集到清晰的標定板圖像。

但是，普通開發者通常不具備上述條件，面臨的情況常常是沒有標定板和紅外光源。為此，本項目使用自制標定板，即通過代碼生成高分辨率的棋盤格圖像，并用打印機將其打印出來，貼在平板上。但是由于沒有紅外光源，紅外相機只能借助帶激光散斑的激光器的光源來拍攝標定板圖像，帶來的問題是部分角點檢測的誤差較大。

為了解決這個問題，本項目采用先執行一次相機標定，保留重投影誤差小的70%的點，再執行一次相機標定。這么做可以明顯降低重投影誤差、提高精度，使用此方法標定出的相機內外參通過深度圖和彩色圖的對齊來驗證，確實取得了良好的效果。

2.手眼標定

對于眼在手外的情況，即相機固定在機械臂外部，不隨機械臂運動，工業場景下的常用手眼標定方法是把標定板固定在機械臂末端，機械臂帶著標定板運動多個姿態，固定在機械臂外某處的相機拍攝每個姿態下標定板的圖像，并記錄機械臂末端位姿。可以建立閉環運動鏈方程，求解的方程AX=XB，A與相機相關，B與機械臂相關，X為手眼矩陣，表示相機坐標系到機械臂基坐標系的變換關系。

但是，由于缺乏紅外光源和高精度標定板，無法從帶激光散斑的紅外圖像中準確提取標定板角點，上述常用的手眼標定方法難以實施，故本項目采取一種更為直接的手眼標定方法。具體做法是：

● 找到一個有4個頂點的物體（如包裝盒），用深度相機掃描該物體獲得點云，獲取4個頂點在點云相機坐標系下的坐標；

● 把機械臂的TCP（Tool Center Point，工具中心點）做到引導設備末端，用引導設備末端去觸碰那4個頂點，獲取4個頂點在機械臂基座坐標系下的坐標；

● 通過4個頂點在點云相機坐標系下的坐標、機械臂基座坐標系下的坐標，求解出點云相機坐標系到機械臂基坐標系的變換關系，完成手眼標定。

3.引導思路

本項目實現的是基于點云的軌跡引導，可以拆解為兩個過程：

● 過程一是定位，即視覺系統定位到待引導物體；

● 過程二是引導，即視覺系統引導機械臂按需要的軌跡實現一定的工藝流程。

考慮到Astra Pro深度相機的點云精度遠沒有工業級點云相機高，為了盡量減小點云精度對最終引導精度的影響，故本項目使用相對測量的思想，將過程一的定位問題轉化為點云匹配問題，將過程二的引導問題轉化為在模板位置的軌跡基礎上做機械臂基坐標系的偏移。

4.點云匹配

常見的點云配準方法有很多，可以分為粗配準和精配準兩類，而精配準中的ICP配準結果準確，但依賴比較好的初值。

本項目的預設前提是待引導物體以任意位姿擺放，直接使用ICP很可能會陷入局部最優解，考慮到運行速度與實現難度，故本項目使用FPFH+RANSAC+ICP的點云匹配思路，即使用FPFH+RANSAC作為粗配準，獲取兩個點云之間的粗略變換關系，再以此作為初值，使用ICP作為精配準，獲取兩個點云之間的精確變換關系。

三、實施過程

1.機器人做TCP

六軸工業機器人的TCP（Tool Center Point，工具中心點）默認在第六軸法蘭末端，需要先將其修改到引導設備的末端，即修改到螺栓的末端，如下圖：

做TCP常用的方法是4點法，即讓TCP以4個姿態去接近同一個點，從而解算出TCP與第六軸末端的轉換關系。

2.手眼標定

固定好深度相機，使其在整個實驗過程中不要移動。

準備一個有4個明顯頂點且便于深度相機獲取點云的物品，如奧比中光深度相機的包裝盒。將當前的工具坐標系切換為剛剛做完TCP保存的坐標系，此時機器人示教器上的位姿為螺栓末端的位姿。

控制機械臂末端的螺栓分別靠近物品的4個頂點，并記錄當前的位姿，再用深度相機獲取物品的點云，記錄4個頂點的坐標，如下圖：

通過4個頂點在點云相機坐標系下的坐標、機械臂基座坐標系下的坐標，求解出點云相機坐標系到機械臂基坐標系的變換關系。值得注意的是，需要將坐標統一到mm單位下。

3.點云匹配 & 實施引導

準備一個待引導物品，即鞋墊。

采集一幅點云，根據點云的原點和手眼關系，做可視化，如下圖，從直觀上驗證手眼關系是否正確。

實施步驟如下：

1.掃描零位的鞋墊，濾除無關的點云，作為模板點云。（下圖紅色）

2.把當前基坐標系的值全部賦0。

3.在零位制作模板軌跡。

4.改變鞋墊的位姿，重新獲取當前的鞋墊點云。（下圖黑色）

5.執行點云匹配，計算返回給機械臂基坐標系的偏移量，手動通過示教器賦值給當前基坐標系。

6.機器人執行修正后的軌跡，完成軌跡引導