基于模板匹配方法

已知物體模型，從不同方向提取RGBD特征，處理生成模板與實際圖像每個位置進行匹配，匹配成功得到目標的位姿信息。

2011Linemod經典鼻祖論文：Multimodaltemplates for real-time detection of texture-less objects in heavily clutteredscenes（Linemod）

2012改進Linemod：Gradient Response Maps for Real-Time Detection of Texture-Less Objects

左：可辨別的圖像梯度主要在輪廓上找到。梯度位置粉紅色顯示

中：深度傳感器獲取的表面法向量

右：2D圖像梯度和3D表面法線的組合->增加魯棒性

視覺提示的互補性：梯度通常在物體輪廓上找到，而在物體內部找到曲面法線

研究方向與問題：復雜背景下3D物體的實時檢測與定位

依據：采用彩色圖像的梯度信息結合物體表面的法向特征作為模板匹配

算法場景：復雜場景、無紋理、多模板

應用：opencv封裝（（參考2中有函數解釋）），基于ros的object recognition kitchen中有配套的模型生成圖像的程序、ICP后處理的教程跟代碼

算法流程：

（1）概念性

一個模板是一個特征點序列（多模態時為多個序列），特征點彼此不能太近且要有足夠的代表性。

輸入RGBD數據

（2）計算梯度方向

以彩色梯度為例，先進行7*7的高斯模糊，然后利用Sobel算子計算梯度，繼而在每個像素點求解出了梯度方向以及幅值，只有超過一定閾值的梯度才會被保留；

接著在3*3的領域內統計梯度的方向，數量超過5的梯度方向才會被采用；

此處梯度方向都是無符號的，只取上一半，Opencv實現的代碼里分為8個方向（量化為5)。這種提取特征的方式對于梯度起到了主成分提取和放大的效果。

經過訓練生成文件信息。

?

（3）方向擴散

對被搜索圖像（原圖）也要進行梯度的計算，并且對梯度的方向做方向的拓展。

繼而利用模板進行滑窗匹配時就有了一定的容錯度，匹配容錯。

（4）預處理響應圖

制作查找表，算法匹配速度快；

針對n(=8)個方向和方向擴散圖逐個像素進行匹配，匹配的結果是距離最近方向角度的余弦值；

值得注意的是，雖然這里有八個方向，但是夾角只有五種情況（算的直線夾角而非射線），故而匹配的結果只有五種；

響應圖是被搜索圖（原圖）各個位置下對應擴展方向的二進制表示，模板圖像共有5個方向，那么相應生成5張響應圖Response Maps，利用模板進行匹配，可以直接調用對應方向在對應像素的結果，避免了滑窗時重復的計算。

（5）線性存儲

避免重復計算，加速計算

（6）擴展深度圖

?

實際應用中的問題

遮擋場景無法處理

改進與優化

linemod存在兩個問題，一個對尺度變化敏感，一個遮擋情況下效果變差?！?】改進詳見6D pose（見方法3）。

審核編輯：黃飛