作者：魚骨 | 來源：計算機視覺工坊

摘要 目前，全景圖像位置和姿態參數的解算多基于點特征，而場景中普遍存在的線特征尚未得到充分利用。本文提出一種點-線特征聯合的全景圖像位姿解算方法，不僅可用于點特征缺失場景中全景圖像位姿參數的解算，而且在點特征充足的場景中可提高位姿解算的精度和穩健性。該方法中的線特征使用線上的任意兩點表示，不要求全景圖像和三維場景同名線上的選點具有對應關系，因而易于選取，具有極大的實用性。首先，使用直接線性變換構建點-線特征聯合的全景圖像位姿解算模型，并針對水平線和垂直線獲取簡化后的模型；然后，利用仿真道路場景，從特征點和線的不同組合方式及大姿態角兩方面分析該模型的適用性，并通過人工引入不同類型及量級的點-線誤差分析該模型的容差性；最后，將本文方法應用于全景圖像與激光點云的融合，從理論和實踐兩方面證明點-線特征聯合的位姿解算方法在精度、穩健性和容差性方面優于單純的點特征解算方法。

關鍵詞 全景圖像；點-線特征聯合；位姿解算；仿真分析；全景圖像與激光點云融合

引言 準確、穩健地獲取全景圖像的位姿參數是一項基礎且關鍵的工作。目前線特征在航空影像的位姿解算中得到了較為廣泛的應用，但全景圖像的位姿解算仍多基于點特征，而真實場景中普遍存在的線特征尚未得到充分利用，如建筑物輪廓、桿狀地物等，且缺少點-線特征聯合的全景圖像位姿解算模型。因此，本文提出一種點-線特征聯合的全景圖像位姿解算方法，其中，點特征可直接計算位置和姿態參數，線特征可對姿態參數進行約束，將點-線特征結合有利于提高全景圖像位姿解算的精度和穩健性。

方法 本文方法流程如圖1所示。

圖1 本文方法流程 1、點-線特征聯合的全景圖像位姿解算模型 1.1、基于點特征的全景圖像位姿解算模型 目前最常用的是球面全景圖像，如圖2所示，球面模型分別以豎直角(v)和水平角(h)表示全景圖像的行和列坐標，屬于等角投影成像。

圖2 全景圖像的位置和姿態參數 點模型可表示為：

式中參數分別為：

其中，r、c為地物點p (x, y, z)在全景圖像上的行和列坐標。點模型中的待求解矩陣 X 包含11個參數(l1, l2, …, l11)，因此至少需要6對同名特征點(p ≥6 )進行解算。在計算出 X 后可求解姿態矩陣和位置參數。

1.2、基于線特征的全景圖像位姿解算模型 三維空間中直線上任意兩點p1、p2 和成像位置( XS, YS, ZS )的共面方程可表示為：

根據共面特性，使用全景圖像中對應直(曲)線上的任意兩點分別替換p1、p2，可將上式表示為：

其中：

因此，線模型可表示為：

1.3、點-線特征聯合的全景圖像位姿解算模型

綜合點特征和線特征的全景圖像位姿解算模型，可得點-線特征聯合的全景圖像位姿解算模型，如下式所示：

上式為p 對同名點和t對同名線組成的聯合模型。在平差求解出X 后,可計算姿態矩陣R 和位置參數( XS, YS, ZS )。 針對垂直線特征，即 Δx=Δy=0，聯合模型可簡化為：

針對水平線特征，即Δz=0，聯合模型可簡化為：

式中，vi 表示水平線的斜率，計算公式如下：

1.4、聯合模型的精度評價指標 解算出X后獲取檢查點在全景圖像中的俯仰角和水平角(v', h')：

基于下式計算各個檢查點的模型誤差(δi)和模型求解中誤差(δ)，δ為聯合模型的精度評價指標：

式中，ri、ci 為檢查點在全景圖像中的真實行、列坐標，m為檢查點的個數。

2、聯合模型的仿真分析

使用仿真數據檢驗聯合模型的適用性和容差性。首先，仿真道路場景點云，由此可獲取不同位姿參數下的虛擬全景圖像；然后，從特征點和線的不同組合方式分析聯合模型的適用性；在特征點和線最少條件下檢驗該模型的適用性，如圖3所示分別試驗2點+7線、3點+5線、4點+3線和5點+1線這4種組合方式。結果表明4種組合下模型誤差均為0像素，由此證明聯合模型在不同特征點和線組合情況下的適用性，同時也表明聯合模型可用于點特征缺失場景中全景圖像位姿參數的解算。

圖3 特征點和線的不同組合方式 使用2點+7線的組合方式，檢驗聯合模型在大姿態角情況下的適用性。如圖4所示，分別試驗4種大姿態角情況。結果表明4種大姿態角情況下聯合模型誤差均為0像素，由此證明了聯合模型在大姿態角情況下的適用性。

圖4 不同情況的大姿態角分析 最后，通過人工引入不同類型與量級的點-線誤差從全景圖像坐標誤差和三維場景坐標誤差兩方面分析該模型的容差性。見表1,試驗中對多控制點、均控制點和少控制點3種情況驗證聯合模型的容差性。 表1 垂直線輔助的聯合模型精度與可靠性分析

可得出如下結論： 1）在多控制點情況，點模型和聯合模型均可高精度地解算出全景圖像的位姿參數。 2）垂直線可以提高解算的精度和穩健性。 3）垂直線不僅可用于控制點缺失場景下位姿參數的解算，而且多條垂直線的優化效果和穩健性明顯優于單條垂直線。 4）不同數量垂直線的加入均優化了不同量級(0.5~5.0像素)的一類誤差解算結果。 5）二類誤差對位姿參數求解精度的影響只與二類誤差本身大小相關，與點和垂直線的數量無關。 6）理論上聯合模型在精度、穩健性和容差性等方面優于常用的點模型。這里也推薦「3D視覺工坊」新課程《面向三維視覺算法的C++重要模塊精講：從零基礎入門到進階》。

3、點-線特征聯合全景圖像位姿解算方法的應用
使用真實場景的車載激光點云和兩幅全景圖像進行試驗，驗證點-線特征聯合的位姿解算方法優于單純的點特征解算方法。展示了使用點-線特征聯合的全景圖像位姿解算方法，實現全景圖像與激光點云融合的局部效果。

結論 本文提出了一種點-線特征聯合的全景圖像位姿解算方法，通過仿真道路場景證明了該方法具有優異的適用性和容差性，將該模型應用于全景圖像與激光點云的融合，從理論和實踐兩方面證明了點-線特征聯合的位姿解算方法優于單純的點特征解算方法。本文的結論如下： （1）點-線特征聯合的全景圖像位姿解算方法中，使用線上的任意兩點表示線特征，且不要求選點具有對應關系，因此易于選取，具有較高的實用性； （2）點-線特征聯合的全景圖像位姿解算方法適用于任意姿態角下全景成像位姿參數的解算，具有極大的適用性； （3）點-線特征聯合的全景圖像位姿解算方法在精度、穩健性和容差性等方面優于常用的點特征解算方法。

編輯：黃飛