在多傳感器信息融合技術(shù)中，相機(jī)和3D激光雷達(dá)在其特性高度互補(bǔ)的前提下得到了快速發(fā)展和廣泛應(yīng)用。在許多基于相機(jī)和3D激光雷達(dá)的應(yīng)用中，相機(jī)內(nèi)參以及相機(jī)和3D激光雷達(dá)外參的聯(lián)合標(biāo)定是后期檢測、跟蹤和SLAM技術(shù)的重要基礎(chǔ)。隨著算法的更新和迭代，標(biāo)定的準(zhǔn)確性、速度和范圍都有所提高，但仍缺乏對相機(jī)和3D激光雷達(dá)標(biāo)定的系統(tǒng)和全面的調(diào)查。本文首先介紹了兩種傳感器的性能比較和應(yīng)用現(xiàn)狀；其次，介紹了標(biāo)定過程、標(biāo)定目標(biāo)的選擇和標(biāo)定模型的建立；然后根據(jù)分類，介紹了攝像機(jī)內(nèi)部參數(shù)標(biāo)定和聯(lián)合外部參數(shù)標(biāo)定的原理和算法；最后，總結(jié)并給出了相機(jī)和3D激光雷達(dá)標(biāo)定的未來發(fā)展！

以無人車和機(jī)器人為代表的地面無人平臺由于其自主性、靈活性和體積小，在偵察、安全檢查和防爆任務(wù)中具有廣闊的應(yīng)用前景。近年來，出現(xiàn)了許多關(guān)于無人平臺環(huán)境感知和場景理解的研究，在眾多關(guān)鍵技術(shù)中，獲取目標(biāo)姿態(tài)信息是無人平臺實現(xiàn)目標(biāo)感知和環(huán)境場景理解的關(guān)鍵前提，如圖1所示。

在多傳感器信息融合技術(shù)中，相機(jī)和3D激光雷達(dá)在其特性高度互補(bǔ)的前提下得到了快速發(fā)展和廣泛應(yīng)用。在許多基于相機(jī)和3D激光雷達(dá)的應(yīng)用中，相機(jī)內(nèi)參以及相機(jī)和3D激光雷達(dá)外參的聯(lián)合標(biāo)定是后期檢測、跟蹤和SLAM技術(shù)的重要基礎(chǔ)。隨著算法的更新和迭代，標(biāo)定的準(zhǔn)確性、速度和范圍都有所提高，但仍缺乏對相機(jī)和3D激光雷達(dá)標(biāo)定的系統(tǒng)和全面的調(diào)查。本文首先介紹了兩種傳感器的性能比較和應(yīng)用現(xiàn)狀；其次，介紹了標(biāo)定過程、標(biāo)定目標(biāo)的選擇和標(biāo)定模型的建立；然后根據(jù)分類，介紹了攝像機(jī)內(nèi)部參數(shù)標(biāo)定和聯(lián)合外部參數(shù)標(biāo)定的原理和算法；最后，總結(jié)并給出了相機(jī)和3D激光雷達(dá)標(biāo)定的未來發(fā)展！

以無人車和機(jī)器人為代表的地面無人平臺由于其自主性、靈活性和體積小，在偵察、安全檢查和防爆任務(wù)中具有廣闊的應(yīng)用前景。近年來，出現(xiàn)了許多關(guān)于無人平臺環(huán)境感知和場景理解的研究，在眾多關(guān)鍵技術(shù)中，獲取目標(biāo)姿態(tài)信息是無人平臺實現(xiàn)目標(biāo)感知和環(huán)境場景理解的關(guān)鍵前提，如圖1所示。

現(xiàn)階段，大多數(shù)無人平臺采用“激光雷達(dá)+視覺攝像頭”解決方案，以實現(xiàn)完整的環(huán)境感知。其中，激光雷達(dá)在目標(biāo)表面獲得高精度、離散的三維點云數(shù)據(jù)，受環(huán)境影響較小，具有良好的魯棒性；視覺攝像機(jī)可以獲得高分辨率、高質(zhì)量的二維視覺信息，在環(huán)境感知和目標(biāo)檢測方面具有很大的優(yōu)勢。由于相機(jī)和激光雷達(dá)的信息具有高度互補(bǔ)性，融合兩者不僅可以克服單一傳感器在環(huán)境感知方面的缺點，還可以獲得更豐富的目標(biāo)觀測數(shù)據(jù)，提高其環(huán)境感知的準(zhǔn)確性，如圖2和表I所示。

由于激光雷達(dá)數(shù)據(jù)點稀疏，視覺相機(jī)分辨率高，激光雷達(dá)和視覺相機(jī)的聯(lián)合校準(zhǔn)是實現(xiàn)兩者融合的基礎(chǔ)環(huán)節(jié)。為了響應(yīng)激光雷達(dá)和視覺相機(jī)的聯(lián)合校準(zhǔn)，已經(jīng)提出了各種標(biāo)定方法。然而，這些方法大多是根據(jù)實際需要進(jìn)行的，因此沒有系統(tǒng)的解決方案，并且缺乏開源校準(zhǔn)數(shù)據(jù)集，各種方法也不統(tǒng)一，很難為研究人員提供明確的參考。在此基礎(chǔ)上，本文總結(jié)了近年來激光雷達(dá)與單相機(jī)聯(lián)合標(biāo)定的先進(jìn)標(biāo)定方法。本文將重點討論聯(lián)合標(biāo)定系統(tǒng)構(gòu)建、標(biāo)定板設(shè)計、標(biāo)定參數(shù)求解等基本問題，如圖3和圖4所示。

標(biāo)定系統(tǒng)的構(gòu)建

一個典型的標(biāo)定系統(tǒng)可以分為以下步驟：首先根據(jù)要求選擇激光雷達(dá)、視覺相機(jī)和標(biāo)定板，然后根據(jù)一定的方法建立標(biāo)定目標(biāo)在不同坐標(biāo)系中的轉(zhuǎn)換關(guān)系，最后求解轉(zhuǎn)換矩陣。其中，標(biāo)定板的選擇、坐標(biāo)系轉(zhuǎn)換關(guān)系的建立、標(biāo)定方程的求解是關(guān)鍵環(huán)節(jié)。

圖5顯示了基于標(biāo)定板的激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定所涉及的四個主要坐標(biāo)系！像素坐標(biāo)系（u，v），相機(jī)坐標(biāo)系，圖像平面坐標(biāo)系（x，y），激光雷達(dá)坐標(biāo)系。

相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定通常包括兩部分：內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)標(biāo)定主要解決攝像機(jī)CCD傳感器本身畸變和安裝的影響；外部參數(shù)標(biāo)定主要用于建立兩個傳感器之間的坐標(biāo)轉(zhuǎn)換方程。如圖6所示，這是相機(jī)和激光雷達(dá)聯(lián)合校準(zhǔn)的流程圖！

標(biāo)定板的選擇根據(jù)標(biāo)定對象和提取的特征點而不同，標(biāo)定可以通過兩種方式進(jìn)行：基于目標(biāo)的標(biāo)定或無目標(biāo)標(biāo)定。基于目標(biāo)的標(biāo)定通常使用特定的標(biāo)定板以便于算法提取特定的特征點，而無目標(biāo)標(biāo)定方法通常直接使用環(huán)境中的材料或結(jié)構(gòu)特征來提取和匹配以實現(xiàn)標(biāo)定，以增加標(biāo)定的范圍和便利，如圖7所示。

1）Target-based Calibration

基于目標(biāo)標(biāo)定的特點是在標(biāo)定過程中使用特定形式的標(biāo)定板。這樣，特征點易于捕獲，所需算法簡單，計算能力小。但缺點也很明顯：一是必須在使用傳感器之前對其進(jìn)行標(biāo)定，而且不能進(jìn)行實時標(biāo)定。另一個是二維平面板（如棋盤）需要獲得清晰的對應(yīng)關(guān)系，這不僅使得最終的標(biāo)定精度嚴(yán)重依賴于3D和2D特征點，還需要人工干預(yù)！

二維標(biāo)定板

二維標(biāo)定板通常取決于特定的標(biāo)定目標(biāo)，最常用的是棋盤。張［1］首先提出了一種棋盤標(biāo)定板，通過具有多個姿態(tài)的棋盤來估計二維激光雷達(dá)和相機(jī)之間的參數(shù)。Ranjith Unnikrishnan等人［2］基于Zhang提出的相機(jī)和2D激光雷達(dá)的標(biāo)定方法，提出了3D激光雷達(dá)和相機(jī)外部參數(shù)的標(biāo)定方法，如圖8所示。

然而，由于激光雷達(dá)的縱向光束之間的距離大且采集分辨率低，很難通過邊緣提取來保證精確頂點的精度。Lyu［3］手動調(diào)整棋盤在激光點云中的位置，以便掃描線可以掃描到棋盤的頂點，但這將增加標(biāo)定過程的時間和復(fù)雜性。

同樣為了解決點云邊緣擬合不準(zhǔn)確的問題，康國華等人［4］使用點云中心的粗配準(zhǔn)來實現(xiàn)點云的整體精細(xì)配準(zhǔn)。從另一個角度來看，除了輸出三維點云的坐標(biāo)信息，激光雷達(dá)還可以帶回反射強(qiáng)度信息。［5］ 對不同材料的激光雷達(dá)反射強(qiáng)度設(shè)置閾值，以獲得激光雷達(dá)點云，并在此基礎(chǔ)上設(shè)計了一種新的標(biāo)定板。

ArUco標(biāo)記是一種特殊的編碼模式，便于檢測和糾正標(biāo)簽本身的錯誤。霍爾等人提出了一種用于由多個單元組成的實驗裝置的校準(zhǔn)板。方法［6］使用ArUco標(biāo)記計算相機(jī)坐標(biāo)系中標(biāo)定板的角點，激光雷達(dá)點提取擬合的邊緣線，然后可以計算激光雷達(dá)相機(jī)的外部參數(shù)。在實際應(yīng)用中，這種方法與棋盤中的激光雷達(dá)一樣，包括不穩(wěn)定的邊緣提取和線擬合算法，這將給校準(zhǔn)帶來很大的誤差。此外，由于需要多個標(biāo)定板，該方法更加復(fù)雜。為了增加激光雷達(dá)點云的可提取特征，出現(xiàn)了一個空心標(biāo)定板。Dong等人［7］和Zhung等人［8］的工作有些相似，他們在黑白棋盤的中心構(gòu)造了一個空心圓孔，并將圓孔的中心校準(zhǔn)為特征點。然而，由于激光雷達(dá)點云沒有明顯的特征，因此只能從整個圓孔點云近似計算中心的坐標(biāo)，如圖9所示。

最近，黃強(qiáng)等人［9］提出了一種基于可重構(gòu)標(biāo)定板的激光雷達(dá)和視覺傳感器的聯(lián)合標(biāo)定方法，使用類似條形碼的方法來自動識別激光雷達(dá)的特征點，并添加了相機(jī)驗證機(jī)制，以減輕標(biāo)定過程中相機(jī)識別不穩(wěn)定導(dǎo)致的錯誤。

三維標(biāo)定板

三維標(biāo)定板的目的是更好地幫助激光雷達(dá)找到特征點，從而更好地匹配特征點。當(dāng)背景不純凈時，上一節(jié)中提到的中空平板可能會導(dǎo)致像素混合，周世輝等人［10］分析了平面空心標(biāo)定板產(chǎn)生的混合像素誤差，設(shè)計了一種特殊的網(wǎng)格狀標(biāo)定板，并基于特征點匹配方法實現(xiàn)了工業(yè)相機(jī)和激光雷達(dá)的高精度聯(lián)合校準(zhǔn)，以實現(xiàn)像素級圖像融合效果。蔡懷宇等人［11］ 設(shè)計了具有梯度深度信息、平面角度信息和位置信息的標(biāo)定板（BWDC）。該方法不僅從一維提取特征，而且有效地利用了激光雷達(dá)提取三維信息的能力。然而，這對標(biāo)定板的設(shè)計和制造精度提出了很高的要求，增加了成本和誤差。如圖10所示。

Pusztai等人［12］使用具有三個垂直邊的長方體作為標(biāo)定對象，通過提取長方體的邊緣來估計長方體的3D頂點，并將其與從圖像中提取的2D頂點進(jìn)行匹配，這種方法是通用的，因為它可以用于普通的盒子。類似地，Xiaojin Gong等人［13］提出了基于任意三面體的3D激光雷達(dá)相機(jī)的外部標(biāo)定。由于用于標(biāo)定的三面體目標(biāo)可以是正交或非正交的，這通常出現(xiàn)在結(jié)構(gòu)化環(huán)境中，因此它具有廣泛的應(yīng)用。

2）Targetless Calibration

無目標(biāo)標(biāo)定不需要人工標(biāo)定目標(biāo)，在線標(biāo)定更方便，但精度低，魯棒性差。例如，當(dāng)遇到需要在線標(biāo)定的情況時，固定傳感器的相對位置會因機(jī)械振動而改變，其標(biāo)定參數(shù)也會隨著時間而變得不準(zhǔn)確。由于大多數(shù)融合方法對標(biāo)定誤差極為敏感，其性能和可靠性受到嚴(yán)重?fù)p害。此外，大多數(shù)標(biāo)定過程需要從頭開始，因此手動連續(xù)更新校準(zhǔn)參數(shù)既麻煩又不切實際，為了擺脫標(biāo)定板的限制，并通過自然場景實現(xiàn)在線標(biāo)定，研究人員進(jìn)行了大量研究！

其中一些方法使用RGB紋理和激光雷達(dá)反射率之間的相關(guān)性，一些方法提取圖像和激光點云中的邊緣［17］或線特征［18］進(jìn)行相關(guān)性測量。Castorena等人［19］使用深度和強(qiáng)度邊緣的自然對齊結(jié)合高斯混合模型進(jìn)行標(biāo)定，并獲得了一種自動、無目標(biāo)、完全數(shù)據(jù)驅(qū)動的全局匹配優(yōu)化方法。這些方法需要相對精確的初始參數(shù)，否則很容易陷入局部極值，因此，用于自識別場景的無目標(biāo)標(biāo)定方法通常用于微調(diào)外部參數(shù)。還有一些基于里程計的軌跡配準(zhǔn)［20］，時間序列視覺幀的密集點云和激光點云的配準(zhǔn)［21］，甚至還有基于深度學(xué)習(xí)的方法［22］、［23］。這些方法不僅高度依賴于環(huán)境，還受到視覺或激光里程計精度的影響，目前的技術(shù)精度低，不具有普遍性，需要進(jìn)一步研究和開發(fā)。

3）標(biāo)定方程建立

在相機(jī)傳感器獲取過程中，為了確定空間物體表面上的點的三維幾何位置與其在圖像中的對應(yīng)點之間的關(guān)系，必須建立相機(jī)成像的幾何模型。

（1） 三維坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換，公式如下：

（2） 二維坐標(biāo)轉(zhuǎn)換：從像素坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（3） 基于針孔成像原理的坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（4） 合并轉(zhuǎn)換：激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換如圖11所示進(jìn)行組合和推導(dǎo)，公式如下：

參數(shù)求解1）相機(jī)內(nèi)參

為了簡化計算，假設(shè)了一個線性理想針孔相機(jī)，如圖12中的a所示。但實際由于相機(jī)鏡頭精度和裝配過程的偏差，相機(jī)成像不可避免地引入了失真。真實圖片和兩個常見相機(jī)圖片的失真如圖13所示，導(dǎo)致圖像失真，如圖12中的b所示。

內(nèi)部參數(shù)是視覺測量的重要校準(zhǔn)參數(shù)之一，它反映了計算機(jī)圖像坐標(biāo)中空間點與成像點之間的精確對應(yīng)關(guān)系，如圖14所示。

傳統(tǒng)的攝像機(jī)校準(zhǔn)方法。傳統(tǒng)的相機(jī)標(biāo)定方法使用具有已知結(jié)構(gòu)和高精度的標(biāo)定目標(biāo)或三維標(biāo)定場作為空間參考對象。在建立世界坐標(biāo)系之后，獲得每個特征點的空間坐標(biāo)，根據(jù)空間點和圖像點之間的對應(yīng)關(guān)系，建立了相機(jī)內(nèi)部參數(shù)的約束條件。最后，通過優(yōu)化算法獲得內(nèi)部參數(shù)，在相機(jī)內(nèi)部參數(shù)的計算中，使用最廣泛的方法是張正友方法［24］。受張正友方法的啟發(fā)，許多開源庫函數(shù)，如OpenCV、ROS、matlab和一些工具箱［25］［26］都使用這種方法進(jìn)行開發(fā)和標(biāo)定！相機(jī)自標(biāo)定方法。相機(jī)自標(biāo)定方法是指使用包含由相機(jī)捕獲的重疊場景的一組圖像來建立對應(yīng)關(guān)系的過程，在不依賴于標(biāo)定參考對象的情況下完成幾何校準(zhǔn)。由于只使用其自身的約束，因此它與攝影機(jī)和周圍環(huán)境之間的相對運動狀態(tài)無關(guān)，它具有更高的靈活性，適用于因條件惡劣而無法使用校準(zhǔn)目標(biāo)的情況。使用絕對二次曲線和極線變換的特性來求解Kruppa方程的相機(jī)自校準(zhǔn)方法［27］、［28］、［29］。這種直接求解Kruppa方程的方法在求解過程中優(yōu)化參數(shù)過多，容易陷入局部最優(yōu)。當(dāng)圖像噪聲較大時，校準(zhǔn)精度會降低，魯棒性會變差，用分層逐步標(biāo)定方法代替。它使用投影校準(zhǔn)作為基礎(chǔ)，選擇某一圖片作為標(biāo)準(zhǔn)，并執(zhí)行投影對準(zhǔn)，從而減少未知數(shù)。然后使用非線性優(yōu)化算法來解決所有未知問題［30］。另一個分支是基于主動視覺的相機(jī)自標(biāo)定技術(shù)，主動視覺系統(tǒng)是指將攝像機(jī)精確安裝在可控平臺上。主動控制相機(jī)按照指定的運動軌跡完成照片拍攝，最后使用相機(jī)運動參數(shù)確定內(nèi)部參數(shù)［31］、［32］，它的缺點是對實驗設(shè)備的要求更高，對模型參數(shù)的限制更大，并且抗噪聲能力較差。基于消失點標(biāo)定的方法。20世紀(jì)90年代以來，國內(nèi)外大量學(xué)者開始研究基于消失點標(biāo)定的方法。幾何上，世界直線的消失點是通過平行于直線并穿過相機(jī)中心和圖像平面的光線的交點獲得的，因此，消失點僅取決于直線的方向，與其特定位置無關(guān)［33］、［34］、［35］。消失點標(biāo)定方法不需要對象控制點，而是使用相機(jī)自身參數(shù)之間的約束關(guān)系來建立模型。這大大提高了標(biāo)定的靈活性，實現(xiàn)了實時在線標(biāo)定，并具有廣泛的應(yīng)用。其缺點是魯棒性差和精度低，因為在大多數(shù)基于消失點標(biāo)定的方法中，相機(jī)中的方位角元素是通過單個圖像的消失點來校準(zhǔn)的，而傳統(tǒng)的消失點標(biāo)定算法需要三組場景中相互正交的平行線。然而，由于噪聲等因素的影響，它在實際應(yīng)用中常常受到限制。相機(jī)的內(nèi)部參數(shù)和失真參數(shù)是相機(jī)的固有參數(shù)，出廠后通常是固定的。因此，許多制造商現(xiàn)在直接提供相機(jī)的內(nèi)部出廠時的參數(shù)。同時，隨著相機(jī)設(shè)計的內(nèi)部優(yōu)化，其失真控制越來越好。這也是內(nèi)部參數(shù)標(biāo)定算法研究和更新緩慢的原因！

2）外參求解

從數(shù)據(jù)選擇方法來看，可分為手動標(biāo)定解決方案和自動標(biāo)定解決方案。手動標(biāo)定是早期開發(fā)和使用的第一種標(biāo)定方法，它以其簡單有效的操作和高精度而深受標(biāo)定人員的喜愛。然而，隨著科學(xué)技術(shù)的發(fā)展，圖像和點云中的數(shù)據(jù)量巨大，導(dǎo)致勞動力成本急劇增加。單一的手動標(biāo)定已不能滿足人們對速度、自動化和魯棒性的需求，自動標(biāo)定已應(yīng)運而生，如圖15所示，激光雷達(dá)中相機(jī)的外部參數(shù)根據(jù)不同的原理進(jìn)行標(biāo)定！

手動外部參數(shù)標(biāo)定

對于相機(jī)激光雷達(dá)外部參數(shù)標(biāo)定，校準(zhǔn)對象可以提供準(zhǔn)確的幾何尺寸信息，手動操作可以提供準(zhǔn)確匹配信息。最常用的方法是使用棋盤來確定一系列用于校準(zhǔn)的3D點對。例如，Dhall［36］等人手動選擇3D點并使用最小二乘法解決問題，Scaramuzza［37］等人提出了一種快速標(biāo)定方法，該方法不依賴于標(biāo)定對象，而是基于點特征。作者從相機(jī)圖像和激光雷達(dá)點云中手動選擇一系列具有不連續(xù)深度的對應(yīng)點來解決問題。手動camera-激光雷達(dá)有多種標(biāo)定方法。不同的方法在不同的具體應(yīng)用場景中達(dá)到了高精度，對于需要實時在線標(biāo)定的系統(tǒng)，手動標(biāo)定的主要問題是過度依賴人工操作，以及特殊的標(biāo)定對象，這嚴(yán)重降低了自主性和智能性。

自動外部參數(shù)標(biāo)定

隨著智能應(yīng)用的迫切需求，近十年來誕生了大量相機(jī)激光雷達(dá)外部參數(shù)的自動標(biāo)定方法。這些方法分為基于特征匹配的方法、基于互信息的方法，基于運動的方法和基于深度學(xué)習(xí)的方法。

a） 基于特征匹配的標(biāo)定方法

基于特征匹配的方法通過選擇特征點并基于標(biāo)定板獲得上述兩個系統(tǒng)中特征點的坐標(biāo)，根據(jù)特征匹配，直接獲得激光雷達(dá)坐標(biāo)系與相機(jī)像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，然后通過求解標(biāo)定矩陣轉(zhuǎn)換方程或使用監(jiān)督學(xué)習(xí)等方法來計算轉(zhuǎn)換矩陣以及內(nèi)部和外部參數(shù)，目前基于激光雷達(dá)點云邊緣提取的特征匹配方法主要分為間接法和直接法兩種。

間接法：大多數(shù)方法將激光雷達(dá)點轉(zhuǎn)換為圖像，然后執(zhí)行邊緣提取。Wang等人［39］使用Canny算法提取圖像的邊緣，并使用邊界檢測器從3D激光雷達(dá)點云生成距離圖像，建立點云數(shù)據(jù)和距離圖像之間的對應(yīng)關(guān)系。通過像素對應(yīng)合并2D圖像和3D點云數(shù)據(jù)，以獲得具有3D信息的邊緣圖像。通常，相機(jī)的分辨率和點云是不同的，這種方法可能會引入一些錯誤。

直接法：在圖像中，灰度值突然變化的地方形成了圖像的邊緣，這種變化稱為圖像梯度。基于圖像邊緣的特征，Xia等人［40］提出了3D點云梯度的概念，然后基于用于快速邊緣提取的激光雷達(dá)點云。該擬合方法可以提取更多的邊緣特征，具有較高的精度，并且對點的密度不敏感。

b） 基于互信息的標(biāo)定方法

基于互信息的方法的主要思想是在相機(jī)圖像和激光雷達(dá)點云中找到相關(guān)變量。通過計算相機(jī)圖像的灰度值與相關(guān)變量（例如激光雷達(dá)的反射率或激光雷達(dá)反射的角度）之間的相互信息，然后最大化互信息以優(yōu)化校準(zhǔn)外部參數(shù)。Pandney等人［41］認(rèn)為，激光雷達(dá)點云的反射率與相機(jī)圖像的灰度值之間存在很強(qiáng)的相關(guān)性，通過核密度估計方法計算反射率和灰度值的概率。最后，通過Barzilai-Borwein最速下降法計算互信息并優(yōu)化外部參數(shù)。Taylor等人［42］認(rèn)為，與相機(jī)圖像點對應(yīng)的3D點的法線與相機(jī)之間的角度將影響反射強(qiáng)度，通過計算激光雷達(dá)點云的反射率和對應(yīng)于相機(jī)圖像點的上述角度之間的相互信息來執(zhí)行校準(zhǔn)。可以看出，當(dāng)兩個傳感器執(zhí)行緊密的數(shù)據(jù)融合時，兩個傳感器之間的精確外部參數(shù)尤為重要。由于激光雷達(dá)點云的稀疏性，無法直接提取散射在校準(zhǔn)板角落的激光雷達(dá)點，這將帶來更大的誤差，也將導(dǎo)致精確的拐角計算。因此，基于直接提取的反射強(qiáng)度特征點的激光雷達(dá)相機(jī)外部標(biāo)定方法可以有效地補(bǔ)償這一問題。然而，基于互信息的方法的效果與傳感器所在環(huán)境中目標(biāo)物體的材料和反射率有關(guān)，并且容易受到諸如光照條件和天氣變化等因素的干擾。

c） 基于運動的標(biāo)定方法

基于運動的方法通常從連續(xù)運動數(shù)據(jù)或多視圖數(shù)據(jù)中求解外部參數(shù)。首先，分別計算相機(jī)和激光雷達(dá)的運動，然后通過手眼標(biāo)定來解決相機(jī)和激光雷達(dá)的直接外部參數(shù)。Taylor［43］等人提出了一套標(biāo)定方法，可應(yīng)用于由激光雷達(dá)、相機(jī)和導(dǎo)航傳感器組成的任何系統(tǒng)。作者首先登記每個傳感器的連續(xù)幀，然后使用連接以校準(zhǔn)外部參數(shù)。Ishikawa［44］等人使用KLT跟蹤器跟蹤激光雷達(dá)在圖像平面上的投影點，并通過投影誤差不斷優(yōu)化缺少3D比例的平移向量，取得了比泰勒更準(zhǔn)確的結(jié)果。趙［45］使用相機(jī)的前后幀圖像重建城市場景3D并計算姿態(tài)變化，并計算激光雷達(dá)點云的前后幀ICP，以獲得點云的空間變化。同時，有許多研究通過關(guān)鍵幀和運動恢復(fù)結(jié)構(gòu)等技術(shù)實現(xiàn)了無人機(jī)和激光雷達(dá)點云上的圖像配準(zhǔn)。例如，Nedevschi等人［46］使用特征匹配來檢測車輛行駛過程中傳感器的偏移。該方法通過對圖像執(zhí)行距離變換來找到圖像中的邊緣，同時，將激光雷達(dá)點云轉(zhuǎn)換為距離圖像。根據(jù)邊緣信息建立目標(biāo)函數(shù)。該方法可以消除車輛運動過程中產(chǎn)生的漂移，并自動調(diào)整外部參數(shù)。

可以看出，基于運動的方法適合于求解標(biāo)定參數(shù)和大規(guī)模場景的初始值。但是基于運動的方法的主要缺點是單眼相機(jī)的運動缺乏3D尺度信息，而且在姿態(tài)估計和數(shù)據(jù)本身之間存在很大的誤差，準(zhǔn)確度需要突破。由于可以通過立體視覺恢復(fù)比例問題，因此大大簡化了標(biāo)定問題，因此，這種方法更適用于立體攝像機(jī)。

d） 基于深度學(xué)習(xí)的校準(zhǔn)方法

隨著近年來深度學(xué)習(xí)的快速發(fā)展。自動駕駛中的各種感知任務(wù)可以通過深度學(xué)習(xí)實現(xiàn)并表現(xiàn)良好，激光雷達(dá)和攝像頭的外部參數(shù)標(biāo)定也可以通過神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。Schneider［47］等人提出了第一種將深度學(xué)習(xí)應(yīng)用于標(biāo)定問題的方法，通過RegNet神經(jīng)網(wǎng)絡(luò)分別提取相機(jī)圖像和激光雷達(dá)點云，然后進(jìn)行回歸。Ganesh Iyer［48］和其他人設(shè)計了一個幾何監(jiān)督的深度網(wǎng)絡(luò)，可以實時自動估計3D LiDAR和2D相機(jī)之間的6-DoF剛體變換。其中，CalibNet減少了對校準(zhǔn)目標(biāo)的需求，從而大大節(jié)省了校準(zhǔn)工作。最近，Kaiwen Yuan等人［49］提出了一種基于RGGNet的激光雷達(dá)相機(jī)標(biāo)定方法。該方法考慮黎曼幾何，并使用深度生成模型學(xué)習(xí)隱式公差模型。該方法既考慮了標(biāo)定誤差，又考慮了誤差范圍內(nèi)的公差，取得了較好的標(biāo)定效果。對于深度神經(jīng)網(wǎng)絡(luò)，不需要預(yù)先提取圖像和激光雷達(dá)點云的特征來建立兩個數(shù)據(jù)的映射和連接。相反，它直接交給神經(jīng)網(wǎng)絡(luò)中的節(jié)點，以找到潛在的關(guān)系。對于標(biāo)定問題，監(jiān)督學(xué)習(xí)顯然是不夠的。很難直接獲得外部參數(shù)的真實值，并且很難提供可靠且可觀的訓(xùn)練集。因此，無監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)更適合于外部參數(shù)標(biāo)定問題。然而，現(xiàn)有算法對使用條件要求更高，大量的訓(xùn)練是巨大的計算量，而泛化能力亟待提高。

審核編輯：郭婷

現(xiàn)階段，大多數(shù)無人平臺采用“激光雷達(dá)+視覺攝像頭”解決方案，以實現(xiàn)完整的環(huán)境感知。其中，激光雷達(dá)在目標(biāo)表面獲得高精度、離散的三維點云數(shù)據(jù)，受環(huán)境影響較小，具有良好的魯棒性；視覺攝像機(jī)可以獲得高分辨率、高質(zhì)量的二維視覺信息，在環(huán)境感知和目標(biāo)檢測方面具有很大的優(yōu)勢。由于相機(jī)和激光雷達(dá)的信息具有高度互補(bǔ)性，融合兩者不僅可以克服單一傳感器在環(huán)境感知方面的缺點，還可以獲得更豐富的目標(biāo)觀測數(shù)據(jù)，提高其環(huán)境感知的準(zhǔn)確性，如圖2和表I所示。

由于激光雷達(dá)數(shù)據(jù)點稀疏，視覺相機(jī)分辨率高，激光雷達(dá)和視覺相機(jī)的聯(lián)合校準(zhǔn)是實現(xiàn)兩者融合的基礎(chǔ)環(huán)節(jié)。為了響應(yīng)激光雷達(dá)和視覺相機(jī)的聯(lián)合校準(zhǔn)，已經(jīng)提出了各種標(biāo)定方法。然而，這些方法大多是根據(jù)實際需要進(jìn)行的，因此沒有系統(tǒng)的解決方案，并且缺乏開源校準(zhǔn)數(shù)據(jù)集，各種方法也不統(tǒng)一，很難為研究人員提供明確的參考。在此基礎(chǔ)上，本文總結(jié)了近年來激光雷達(dá)與單相機(jī)聯(lián)合標(biāo)定的先進(jìn)標(biāo)定方法。本文將重點討論聯(lián)合標(biāo)定系統(tǒng)構(gòu)建、標(biāo)定板設(shè)計、標(biāo)定參數(shù)求解等基本問題，如圖3和圖4所示。

標(biāo)定系統(tǒng)的構(gòu)建

一個典型的標(biāo)定系統(tǒng)可以分為以下步驟：首先根據(jù)要求選擇激光雷達(dá)、視覺相機(jī)和標(biāo)定板，然后根據(jù)一定的方法建立標(biāo)定目標(biāo)在不同坐標(biāo)系中的轉(zhuǎn)換關(guān)系，最后求解轉(zhuǎn)換矩陣。其中，標(biāo)定板的選擇、坐標(biāo)系轉(zhuǎn)換關(guān)系的建立、標(biāo)定方程的求解是關(guān)鍵環(huán)節(jié)。

圖5顯示了基于標(biāo)定板的激光雷達(dá)和相機(jī)聯(lián)合標(biāo)定所涉及的四個主要坐標(biāo)系！像素坐標(biāo)系(u,v)，相機(jī)坐標(biāo)系，圖像平面坐標(biāo)系(x,y)，激光雷達(dá)坐標(biāo)系。
相機(jī)和激光雷達(dá)的聯(lián)合標(biāo)定通常包括兩部分：內(nèi)部參數(shù)標(biāo)定和外部參數(shù)標(biāo)定。內(nèi)部參數(shù)標(biāo)定主要解決攝像機(jī)CCD傳感器本身畸變和安裝的影響；外部參數(shù)標(biāo)定主要用于建立兩個傳感器之間的坐標(biāo)轉(zhuǎn)換方程。如圖6所示，這是相機(jī)和激光雷達(dá)聯(lián)合校準(zhǔn)的流程圖！

標(biāo)定板的選擇根據(jù)標(biāo)定對象和提取的特征點而不同，標(biāo)定可以通過兩種方式進(jìn)行：基于目標(biāo)的標(biāo)定或無目標(biāo)標(biāo)定。基于目標(biāo)的標(biāo)定通常使用特定的標(biāo)定板以便于算法提取特定的特征點，而無目標(biāo)標(biāo)定方法通常直接使用環(huán)境中的材料或結(jié)構(gòu)特征來提取和匹配以實現(xiàn)標(biāo)定，以增加標(biāo)定的范圍和便利，如圖7所示。

1）Target-based Calibration

基于目標(biāo)標(biāo)定的特點是在標(biāo)定過程中使用特定形式的標(biāo)定板。這樣，特征點易于捕獲，所需算法簡單，計算能力小。但缺點也很明顯：一是必須在使用傳感器之前對其進(jìn)行標(biāo)定，而且不能進(jìn)行實時標(biāo)定。另一個是二維平面板（如棋盤）需要獲得清晰的對應(yīng)關(guān)系，這不僅使得最終的標(biāo)定精度嚴(yán)重依賴于3D和2D特征點，還需要人工干預(yù)！

二維標(biāo)定板

二維標(biāo)定板通常取決于特定的標(biāo)定目標(biāo)，最常用的是棋盤。張[1]首先提出了一種棋盤標(biāo)定板，通過具有多個姿態(tài)的棋盤來估計二維激光雷達(dá)和相機(jī)之間的參數(shù)。Ranjith Unnikrishnan等人[2]基于Zhang提出的相機(jī)和2D激光雷達(dá)的標(biāo)定方法，提出了3D激光雷達(dá)和相機(jī)外部參數(shù)的標(biāo)定方法，如圖8所示。

然而，由于激光雷達(dá)的縱向光束之間的距離大且采集分辨率低，很難通過邊緣提取來保證精確頂點的精度。Lyu[3]手動調(diào)整棋盤在激光點云中的位置，以便掃描線可以掃描到棋盤的頂點，但這將增加標(biāo)定過程的時間和復(fù)雜性。
同樣為了解決點云邊緣擬合不準(zhǔn)確的問題，康國華等人[4]使用點云中心的粗配準(zhǔn)來實現(xiàn)點云的整體精細(xì)配準(zhǔn)。從另一個角度來看，除了輸出三維點云的坐標(biāo)信息，激光雷達(dá)還可以帶回反射強(qiáng)度信息。[5] 對不同材料的激光雷達(dá)反射強(qiáng)度設(shè)置閾值，以獲得激光雷達(dá)點云，并在此基礎(chǔ)上設(shè)計了一種新的標(biāo)定板。
ArUco標(biāo)記是一種特殊的編碼模式，便于檢測和糾正標(biāo)簽本身的錯誤。霍爾等人提出了一種用于由多個單元組成的實驗裝置的校準(zhǔn)板。方法[6]使用ArUco標(biāo)記計算相機(jī)坐標(biāo)系中標(biāo)定板的角點，激光雷達(dá)點提取擬合的邊緣線，然后可以計算激光雷達(dá)相機(jī)的外部參數(shù)。在實際應(yīng)用中，這種方法與棋盤中的激光雷達(dá)一樣，包括不穩(wěn)定的邊緣提取和線擬合算法，這將給校準(zhǔn)帶來很大的誤差。此外，由于需要多個標(biāo)定板，該方法更加復(fù)雜。為了增加激光雷達(dá)點云的可提取特征，出現(xiàn)了一個空心標(biāo)定板。Dong等人[7]和Zhung等人[8]的工作有些相似，他們在黑白棋盤的中心構(gòu)造了一個空心圓孔，并將圓孔的中心校準(zhǔn)為特征點。然而，由于激光雷達(dá)點云沒有明顯的特征，因此只能從整個圓孔點云近似計算中心的坐標(biāo)，如圖9所示。

最近，黃強(qiáng)等人[9]提出了一種基于可重構(gòu)標(biāo)定板的激光雷達(dá)和視覺傳感器的聯(lián)合標(biāo)定方法，使用類似條形碼的方法來自動識別激光雷達(dá)的特征點，并添加了相機(jī)驗證機(jī)制，以減輕標(biāo)定過程中相機(jī)識別不穩(wěn)定導(dǎo)致的錯誤。

三維標(biāo)定板

三維標(biāo)定板的目的是更好地幫助激光雷達(dá)找到特征點，從而更好地匹配特征點。當(dāng)背景不純凈時，上一節(jié)中提到的中空平板可能會導(dǎo)致像素混合，周世輝等人[10]分析了平面空心標(biāo)定板產(chǎn)生的混合像素誤差，設(shè)計了一種特殊的網(wǎng)格狀標(biāo)定板，并基于特征點匹配方法實現(xiàn)了工業(yè)相機(jī)和激光雷達(dá)的高精度聯(lián)合校準(zhǔn)，以實現(xiàn)像素級圖像融合效果。蔡懷宇等人[11] 設(shè)計了具有梯度深度信息、平面角度信息和位置信息的標(biāo)定板（BWDC）。該方法不僅從一維提取特征，而且有效地利用了激光雷達(dá)提取三維信息的能力。然而，這對標(biāo)定板的設(shè)計和制造精度提出了很高的要求，增加了成本和誤差。如圖10所示。

Pusztai等人[12]使用具有三個垂直邊的長方體作為標(biāo)定對象，通過提取長方體的邊緣來估計長方體的3D頂點，并將其與從圖像中提取的2D頂點進(jìn)行匹配，這種方法是通用的，因為它可以用于普通的盒子。類似地，Xiaojin Gong等人[13]提出了基于任意三面體的3D激光雷達(dá)相機(jī)的外部標(biāo)定。由于用于標(biāo)定的三面體目標(biāo)可以是正交或非正交的，這通常出現(xiàn)在結(jié)構(gòu)化環(huán)境中，因此它具有廣泛的應(yīng)用。

2）Targetless Calibration

無目標(biāo)標(biāo)定不需要人工標(biāo)定目標(biāo)，在線標(biāo)定更方便，但精度低，魯棒性差。例如，當(dāng)遇到需要在線標(biāo)定的情況時，固定傳感器的相對位置會因機(jī)械振動而改變，其標(biāo)定參數(shù)也會隨著時間而變得不準(zhǔn)確。由于大多數(shù)融合方法對標(biāo)定誤差極為敏感，其性能和可靠性受到嚴(yán)重?fù)p害。此外，大多數(shù)標(biāo)定過程需要從頭開始，因此手動連續(xù)更新校準(zhǔn)參數(shù)既麻煩又不切實際，為了擺脫標(biāo)定板的限制，并通過自然場景實現(xiàn)在線標(biāo)定，研究人員進(jìn)行了大量研究！
其中一些方法使用RGB紋理和激光雷達(dá)反射率之間的相關(guān)性，一些方法提取圖像和激光點云中的邊緣[17]或線特征[18]進(jìn)行相關(guān)性測量。Castorena等人[19]使用深度和強(qiáng)度邊緣的自然對齊結(jié)合高斯混合模型進(jìn)行標(biāo)定，并獲得了一種自動、無目標(biāo)、完全數(shù)據(jù)驅(qū)動的全局匹配優(yōu)化方法。這些方法需要相對精確的初始參數(shù)，否則很容易陷入局部極值，因此，用于自識別場景的無目標(biāo)標(biāo)定方法通常用于微調(diào)外部參數(shù)。還有一些基于里程計的軌跡配準(zhǔn)[20]，時間序列視覺幀的密集點云和激光點云的配準(zhǔn)[21]，甚至還有基于深度學(xué)習(xí)的方法[22]、[23]。這些方法不僅高度依賴于環(huán)境，還受到視覺或激光里程計精度的影響，目前的技術(shù)精度低，不具有普遍性，需要進(jìn)一步研究和開發(fā)。

3）標(biāo)定方程建立

在相機(jī)傳感器獲取過程中，為了確定空間物體表面上的點的三維幾何位置與其在圖像中的對應(yīng)點之間的關(guān)系，必須建立相機(jī)成像的幾何模型。
（1） 三維坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到激光雷達(dá)坐標(biāo)系的轉(zhuǎn)換，公式如下：

（2） 二維坐標(biāo)轉(zhuǎn)換：從像素坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（3） 基于針孔成像原理的坐標(biāo)轉(zhuǎn)換：攝像機(jī)坐標(biāo)系到圖像坐標(biāo)系的轉(zhuǎn)換，公式如下：

（4） 合并轉(zhuǎn)換：激光雷達(dá)坐標(biāo)系到像素坐標(biāo)系的轉(zhuǎn)換如圖11所示進(jìn)行組合和推導(dǎo)，公式如下：

參數(shù)求解

1）相機(jī)內(nèi)參

為了簡化計算，假設(shè)了一個線性理想針孔相機(jī)，如圖12中的a所示。但實際由于相機(jī)鏡頭精度和裝配過程的偏差，相機(jī)成像不可避免地引入了失真。真實圖片和兩個常見相機(jī)圖片的失真如圖13所示，導(dǎo)致圖像失真，如圖12中的b所示。

內(nèi)部參數(shù)是視覺測量的重要校準(zhǔn)參數(shù)之一，它反映了計算機(jī)圖像坐標(biāo)中空間點與成像點之間的精確對應(yīng)關(guān)系，如圖14所示。

傳統(tǒng)的攝像機(jī)校準(zhǔn)方法。傳統(tǒng)的相機(jī)標(biāo)定方法使用具有已知結(jié)構(gòu)和高精度的標(biāo)定目標(biāo)或三維標(biāo)定場作為空間參考對象。在建立世界坐標(biāo)系之后，獲得每個特征點的空間坐標(biāo)，根據(jù)空間點和圖像點之間的對應(yīng)關(guān)系，建立了相機(jī)內(nèi)部參數(shù)的約束條件。最后，通過優(yōu)化算法獲得內(nèi)部參數(shù)，在相機(jī)內(nèi)部參數(shù)的計算中，使用最廣泛的方法是張正友方法[24]。受張正友方法的啟發(fā)，許多開源庫函數(shù)，如OpenCV、ROS、matlab和一些工具箱[25][26]都使用這種方法進(jìn)行開發(fā)和標(biāo)定！相機(jī)自標(biāo)定方法。相機(jī)自標(biāo)定方法是指使用包含由相機(jī)捕獲的重疊場景的一組圖像來建立對應(yīng)關(guān)系的過程，在不依賴于標(biāo)定參考對象的情況下完成幾何校準(zhǔn)。由于只使用其自身的約束，因此它與攝影機(jī)和周圍環(huán)境之間的相對運動狀態(tài)無關(guān)，它具有更高的靈活性，適用于因條件惡劣而無法使用校準(zhǔn)目標(biāo)的情況。使用絕對二次曲線和極線變換的特性來求解Kruppa方程的相機(jī)自校準(zhǔn)方法[27]、[28]、[29]。這種直接求解Kruppa方程的方法在求解過程中優(yōu)化參數(shù)過多，容易陷入局部最優(yōu)。當(dāng)圖像噪聲較大時，校準(zhǔn)精度會降低，魯棒性會變差，用分層逐步標(biāo)定方法代替。它使用投影校準(zhǔn)作為基礎(chǔ)，選擇某一圖片作為標(biāo)準(zhǔn)，并執(zhí)行投影對準(zhǔn)，從而減少未知數(shù)。然后使用非線性優(yōu)化算法來解決所有未知問題[30]。另一個分支是基于主動視覺的相機(jī)自標(biāo)定技術(shù)，主動視覺系統(tǒng)是指將攝像機(jī)精確安裝在可控平臺上。主動控制相機(jī)按照指定的運動軌跡完成照片拍攝，最后使用相機(jī)運動參數(shù)確定內(nèi)部參數(shù)[31]、[32]，它的缺點是對實驗設(shè)備的要求更高，對模型參數(shù)的限制更大，并且抗噪聲能力較差。基于消失點標(biāo)定的方法。20世紀(jì)90年代以來，國內(nèi)外大量學(xué)者開始研究基于消失點標(biāo)定的方法。幾何上，世界直線的消失點是通過平行于直線并穿過相機(jī)中心和圖像平面的光線的交點獲得的，因此，消失點僅取決于直線的方向，與其特定位置無關(guān)[33]、[34]、[35]。消失點標(biāo)定方法不需要對象控制點，而是使用相機(jī)自身參數(shù)之間的約束關(guān)系來建立模型。這大大提高了標(biāo)定的靈活性，實現(xiàn)了實時在線標(biāo)定，并具有廣泛的應(yīng)用。其缺點是魯棒性差和精度低，因為在大多數(shù)基于消失點標(biāo)定的方法中，相機(jī)中的方位角元素是通過單個圖像的消失點來校準(zhǔn)的，而傳統(tǒng)的消失點標(biāo)定算法需要三組場景中相互正交的平行線。然而，由于噪聲等因素的影響，它在實際應(yīng)用中常常受到限制。相機(jī)的內(nèi)部參數(shù)和失真參數(shù)是相機(jī)的固有參數(shù)，出廠后通常是固定的。因此，許多制造商現(xiàn)在直接提供相機(jī)的內(nèi)部出廠時的參數(shù)。同時，隨著相機(jī)設(shè)計的內(nèi)部優(yōu)化，其失真控制越來越好。這也是內(nèi)部參數(shù)標(biāo)定算法研究和更新緩慢的原因！

2）外參求解

從數(shù)據(jù)選擇方法來看，可分為手動標(biāo)定解決方案和自動標(biāo)定解決方案。手動標(biāo)定是早期開發(fā)和使用的第一種標(biāo)定方法，它以其簡單有效的操作和高精度而深受標(biāo)定人員的喜愛。然而，隨著科學(xué)技術(shù)的發(fā)展，圖像和點云中的數(shù)據(jù)量巨大，導(dǎo)致勞動力成本急劇增加。單一的手動標(biāo)定已不能滿足人們對速度、自動化和魯棒性的需求，自動標(biāo)定已應(yīng)運而生，如圖15所示，激光雷達(dá)中相機(jī)的外部參數(shù)根據(jù)不同的原理進(jìn)行標(biāo)定！

手動外部參數(shù)標(biāo)定

對于相機(jī)激光雷達(dá)外部參數(shù)標(biāo)定，校準(zhǔn)對象可以提供準(zhǔn)確的幾何尺寸信息，手動操作可以提供準(zhǔn)確匹配信息。最常用的方法是使用棋盤來確定一系列用于校準(zhǔn)的3D點對。例如，Dhall[36]等人手動選擇3D點并使用最小二乘法解決問題，Scaramuzza[37]等人提出了一種快速標(biāo)定方法，該方法不依賴于標(biāo)定對象，而是基于點特征。作者從相機(jī)圖像和激光雷達(dá)點云中手動選擇一系列具有不連續(xù)深度的對應(yīng)點來解決問題。手動camera-激光雷達(dá)有多種標(biāo)定方法。不同的方法在不同的具體應(yīng)用場景中達(dá)到了高精度，對于需要實時在線標(biāo)定的系統(tǒng)，手動標(biāo)定的主要問題是過度依賴人工操作，以及特殊的標(biāo)定對象，這嚴(yán)重降低了自主性和智能性。

自動外部參數(shù)標(biāo)定

隨著智能應(yīng)用的迫切需求，近十年來誕生了大量相機(jī)激光雷達(dá)外部參數(shù)的自動標(biāo)定方法。這些方法分為基于特征匹配的方法、基于互信息的方法，基于運動的方法和基于深度學(xué)習(xí)的方法。
a） 基于特征匹配的標(biāo)定方法
基于特征匹配的方法通過選擇特征點并基于標(biāo)定板獲得上述兩個系統(tǒng)中特征點的坐標(biāo)，根據(jù)特征匹配，直接獲得激光雷達(dá)坐標(biāo)系與相機(jī)像素坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，然后通過求解標(biāo)定矩陣轉(zhuǎn)換方程或使用監(jiān)督學(xué)習(xí)等方法來計算轉(zhuǎn)換矩陣以及內(nèi)部和外部參數(shù)，目前基于激光雷達(dá)點云邊緣提取的特征匹配方法主要分為間接法和直接法兩種。
間接法：大多數(shù)方法將激光雷達(dá)點轉(zhuǎn)換為圖像，然后執(zhí)行邊緣提取。Wang等人[39]使用Canny算法提取圖像的邊緣，并使用邊界檢測器從3D激光雷達(dá)點云生成距離圖像，建立點云數(shù)據(jù)和距離圖像之間的對應(yīng)關(guān)系。通過像素對應(yīng)合并2D圖像和3D點云數(shù)據(jù)，以獲得具有3D信息的邊緣圖像。通常，相機(jī)的分辨率和點云是不同的，這種方法可能會引入一些錯誤。
直接法：在圖像中，灰度值突然變化的地方形成了圖像的邊緣，這種變化稱為圖像梯度。基于圖像邊緣的特征，Xia等人[40]提出了3D點云梯度的概念，然后基于用于快速邊緣提取的激光雷達(dá)點云。該擬合方法可以提取更多的邊緣特征，具有較高的精度，并且對點的密度不敏感。
b） 基于互信息的標(biāo)定方法
基于互信息的方法的主要思想是在相機(jī)圖像和激光雷達(dá)點云中找到相關(guān)變量。通過計算相機(jī)圖像的灰度值與相關(guān)變量（例如激光雷達(dá)的反射率或激光雷達(dá)反射的角度）之間的相互信息，然后最大化互信息以優(yōu)化校準(zhǔn)外部參數(shù)。Pandney等人[41]認(rèn)為，激光雷達(dá)點云的反射率與相機(jī)圖像的灰度值之間存在很強(qiáng)的相關(guān)性，通過核密度估計方法計算反射率和灰度值的概率。最后，通過Barzilai-Borwein最速下降法計算互信息并優(yōu)化外部參數(shù)。Taylor等人[42]認(rèn)為，與相機(jī)圖像點對應(yīng)的3D點的法線與相機(jī)之間的角度將影響反射強(qiáng)度，通過計算激光雷達(dá)點云的反射率和對應(yīng)于相機(jī)圖像點的上述角度之間的相互信息來執(zhí)行校準(zhǔn)。可以看出，當(dāng)兩個傳感器執(zhí)行緊密的數(shù)據(jù)融合時，兩個傳感器之間的精確外部參數(shù)尤為重要。由于激光雷達(dá)點云的稀疏性，無法直接提取散射在校準(zhǔn)板角落的激光雷達(dá)點，這將帶來更大的誤差，也將導(dǎo)致精確的拐角計算。因此，基于直接提取的反射強(qiáng)度特征點的激光雷達(dá)相機(jī)外部標(biāo)定方法可以有效地補(bǔ)償這一問題。然而，基于互信息的方法的效果與傳感器所在環(huán)境中目標(biāo)物體的材料和反射率有關(guān)，并且容易受到諸如光照條件和天氣變化等因素的干擾。
c） 基于運動的標(biāo)定方法
基于運動的方法通常從連續(xù)運動數(shù)據(jù)或多視圖數(shù)據(jù)中求解外部參數(shù)。首先，分別計算相機(jī)和激光雷達(dá)的運動，然后通過手眼標(biāo)定來解決相機(jī)和激光雷達(dá)的直接外部參數(shù)。Taylor[43]等人提出了一套標(biāo)定方法，可應(yīng)用于由激光雷達(dá)、相機(jī)和導(dǎo)航傳感器組成的任何系統(tǒng)。作者首先登記每個傳感器的連續(xù)幀，然后使用連接以校準(zhǔn)外部參數(shù)。Ishikawa[44]等人使用KLT跟蹤器跟蹤激光雷達(dá)在圖像平面上的投影點，并通過投影誤差不斷優(yōu)化缺少3D比例的平移向量，取得了比泰勒更準(zhǔn)確的結(jié)果。趙[45]使用相機(jī)的前后幀圖像重建城市場景3D并計算姿態(tài)變化，并計算激光雷達(dá)點云的前后幀ICP，以獲得點云的空間變化。同時，有許多研究通過關(guān)鍵幀和運動恢復(fù)結(jié)構(gòu)等技術(shù)實現(xiàn)了無人機(jī)和激光雷達(dá)點云上的圖像配準(zhǔn)。例如，Nedevschi等人[46]使用特征匹配來檢測車輛行駛過程中傳感器的偏移。該方法通過對圖像執(zhí)行距離變換來找到圖像中的邊緣，同時，將激光雷達(dá)點云轉(zhuǎn)換為距離圖像。根據(jù)邊緣信息建立目標(biāo)函數(shù)。該方法可以消除車輛運動過程中產(chǎn)生的漂移，并自動調(diào)整外部參數(shù)。
可以看出，基于運動的方法適合于求解標(biāo)定參數(shù)和大規(guī)模場景的初始值。但是基于運動的方法的主要缺點是單眼相機(jī)的運動缺乏3D尺度信息，而且在姿態(tài)估計和數(shù)據(jù)本身之間存在很大的誤差，準(zhǔn)確度需要突破。由于可以通過立體視覺恢復(fù)比例問題，因此大大簡化了標(biāo)定問題，因此，這種方法更適用于立體攝像機(jī)。
d） 基于深度學(xué)習(xí)的校準(zhǔn)方法
隨著近年來深度學(xué)習(xí)的快速發(fā)展。自動駕駛中的各種感知任務(wù)可以通過深度學(xué)習(xí)實現(xiàn)并表現(xiàn)良好，激光雷達(dá)和攝像頭的外部參數(shù)標(biāo)定也可以通過神經(jīng)網(wǎng)絡(luò)進(jìn)行預(yù)測。Schneider[47]等人提出了第一種將深度學(xué)習(xí)應(yīng)用于標(biāo)定問題的方法，通過RegNet神經(jīng)網(wǎng)絡(luò)分別提取相機(jī)圖像和激光雷達(dá)點云，然后進(jìn)行回歸。Ganesh Iyer[48]和其他人設(shè)計了一個幾何監(jiān)督的深度網(wǎng)絡(luò)，可以實時自動估計3D LiDAR和2D相機(jī)之間的6-DoF剛體變換。其中，CalibNet減少了對校準(zhǔn)目標(biāo)的需求，從而大大節(jié)省了校準(zhǔn)工作。最近，Kaiwen Yuan等人[49]提出了一種基于RGGNet的激光雷達(dá)相機(jī)標(biāo)定方法。該方法考慮黎曼幾何，并使用深度生成模型學(xué)習(xí)隱式公差模型。該方法既考慮了標(biāo)定誤差，又考慮了誤差范圍內(nèi)的公差，取得了較好的標(biāo)定效果。對于深度神經(jīng)網(wǎng)絡(luò)，不需要預(yù)先提取圖像和激光雷達(dá)點云的特征來建立兩個數(shù)據(jù)的映射和連接。相反，它直接交給神經(jīng)網(wǎng)絡(luò)中的節(jié)點，以找到潛在的關(guān)系。對于標(biāo)定問題，監(jiān)督學(xué)習(xí)顯然是不夠的。很難直接獲得外部參數(shù)的真實值，并且很難提供可靠且可觀的訓(xùn)練集。因此，無監(jiān)督學(xué)習(xí)或半監(jiān)督學(xué)習(xí)更適合于外部參數(shù)標(biāo)定問題。然而，現(xiàn)有算法對使用條件要求更高，大量的訓(xùn)練是巨大的計算量，而泛化能力亟待提高。

審核編輯：郭婷