作者:薛光輝、李瑞雪、張鉦昊、劉睿
來(lái)源:信息與控制
00 摘要
SLAM算法是移動(dòng)機(jī)器人實(shí)現(xiàn)自主移動(dòng)的關(guān)鍵環(huán)節(jié)。激光雷達(dá)(LiDAR)具有測(cè)距精度高、不易受外部干擾和地圖構(gòu)建直觀方便等優(yōu)點(diǎn),廣泛應(yīng)用于大型復(fù)雜室內(nèi)外場(chǎng)景地圖的構(gòu)建。隨著3D激光器的應(yīng)用與普及,國(guó)內(nèi)外學(xué)者圍繞基于3D激光雷達(dá)的SLAM算法的研究已取得豐碩的成果。
本文梳理了3D激光SLAM算法在前端數(shù)據(jù)關(guān)聯(lián)、后端優(yōu)化等環(huán)節(jié)的國(guó)內(nèi)外研究現(xiàn)狀,分析總結(jié)了目前各種3D激光SLAM算法以及改進(jìn)方案的原理和優(yōu)缺點(diǎn),闡述了深度學(xué)習(xí)和多傳感器融合理論與技術(shù)在3D激光SLAM算法中的應(yīng)用情況,指出多源信息融合、與深度學(xué)習(xí)結(jié)合、應(yīng)用場(chǎng)景的魯棒性、SLAM算法通用框架及移動(dòng)傳感器和無(wú)線信號(hào)體制的技術(shù)滲透是3D激光SLAM算法的研究熱點(diǎn)和發(fā)展趨勢(shì)。
研究成果對(duì)3D激光SLAM算法和未知環(huán)境中移動(dòng)機(jī)器人即時(shí)定位和地圖構(gòu)建的研究具有重要的參考價(jià)值和指導(dǎo)意義。
01 引言
SLAM算法的經(jīng)典框架包括前端數(shù)據(jù)關(guān)聯(lián)和后端優(yōu)化兩部分,如圖1所示。前端依據(jù)激光雷達(dá)測(cè)得的點(diǎn)云數(shù)據(jù),通過(guò)掃描匹配進(jìn)行幀間配準(zhǔn),閉環(huán)檢測(cè)以獲得不同幀間點(diǎn)云數(shù)據(jù)的關(guān)系,不斷更新位置估計(jì),并存儲(chǔ)相應(yīng)的地圖信息;后端通過(guò)維護(hù)和優(yōu)化前端得到的機(jī)器人位姿和觀測(cè)約束,得到所構(gòu)建地圖的最大似然估計(jì)與機(jī)器人當(dāng)前位姿。
圖1 激光SLAM算法框架
根據(jù)所用傳感器,SLAM算法大致分為基于視覺(jué)傳感器的視覺(jué)SLAM算法和基于激光雷達(dá)的激光SLAM算法兩種。與視覺(jué)傳感器相比,激光雷達(dá)具有測(cè)距精度高、不易受光照與視角變化等外部干擾和地圖構(gòu)建直觀方便等優(yōu)點(diǎn),廣泛應(yīng)用于大型復(fù)雜室內(nèi)外場(chǎng)景地圖的構(gòu)建。
激光雷達(dá)按照激光線數(shù)不同分為2D激光雷達(dá)和3D激光雷達(dá)。目前2D激光SLAM技術(shù)發(fā)展較為成熟,已在服務(wù)機(jī)器人和工業(yè)現(xiàn)場(chǎng)得到了應(yīng)用。
2D激光雷達(dá)同時(shí)發(fā)射和接受單線的激光,其結(jié)構(gòu)簡(jiǎn)單、掃描速度高、角度分辨率高,功耗低且精度可達(dá)厘米級(jí),但受限于平面環(huán)境而無(wú)法適用于全地形環(huán)境,在有起伏或者存在坡道等場(chǎng)景就不能實(shí)現(xiàn)定位和地圖構(gòu)建。
3D激光雷達(dá)通過(guò)發(fā)射多束激光測(cè)量其與未知環(huán)境中物體的幾何信息,獲取包含精準(zhǔn)的距離和角度信息的點(diǎn)云數(shù)據(jù),體現(xiàn)3維空間結(jié)構(gòu)信息,而且線數(shù)越多獲得的激光點(diǎn)個(gè)數(shù)越多,對(duì)環(huán)境結(jié)構(gòu)的描述也更清晰。
隨著多線激光雷達(dá)的量產(chǎn)和普及,以及嵌入式處理器功耗降低和算力增強(qiáng),3D激光雷達(dá)開始走向低成本、低功耗和高可靠性的應(yīng)用,基于3D激光雷達(dá)的SLAM算法得到了迅猛的發(fā)展。
ZHANG等于2014年提出的LOAM(LiDAR odometry and mapping)算法是目前最具代表性的3D激光SLAM算法。其原理是將激光SLAM分成里程計(jì)算法和地圖構(gòu)建算法,具有速度快、精度高、魯棒性好以及計(jì)算消耗小等優(yōu)點(diǎn);缺點(diǎn)是沒(méi)有閉環(huán)檢測(cè),大規(guī)模測(cè)試中會(huì)出現(xiàn)漂移,在空曠環(huán)境下會(huì)因特征缺少而出現(xiàn)退化問(wèn)題。SHAN等優(yōu)化了LOAM的特征匹配,增加了閉環(huán)檢測(cè),提出了LeGO-LOAM,運(yùn)行時(shí)間比LOAM算法減少了一個(gè)數(shù)量級(jí),在占用計(jì)算資源減少的情況下實(shí)現(xiàn)了相似甚至更好的精度,但有時(shí)會(huì)出現(xiàn)錯(cuò)誤或識(shí)別遺漏。有學(xué)者使用Eigen線性迭代和Ceres Solver非線性優(yōu)化簡(jiǎn)化了代碼結(jié)構(gòu),減少了復(fù)雜的數(shù)學(xué)推導(dǎo)和冗余操作,提出了LOAM的高級(jí)實(shí)現(xiàn)A-LOAM。
此外,DESCHAND等提出了一個(gè)幀到模型的匹配框架IMLS-SLAM,引入隱式移動(dòng)最小二乘(IMLS)表面公式,采用最小化點(diǎn)到隱式表面距離的方法表示局域激光雷達(dá)的掃描點(diǎn),從而提供了準(zhǔn)確的姿態(tài)估計(jì),但不能實(shí)時(shí)實(shí)現(xiàn)。作為一種典型的密集方法,BEHLEY等提出了基于面元的地圖進(jìn)行配準(zhǔn)和閉環(huán)檢測(cè)的SuMa(surfel-based mapping)算法,對(duì)于缺失特征或缺失數(shù)據(jù)更具魯棒性,僅基于激光點(diǎn)云數(shù)據(jù)就可以建立大規(guī)模環(huán)境下的全局一致性地圖。
現(xiàn)有的3D激光雷達(dá)SLAM算法研究在公開數(shù)據(jù)集測(cè)試中表現(xiàn)出了良好的性能,平移或旋轉(zhuǎn)的漂移較低,圖像質(zhì)量和軌跡的精度較高,但在實(shí)際應(yīng)用中仍存在較多局限性:包括對(duì)環(huán)境的魯棒性,例如從室內(nèi)到室外或者從靜態(tài)環(huán)境到動(dòng)態(tài)環(huán)境;對(duì)實(shí)時(shí)性的要求,例如在一些無(wú)人地面車輛(UGV)等機(jī)器人平臺(tái)上,計(jì)算資源有限,而計(jì)算單元需要同時(shí)進(jìn)行定位和路徑規(guī)劃,計(jì)算成本較高等。
已有學(xué)者總結(jié)了SLAM的相關(guān)工作,描述了SLAM的一般問(wèn)題、模型及框架、難點(diǎn)和主要方法,回顧了相關(guān)工作進(jìn)展,并且討論了SLAM的發(fā)展趨勢(shì),其中關(guān)于算法的進(jìn)展多介紹視覺(jué)SLAM算法或SLAM算法的特定方面或其子領(lǐng)域,涉及3D激光雷達(dá)SLAM算法綜述研究較少。周治國(guó)等概述了3D激光雷達(dá)SLAM算法框架和關(guān)鍵模塊,但是對(duì)于算法方案的介紹只選取了6種開源算法進(jìn)行測(cè)試對(duì)比,并未詳細(xì)展開。XU等介紹了基于3D激光雷達(dá)的多傳感器融合SLAM的發(fā)展過(guò)程和最新的研究工作。
本文從3D激光SLAM算法的前端、后端,深度學(xué)習(xí)和多傳感器融合在3D激光SLAM中的應(yīng)用等方面,系統(tǒng)闡述現(xiàn)在主流的3D激光SLAM算法方案,探討目前主流3D激光SLAM算法存在的問(wèn)題和不足,總結(jié)其研究熱點(diǎn)和發(fā)展趨勢(shì),以期為其后續(xù)研究提供借鑒和指導(dǎo)。
02 SLAM前端
3D激光SLAM算法的前端主要解決數(shù)據(jù)關(guān)聯(lián)的問(wèn)題,掃描匹配考慮局部數(shù)據(jù)關(guān)系,而閉環(huán)檢測(cè)則處理全局?jǐn)?shù)據(jù)關(guān)系;掃描匹配與閉環(huán)檢測(cè)都是根據(jù)激光幀數(shù)據(jù)建立節(jié)點(diǎn)間的約束。
2.1 掃描匹配算法
掃描匹配算法的精度和計(jì)算效率直接影響著SLAM算法軌跡估計(jì)和地圖構(gòu)建的準(zhǔn)確性,為后端優(yōu)化提供機(jī)器人狀態(tài)的初始值與約束關(guān)系,大致分為基于迭代最近點(diǎn)(ICP)的、基于幾何特征的及基于數(shù)學(xué)特征的匹配算法。
1) 基于ICP的匹配算法
經(jīng)典ICP算法是1992年BESL等和CHEN等提出的。其原理為以距離誤差最小為目標(biāo)函數(shù),通過(guò)迭代的方式尋找相鄰掃描幀兩掃描點(diǎn)間的最佳變換關(guān)系。該算法易陷入局部最優(yōu),且當(dāng)掃描點(diǎn)數(shù)增多時(shí),計(jì)算成本過(guò)高。
為了解決經(jīng)典ICP算法易陷入局部最優(yōu)的問(wèn)題,提高效率和準(zhǔn)確性,許多學(xué)者研究了基于ICP的改進(jìn)算法,優(yōu)化了ICP算法的步驟,包括點(diǎn)的選擇、匹配、加權(quán)和剔除錯(cuò)誤關(guān)聯(lián),或者最小化成本函數(shù)的選擇。其中適合3D激光雷達(dá)SLAM的算法有PP-ICP(point-to-plane ICP)、PL-ICP(point-to-line ICP)、GICP(generalized ICP)、NICP(normal ICP)等。PP-ICP算法的誤差代價(jià)為點(diǎn)對(duì)面的距離;而PL-ICP算法利用點(diǎn)到線的距離作為誤差代價(jià),更符合實(shí)際情況;GICP將ICP算法和PL-ICP算法相結(jié)合,在概率框架下進(jìn)行點(diǎn)云配準(zhǔn),提高了適用性和精確度;為提高精度,NICP則考慮了環(huán)境曲面的法向量和曲率。
IMLS-ICP為每個(gè)點(diǎn)分配一個(gè)權(quán)重值,選擇具有代表性的點(diǎn)匹配;利用基于目標(biāo)點(diǎn)的局部曲面法線,采用IMLS法重建曲面。BLAM通過(guò)GICP算法初步計(jì)算兩幀點(diǎn)云數(shù)據(jù)的位姿變換,獲取當(dāng)前幀對(duì)應(yīng)的最近點(diǎn),并再次利用GICP算法得到精確的位姿數(shù)據(jù),執(zhí)行閉環(huán)檢測(cè)得到地圖,提高了建圖精度。LiTAMIN算法將對(duì)稱的K-L(Kullback-Leibler)散度引入到反映兩個(gè)概率分布之間差異的ICP代價(jià)函數(shù)中,減少了點(diǎn)云配準(zhǔn)的點(diǎn)數(shù),提高了處理速度;使用K-D tree(K-dimension tree)的觀點(diǎn)構(gòu)建體素網(wǎng)格地圖,保持配準(zhǔn)精度的同時(shí),提高了算法的準(zhǔn)確性、魯棒性。然而實(shí)現(xiàn)收斂所需的大量迭代、對(duì)良好初始化的要求以及對(duì)噪聲的敏感性仍限制了ICP及其變體算法;而且應(yīng)用原始點(diǎn)云匹配的計(jì)算成本通常很高。
2) 基于幾何特征的匹配算法
基于幾何特征的掃描算法主要利用邊緣和平面特征,并保持邊緣和平面的匹配,如圖2所示。LOAM基于局部平滑度提取當(dāng)前幀和匹配幀的邊緣和平面特征,并將當(dāng)前點(diǎn)云中的點(diǎn)與地圖中的邊緣和平面進(jìn)行匹配。還有許多研究擴(kuò)展了基于幾何特征的匹配算法以實(shí)現(xiàn)更好的性能,例如LeGO-LOAM在特征提取之前利用分離地面優(yōu)化,算法軟件系統(tǒng)框圖如圖3所示。R-LOAM(reference LOAM)結(jié)合參考對(duì)象提取的網(wǎng)格特征,有效減少了長(zhǎng)期漂移,但對(duì)3維網(wǎng)格和參考對(duì)象定位精度有較高要求。由于不需要點(diǎn)云轉(zhuǎn)換關(guān)系的先驗(yàn)信息,利用了特定形狀的幾何特征迭代求解,基于幾何特征的匹配算法計(jì)算量大大減少,實(shí)時(shí)性較好,匹配精度高,被廣泛應(yīng)用;缺點(diǎn)是當(dāng)環(huán)境中的幾何特征不明顯時(shí),結(jié)果可能會(huì)不準(zhǔn)確、不穩(wěn)定。
圖2 特征掃描匹配
圖3 LeGO-LOAM算法系統(tǒng)框圖
面元(Surfel)是一種基于點(diǎn)的渲染方法,用點(diǎn)云而非多邊形網(wǎng)格來(lái)渲染3維形狀,但是需要GPU處理。DROESCHEL等利用面元特征,將連續(xù)的3D激光掃描與增量構(gòu)建的多分辨率柵格地圖配準(zhǔn);為實(shí)現(xiàn)測(cè)量稀疏和網(wǎng)格離散化情況下的準(zhǔn)確性,在高斯混合模型中以概率方式分配面元,提高算法的準(zhǔn)確性和效率。參照視覺(jué)SLAM中Elastic-Fusion的處理方式,包括SuMa,Elastic-LiDAR Fusion將激光雷達(dá)點(diǎn)云數(shù)據(jù)的形狀近似為面元,利用面元特征實(shí)現(xiàn)激光里程計(jì)。SuMa算法的軟件系統(tǒng)框圖如圖4所示。
圖4 SuMa算法系統(tǒng)框圖
3) 基于數(shù)學(xué)特征的匹配算法 基于數(shù)學(xué)特征的匹配算法是使用各種數(shù)學(xué)性質(zhì)來(lái)表征掃描數(shù)據(jù)和數(shù)據(jù)幀姿態(tài)變化的掃描匹配方法,具有代表性的有基于正態(tài)分布變換(NDT)的匹配算法,NDT算法是一種快速空間建模技術(shù),用以建立精簡(jiǎn)的目標(biāo)3維點(diǎn)云模型。
2003年,BIBER等提出了基于正態(tài)分布變換函數(shù)的點(diǎn)云配準(zhǔn)2D-NDT(2-dimension NDT)算法并成功應(yīng)用于SLAM中。其在配準(zhǔn)的過(guò)程中利用正態(tài)分布表示關(guān)鍵幀,得到全局姿態(tài)的集合。對(duì)于大量的點(diǎn)云數(shù)據(jù),NDT算法比ICP算法配準(zhǔn)速度快,但配準(zhǔn)精度不如ICP算法高。2006年,MAGNUSSON等提出了3D-NDT(3-dimension NDT)算法,并不斷加以改進(jìn),使之更適用于激光雷達(dá)點(diǎn)云數(shù)據(jù)的配準(zhǔn)。ONDT(occupancy NDT)算法研究了多維正態(tài)分布變換的地圖表示,相較于OctoMap和NDT-OM(normal distributions transform occupancy mapping)等3D地圖表示,在內(nèi)存消耗較低情況下,準(zhǔn)確性較高且運(yùn)行速度快。RGC-NDT(regional growth clustering normal distribution transformation)算法使用聚類算法捕獲細(xì)節(jié)自然特征,相比傳統(tǒng)NDT算法,匹配準(zhǔn)確度提高1.18倍,且匹配耗時(shí)僅為其1/3。2021年,KOIDE等結(jié)合NDT和類ICP算法的優(yōu)勢(shì)提出了VGICP(voxelized GICP)算法,通過(guò)體素化的方法擴(kuò)展GICP算法,避免了高代價(jià)的最近鄰搜索,能夠快速準(zhǔn)確地實(shí)現(xiàn)3維激光點(diǎn)云配準(zhǔn)。
2.2 閉環(huán)檢測(cè)
SLAM前端的近似計(jì)算和后端的漸近建圖都會(huì)因傳感器的信息偏差而產(chǎn)生計(jì)算誤差,并且會(huì)不斷累積。閉環(huán)檢測(cè)則是避免誤差過(guò)多累積的關(guān)鍵模塊,如實(shí)際閉環(huán)被正確檢出,則可大大減少相應(yīng)兩個(gè)時(shí)刻位姿等信息的估計(jì)誤差,進(jìn)而校正全局相關(guān)時(shí)刻位姿和地圖信息的誤差;如誤判實(shí)際相距較遠(yuǎn)位置所得的兩組點(diǎn)云為閉環(huán),則可能導(dǎo)致全局位姿和地圖信息的近似計(jì)算出現(xiàn)較大偏差,甚至導(dǎo)致約束信息不一致而不可解。更加緊湊、準(zhǔn)確的閉環(huán)約束最終可以形成拓?fù)湟恢碌能壽E地圖,其準(zhǔn)確性和效率對(duì)SLAM均很關(guān)鍵,過(guò)程如圖5所示。由于3D激光點(diǎn)云數(shù)據(jù)信息單一、無(wú)序且較稀疏,隨著點(diǎn)云匹配的時(shí)間增長(zhǎng),SLAM往往會(huì)出現(xiàn)軌跡不準(zhǔn)確、構(gòu)建地圖重疊等問(wèn)題。但是目前,閉環(huán)檢測(cè)仍然沒(méi)有廣泛認(rèn)可的最佳解決方案。
圖5 閉環(huán)檢測(cè)(綠色為當(dāng)前幀點(diǎn)云,紅色為歷史回環(huán)幀點(diǎn)云)
OLSON通過(guò)旋轉(zhuǎn)和平移判斷兩幀激光數(shù)據(jù)的相似性,采用相關(guān)性掃描匹配的方法達(dá)到閉環(huán)檢測(cè)的效果。LeGO-LOAM則利用ICP算法結(jié)合歐氏距離進(jìn)行閉環(huán)檢測(cè)。然而,這類簡(jiǎn)單的利用幾何估計(jì)的策略由于前端里程計(jì)的累積漂移誤差較大,可能導(dǎo)致在大規(guī)模環(huán)境中無(wú)法有效地進(jìn)行閉環(huán)檢測(cè)。
除兩組點(diǎn)云點(diǎn)對(duì)點(diǎn)的直接匹配,另一種方法是用幾何信息、強(qiáng)度信息或者其他來(lái)構(gòu)造描述符,再通過(guò)比較描述符衡量相似度,有基于手工設(shè)計(jì)和基于深度學(xué)習(xí)兩種方法。前者可以直接處理3維點(diǎn)云,包括基于局部的描述符、基于全局的描述符和基于混合的描述符;后者需要將3維點(diǎn)云表示成深度學(xué)習(xí)可處理的格式,如預(yù)處理為結(jié)構(gòu)化的、固定大小的表示形式。有效提取具有鑒別能力和魯棒性的特征描述符也是學(xué)者關(guān)注和研究的問(wèn)題之一。
局部描述符是從每個(gè)關(guān)鍵點(diǎn)位置提取,并基于詞袋模型進(jìn)行場(chǎng)景匹配,提高了匹配能力和魯棒性。許多關(guān)鍵點(diǎn)檢測(cè)的方法被提出,如3DSift(3-dimensional sift)、3DHarris(3-dimensional Harris)、3D-SURF、 ISSs(intrinsic shape signatures)及局部描述符如SHOT(signature of histogram of orientation)、B-SHOT (binary signature of histogram of orientation)、ISHOT(intensity signature of histogram of orientation)和FPFH(fast point feature histogram)。
局部描述符對(duì)激光點(diǎn)云的稀疏和不連續(xù)特征魯棒性不足,忽略了局部特征之間的關(guān)系;通常需要大量的局部幾何計(jì)算,而全局描述符更擅長(zhǎng)檢測(cè)具有高重復(fù)性的關(guān)鍵點(diǎn),在全局點(diǎn)云中進(jìn)行匹配。M2DP(multiview 2D projection)將點(diǎn)云投影到多個(gè)2維平面中,并為每個(gè)平面的點(diǎn)生成一個(gè)密度簽名,這些簽名的左右奇異向量被用作全局描述符。基于幾何關(guān)系的平移和旋轉(zhuǎn)不變的3D描述符,GLAROT-3D(geometric landmark relations rotation-invariant 3D)將關(guān)鍵點(diǎn)對(duì)的相對(duì)幾何位置編碼成直方圖。Scan Context方法則利用存儲(chǔ)高度值的2維矩陣格式的數(shù)據(jù)作為描述符;還提出了融合相似度評(píng)分和最近鄰搜索以實(shí)現(xiàn)快速的搜索以及采用兩階搜索算法檢測(cè)回環(huán)。
通過(guò)集成幾何和強(qiáng)度特征,WANG等提出了一種兩階段的分層位置重識(shí)別策略ISC(intensity scan context)以提高效率,包括基于二元運(yùn)算的快速幾何檢索和強(qiáng)度結(jié)構(gòu)匹配。受啟發(fā)于人類虹膜,LiDAR Iris將環(huán)境的高度信息編碼為像素強(qiáng)度并提取一個(gè)用以判別的二值特征圖像,使用對(duì)應(yīng)圖像的漢明距離計(jì)算相似度。將點(diǎn)云分割成不同的對(duì)象,Seed將分割對(duì)象的拓?fù)湫畔⒕幋a到全局描述符中。這些方法將幾何結(jié)構(gòu)編碼為描述符并取得了良好的效果,但是目前激光的全局或者局部描述子的描述能力和旋轉(zhuǎn)不變性能仍然有所欠缺,集成更高級(jí)的特征可以進(jìn)一步增強(qiáng)描述符的鑒別能力。
基于混合的描述符如SegMatch(segment matc-hing)和SegMap(segment mapping)將一個(gè)點(diǎn)云聚為多個(gè)段,并提取片段特征,使用KNN(K-nearest neighbour)算法來(lái)識(shí)別對(duì)應(yīng)物,結(jié)合局部描述和全局描述的優(yōu)勢(shì)解決了點(diǎn)云數(shù)據(jù)稀疏、形式單一的問(wèn)題。SegMap描述符解決了實(shí)時(shí)單一和多機(jī)器人系統(tǒng)的數(shù)據(jù)壓縮要求,也可以用于密集環(huán)境的三維地圖重建和語(yǔ)義信息提取,用于導(dǎo)航任務(wù)和面向機(jī)器人操作員等最終用戶的視覺(jué)反饋。SegGraph (segment graphing)在分割點(diǎn)云后以邊匹配為主要依據(jù),基于K-公共子圖判定方法實(shí)現(xiàn)閉環(huán)檢測(cè)。
03 SLAM后端
3D激光SLAM算法中,后端優(yōu)化的目的是將各幀雷達(dá)的位姿和幀間運(yùn)動(dòng)約束綜合起來(lái)達(dá)到整體優(yōu)化,以消除局部累計(jì)誤差,并根據(jù)前端提供的數(shù)據(jù)生成環(huán)境地圖估計(jì),主要有濾波和非線性優(yōu)化兩種思路:濾波主要采用擴(kuò)展卡爾曼濾波獲得最優(yōu)估計(jì),存在適應(yīng)性差、缺少回環(huán)檢測(cè)、更新效率慢等問(wèn)題,難以在回環(huán)多、距離長(zhǎng)的大規(guī)模環(huán)境中應(yīng)用;非線性優(yōu)化方案以圖優(yōu)化為代表,進(jìn)行全局優(yōu)化,把所有數(shù)據(jù)都考慮進(jìn)來(lái),雖然會(huì)增大計(jì)算量,但融合精度較高。后端優(yōu)化前后對(duì)比如圖6所示,如何高效地通過(guò)后端優(yōu)化來(lái)修正運(yùn)動(dòng)位姿和提高地圖精度是SLAM算法的研究熱點(diǎn)。
圖6 后端優(yōu)化前后對(duì)比
3.1 基于濾波估計(jì)的SLAM算法
基于濾波理論的SLAM算法主要是利用了貝葉斯估計(jì)的原理,具體可分為基于卡爾曼濾波的SLAM算法和基于粒子濾波的SLAM算法。 基于擴(kuò)展卡爾曼濾波的SLAM算法通過(guò)將非線性的運(yùn)動(dòng)模型和觀測(cè)模型線性化處理進(jìn)而實(shí)現(xiàn)SLAM,此過(guò)程會(huì)引入線性化誤差,魯棒性較差且計(jì)算效率低。JULIER等研究了無(wú)跡卡爾曼濾波方法,對(duì)非線性系統(tǒng)進(jìn)行無(wú)跡變換,其精度比擴(kuò)展卡爾曼濾波方法高。
粒子濾波方法使用一定數(shù)量的、帶有權(quán)重的粒子來(lái)代表狀態(tài)的后驗(yàn)概率分布,可用于非線性非高斯的系統(tǒng)。MURPHY等提出了RBPF(Rao-Blackwellized particle filter)算法,分別使用擴(kuò)展卡爾曼濾波算法和粒子濾波算法來(lái)解決機(jī)器人位置校正和位置估計(jì)問(wèn)題,極大地降低了算法的計(jì)算復(fù)雜度。Fast-SLAM就是基于RBPF的SLAM算法,它提高了地圖精度。GRISETTI等考慮了傳感器信息模型并且采用自適應(yīng)重采樣技術(shù)來(lái)保持合理的粒子種類,并提出了gmapping來(lái)改善粒子退化問(wèn)題,其使用了較以前方法低一個(gè)數(shù)量級(jí)的粒子數(shù)量就生成了高精度地圖,是激光SLAM的一個(gè)里程碑。
3.2 基于非線性優(yōu)化的SLAM算法
圖優(yōu)化算法框架由LU等提出,是目前應(yīng)用最為廣泛的SLAM框架之一。圖優(yōu)化算法框架通過(guò)維護(hù)關(guān)鍵節(jié)點(diǎn)以達(dá)到優(yōu)化的目的,在保證精度的同時(shí)大大降低了計(jì)算量,如圖7所示。基于圖優(yōu)化的算法可以分為基于最小二乘法的優(yōu)化、基于松馳技術(shù)的優(yōu)化、基于隨機(jī)梯度下降法的優(yōu)化和流形優(yōu)化四種。KONOLIGE等提出了用于2維姿態(tài)圖的Karto SLAM開源方案,一定程度上取代了基于濾波理論的SLAM方案,但實(shí)時(shí)性較差。Cartographer融合多傳感器數(shù)據(jù)創(chuàng)建局部子圖,采用子地圖匹配算法進(jìn)行全局優(yōu)化,能夠構(gòu)建2維和3維點(diǎn)云地圖,效率高,魯棒性好,缺點(diǎn)是計(jì)算資源消耗大,在環(huán)境較大、計(jì)算資源不足時(shí)可能出現(xiàn)無(wú)法正常回環(huán)的現(xiàn)象。
圖7 圖優(yōu)化算法框架
針對(duì)非線性優(yōu)化問(wèn)題已經(jīng)存在成熟C++開源庫(kù),如:Goole開源庫(kù)Ceres Solver,基于圖優(yōu)化的開源優(yōu)化庫(kù)有iSAM(incremental smoothing and mapping)、GTSAM(Georgia tech smoothing and mapping)、G20(general graph optimization)、BA(bundle adjustment)等,借助這些優(yōu)化庫(kù)可節(jié)省后端迭代求解優(yōu)化值的時(shí)間。
04 基于深度學(xué)習(xí)的3D激光SLAM算法
基于深度學(xué)習(xí)的方法通過(guò)數(shù)據(jù)驅(qū)動(dòng)的方式學(xué)習(xí),能夠得到比手工設(shè)計(jì)更加精確的模型。SLAM與深度學(xué)習(xí)的結(jié)合主要是將深度學(xué)習(xí)應(yīng)用到傳統(tǒng)SLAM框架的一個(gè)或幾個(gè)環(huán)節(jié),如幀間估計(jì)、閉環(huán)檢測(cè)等,以提高SLAM算法的效率、精度和魯棒性,表1列出了一些實(shí)現(xiàn)幀間估計(jì)、閉環(huán)檢測(cè)的特征學(xué)習(xí)算法;或是語(yǔ)義SLAM中利用深度學(xué)習(xí)提取語(yǔ)義信息、構(gòu)建語(yǔ)義地圖,以提高機(jī)器人的自主理解能力。
后端算法從線性濾波逐步向非線性優(yōu)化發(fā)展,其中因子圖優(yōu)化與滑動(dòng)窗口結(jié)合的方法以其良好的實(shí)時(shí)性和魯棒性,被廣泛應(yīng)用在各類融合定位和建圖系統(tǒng)中。
表1 實(shí)現(xiàn)幀間估計(jì)、閉環(huán)檢測(cè)的特征學(xué)習(xí)算法
4.1 幀間估計(jì)
與前文中基于幾何信息接近策略的掃描匹配算法相比,基于深度學(xué)習(xí)的幀間估計(jì)方法性能卓越。但是由于數(shù)據(jù)稀疏性和計(jì)算成本高,傳統(tǒng)的卷積模型無(wú)法直接應(yīng)用到點(diǎn)云中。總的來(lái)說(shuō),利用深度學(xué)習(xí)實(shí)現(xiàn)幀間估計(jì)的方式有兩種:
1) 基于特征學(xué)習(xí)的點(diǎn)云配準(zhǔn)方法
如GMM(Gaussian mixed model)、3DFeat-Net、FCGF(fully convolutional geometric features)、Siamese-PointNet(Siamese point network)、UGMMReg(unified Gaussian mixture model registration);
2) 基于端到端的深度網(wǎng)絡(luò)模型的點(diǎn)云配準(zhǔn)方法
如DeepGMR(Deep Gaussian mixture registration)、3DRegNet(3D registration network)、MLP_GCN(multilayer perceptron-graph convolutional networks)、IPCR(iterative point cloud registration)。
現(xiàn)有的許多實(shí)驗(yàn)表明,直接應(yīng)用配準(zhǔn)的數(shù)學(xué)理論會(huì)花費(fèi)巨大的計(jì)算時(shí)間,而直接應(yīng)用深度學(xué)習(xí)無(wú)法保證準(zhǔn)確性。直接結(jié)合深度學(xué)習(xí)和ICP仍然需要很高的計(jì)算時(shí)間。將傳統(tǒng)的數(shù)學(xué)理論和深度神經(jīng)網(wǎng)絡(luò)融合到端到端的框架中,以獲得高精度和高效率,是未來(lái)的研究方向。
4.2 閉環(huán)檢測(cè)
傳統(tǒng)的閉環(huán)檢測(cè)大多使用人工選取特征,精確度低、計(jì)算量大。相比于傳統(tǒng)人工設(shè)計(jì)的特征,深度學(xué)習(xí)可以通過(guò)大量的學(xué)習(xí)訓(xùn)練以及合理的網(wǎng)絡(luò)構(gòu)建,高效提取對(duì)分類無(wú)關(guān)因素不敏感且區(qū)分度高的特征。
近年來(lái),基于深度學(xué)習(xí)的閉環(huán)檢測(cè)算法逐漸發(fā)展。PointNetVLAD(PointNet and NetVLAD)利用PointNet提取局部特征,并利用NetVLAD聚合全局特征,從3維點(diǎn)云端到端提取全局描述符。DH3D(deep hierarchical 3D)從原始的3維點(diǎn)云中學(xué)習(xí)局部特征,然后使用注意力機(jī)制將這些特征聚合為全局特征描述符。KOMOROWSKI提出了一種基于替代點(diǎn)云表示和網(wǎng)絡(luò)架構(gòu)的全局點(diǎn)云描述符提取方法—MinkLoc3D。HUI等提出了一種金字塔點(diǎn)云變換器網(wǎng)絡(luò)PPT-Net(pyramid point cloud transformer network),利用金字塔點(diǎn)Transformer模塊來(lái)增強(qiáng)對(duì)局部特征的區(qū)分并生成全局描述符。FastLCD(fast and compact loop closure detection method)直接從原始點(diǎn)云掃描提取多模態(tài)特征,編碼成全局綜合描述符,具有旋轉(zhuǎn)不變性。NDT-Transformer針對(duì)大規(guī)模點(diǎn)云,通過(guò)學(xué)習(xí)輕量級(jí)處理后的NDT單元的全局描述符進(jìn)行閉環(huán)檢測(cè)。ZHOU等提出了一種基于局部3D深度描述符的閉環(huán)檢測(cè)方法,通過(guò)一種新穎的重疊度計(jì)算方法檢測(cè)閉環(huán),實(shí)現(xiàn)了更好的精度。Overlap-Transformer是一個(gè)輕量級(jí)的Transformer神經(jīng)網(wǎng)絡(luò),基于深度圖像構(gòu)造全局描述符進(jìn)行閉環(huán)檢測(cè)。
由于圖像特征描述符(如SIFT(scale invariant feature transform))的驚人性能和高成熟度,基于圖像的閉環(huán)檢測(cè)發(fā)展迅速,然而對(duì)于3維點(diǎn)云數(shù)據(jù)并沒(méi)有相同成熟的類似方法提出,難以從點(diǎn)云中提取局部特征描述符,然后將其編碼為檢索任務(wù)的全局描述符。盡管基于深度學(xué)習(xí)的描述符也有突破結(jié)果,但是其嚴(yán)重局限性是需要大量的訓(xùn)練數(shù)據(jù),當(dāng)訓(xùn)練和應(yīng)用于不同地形或在不同條件下獲得的數(shù)據(jù)時(shí),這些方法并不適用;而且它們通常需要GPU,在保持精度的同時(shí),對(duì)輕量級(jí)網(wǎng)絡(luò)結(jié)構(gòu)的探索以及對(duì)實(shí)時(shí)性能的追求是當(dāng)下的研究熱點(diǎn)。
幾何特征在惡劣環(huán)境下難以保證準(zhǔn)確的閉環(huán)檢測(cè),而語(yǔ)義信息不易受環(huán)境因素的影響,是一種長(zhǎng)期穩(wěn)定的特征。基于語(yǔ)義信息的方法能夠構(gòu)建長(zhǎng)期穩(wěn)定的定位系統(tǒng),實(shí)現(xiàn)閉環(huán)檢測(cè)。GOSMatch(graph-of-semantics matching)利用場(chǎng)景中的語(yǔ)義對(duì)象來(lái)檢測(cè)閉環(huán),通過(guò)編碼語(yǔ)義對(duì)象之間的空間關(guān)系構(gòu)建全局和局部描述符,進(jìn)行閉環(huán)檢測(cè)。LI等提出了一種基于3D激光數(shù)據(jù)的合并語(yǔ)義信息和Scan Context的全局描述符SSC(semantic scan context),并利用3階段檢索方法實(shí)現(xiàn)閉環(huán)檢測(cè)。張劍華等提出一種基于點(diǎn)云片段匹配約束的方法提升回環(huán)檢測(cè)的效率。RINet(rotation invariant neural network)設(shè)計(jì)了結(jié)合語(yǔ)義和幾何特征的旋轉(zhuǎn)等變?nèi)置枋龇岣吡嗣枋瞿芰Γ⑶彝ㄟ^(guò)一個(gè)旋轉(zhuǎn)不變的孿生神經(jīng)網(wǎng)絡(luò)來(lái)預(yù)測(cè)描述符對(duì)的相似性。
4.3 語(yǔ)義分割及語(yǔ)義地圖
不同于傳統(tǒng)SLAM方法以靜態(tài)環(huán)境假設(shè)為前提,語(yǔ)義SLAM可以預(yù)知物體的可移動(dòng)屬性;共享相似物體表示,通過(guò)維護(hù)共享知識(shí)庫(kù)提高了SLAM系統(tǒng)的可擴(kuò)展性和存儲(chǔ)效率;可以應(yīng)對(duì)復(fù)雜場(chǎng)景,實(shí)現(xiàn)智能路徑規(guī)劃。語(yǔ)義SLAM的關(guān)鍵在于對(duì)目標(biāo)物體的精準(zhǔn)識(shí)別,而深度學(xué)習(xí)技術(shù)恰好是當(dāng)前最具潛力和優(yōu)勢(shì)的物體識(shí)別方法,因此深度學(xué)習(xí)和語(yǔ)義SLAM的結(jié)合受到廣泛關(guān)注。語(yǔ)義SLAM研究主要是利用語(yǔ)義信息輔助定位及構(gòu)建語(yǔ)義地圖,通過(guò)語(yǔ)義特征提取、動(dòng)態(tài)物體剔除以提高SLAM算法的魯棒性和定位精度;通過(guò)高級(jí)語(yǔ)義信息為機(jī)器人的人機(jī)交互提供高層次的語(yǔ)義地圖,提高機(jī)器人的自主理解能力。
3維點(diǎn)云的語(yǔ)義場(chǎng)景理解在機(jī)器人和無(wú)人駕駛領(lǐng)域中有著廣泛的應(yīng)用需求,也是目前亟待解決的問(wèn)題,許多基于3維點(diǎn)云的目標(biāo)檢測(cè)和語(yǔ)義分割方法被提出。對(duì)于3維點(diǎn)云的幾何分類、目標(biāo)檢測(cè)和跟蹤以及點(diǎn)云分割包括語(yǔ)義分割、實(shí)例分割等,GUO等作了較為全面的綜述。
由于3維點(diǎn)云的無(wú)序性、稀疏性和非結(jié)構(gòu)化特點(diǎn),為了處理此類非結(jié)構(gòu)化數(shù)據(jù),通常將點(diǎn)云轉(zhuǎn)換為3D體素網(wǎng)格或2D投影的結(jié)構(gòu)化形式,或者直接作用于輸入點(diǎn)云定義一種新操作。開創(chuàng)性工作PointNet利用尺度變換統(tǒng)一3維點(diǎn)云輸入,再通過(guò)Max Pooling操作解決點(diǎn)云無(wú)序性問(wèn)題,可直接利用3維卷積神經(jīng)網(wǎng)絡(luò)對(duì)3維點(diǎn)云進(jìn)行特征提取和語(yǔ)義分割。基于此,PointNet++和PointCNN被提出以分層學(xué)習(xí)深度特征,增強(qiáng)局部模型結(jié)構(gòu)的能力。WANG等提出的圖注意力卷積網(wǎng)絡(luò)GACNet (graph attention convolution network),能夠在點(diǎn)云端到端進(jìn)行結(jié)構(gòu)化特征學(xué)習(xí)。針對(duì)大規(guī)模三維點(diǎn)云,HU等提出了高效且輕量級(jí)的神經(jīng)網(wǎng)絡(luò)架構(gòu)RandLA-Net(random sampling local feature aggregation network);FAN等提出空間上下文特征學(xué)習(xí)模塊以實(shí)現(xiàn)點(diǎn)云語(yǔ)義分割網(wǎng)絡(luò)架構(gòu)SCF-Net(spatial contextual feature network)。LAF-Net(local attention fusion network)則是能夠自適應(yīng)融合低維特征和高維語(yǔ)義信息的局部注意力融合模型。在PointNet++基礎(chǔ)上,DSPNet++(deep scale purifier network++)是基于自注意力機(jī)制的特征提取模塊,直接處理原始點(diǎn)云進(jìn)行端到端的點(diǎn)云分割。
盡管這些基于點(diǎn)的方法直接應(yīng)用于原始點(diǎn)云,不會(huì)丟失任何信息,然而大多數(shù)方法需要采用鄰近搜索機(jī)制,固有地限制了這些方法的效率,且計(jì)算量大,無(wú)法部署在資源受限的設(shè)備上。
基于距離圖像,RangeNet++通過(guò)卷積神經(jīng)網(wǎng)絡(luò)(convolutional neural network,CNN)實(shí)現(xiàn)了語(yǔ)義分割;RangeSeg(range-aware real time segmentation)獲得了準(zhǔn)確的實(shí)例級(jí)分割結(jié)果。為了更好地處理3維點(diǎn)云并克服點(diǎn)密度不均勻和體素化步驟中信息丟失等限制,(AF)2-S3Net設(shè)計(jì)了一個(gè)端到端的編碼器-解碼器3D稀疏CNN。FIDNet(fully interpolation decoding network)設(shè)計(jì)了一種新的基于投影的激光雷達(dá)點(diǎn)云語(yǔ)義分割的神經(jīng)網(wǎng)絡(luò)。為了利用不同視圖的優(yōu)勢(shì),基于多視圖融合方法,RPVNet(range-point-voxel fusion network)設(shè)計(jì)了一種新穎的距離-點(diǎn)-體素融合網(wǎng)絡(luò);Hybrid CNN-LSTM(hybrid convolutional neural network and long short-term memory)結(jié)合了空間上下文和時(shí)間序列信息解決CNN網(wǎng)絡(luò)池化層丟失細(xì)節(jié)的缺點(diǎn),由高效的點(diǎn)云特征處理方法和新穎的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)組成。LIU等提出了解決弱監(jiān)督多任務(wù)3D點(diǎn)云理解的統(tǒng)一框架WeakLabel3D-Net;基于點(diǎn)云局部幾何特征無(wú)監(jiān)督生成聚類,且提出了一種基于學(xué)習(xí)的聚類級(jí)相似性預(yù)測(cè)網(wǎng)絡(luò)。
盡管這些方法實(shí)現(xiàn)了先進(jìn)的性能,然而由于將點(diǎn)云轉(zhuǎn)換為結(jié)構(gòu)化形式的量化存在不可避免的幾何信息丟失,且處理大規(guī)模點(diǎn)云時(shí)將導(dǎo)致消耗大量資源。如何設(shè)計(jì)一個(gè)模型能夠可靠、快速地實(shí)現(xiàn)激光雷達(dá)點(diǎn)云的語(yǔ)義分割仍然是一個(gè)有待解決的問(wèn)題。
在構(gòu)建語(yǔ)義地圖方面,Recurrent-OctoMap算法是融合語(yǔ)義特征的語(yǔ)義映射方法,使用循環(huán)神經(jīng)網(wǎng)絡(luò)及單幀語(yǔ)義檢測(cè),可以靈活地維護(hù)長(zhǎng)期的語(yǔ)義地圖。SuMa++是SuMa算法的擴(kuò)展方法,利用全卷積神經(jīng)網(wǎng)絡(luò)有效提取語(yǔ)義信息,并將語(yǔ)義信息集成到基于面元的地圖表示上。SA-LOAM(semantic-aided LOAM)是基于LOAM的語(yǔ)義輔助激光SLAM算法,利用里程計(jì)和回環(huán)檢測(cè)中的語(yǔ)義信息,提高了定位精度,能有效地進(jìn)行閉環(huán)檢測(cè),在大規(guī)模場(chǎng)景中可構(gòu)造全局一致語(yǔ)義地圖,其在KITTI序列13的語(yǔ)義分割結(jié)果如圖8所示。目前完備的語(yǔ)義輔助激光SLAM系統(tǒng)值得進(jìn)一步的探索和嘗試。
圖8 SA-LOAM在KITTI序列13的語(yǔ)義分割結(jié)果,每種顏色代表不同的語(yǔ)義類別
05 基于多傳感器融合的3D激光SLAM算法
不同傳感器獲取環(huán)境觀測(cè)信息的處理方式不同,單一傳感器都存在著局限性問(wèn)題,表2對(duì)比了單一傳感器優(yōu)缺點(diǎn)。
單一傳感器都無(wú)法獨(dú)立完成所有場(chǎng)景下的全局地圖構(gòu)建,而多傳感器的融合能夠解決單一傳感器的局限性,獲得更精確、高效、適應(yīng)性強(qiáng)的SLAM效果。由于不同模態(tài)傳感器獲取到的數(shù)據(jù),格式不同。多模態(tài)數(shù)據(jù)的處理和增強(qiáng)依然是當(dāng)前基于多傳感器融合的3D激光任務(wù)的關(guān)鍵。
表2 單一傳感器優(yōu)缺點(diǎn)對(duì)比
5.1 激光雷達(dá)與慣性測(cè)量單元融合
激光雷達(dá)和慣性測(cè)量單元(inertial measurement unit,IMU)的融合可以克服激光SLAM過(guò)程中激光雷達(dá)垂直分辨率低、更新速率低以及由運(yùn)動(dòng)引起的失真等問(wèn)題。激光雷達(dá)與IMU的融合有緊耦合和松耦合兩種方式。緊耦合是通過(guò)聯(lián)合優(yōu)化所有測(cè)量數(shù)據(jù)以在復(fù)雜變化的環(huán)境中獲得準(zhǔn)確的位姿估計(jì),但存在計(jì)算量大、實(shí)時(shí)性差等問(wèn)題。松耦合是分別處理每個(gè)傳感器的測(cè)量數(shù)據(jù),再進(jìn)行融合的方式,計(jì)算量小、易于實(shí)現(xiàn),但在定位精度上存在局限性。
HDL-Graph-SLAM算法融合了多種輸入,包括IMU、LiDAR傳感器以及GPS(global positioning system)信息,資源消耗小且精度較高。李帥鑫等提出一種LiDAR/IMU緊耦合的實(shí)時(shí)定位方法Inertial-LOAM,顯著降低連續(xù)配準(zhǔn)誤差造成的誤差累計(jì),提升了定位精度和實(shí)時(shí)性。YE等研究了LiDAR-IMU緊耦合的LIO-mapping算法,建圖精度提高了,但是緊耦合算法復(fù)雜度較高,后期融合其他傳感器較困難。ZHAO等研究了緊耦合激光慣性的LIOM (laser-inertial odometry and mapping)算法,實(shí)現(xiàn)了低漂移、強(qiáng)魯棒性的位姿估計(jì)。在LeGO-LOAM的基礎(chǔ)上,LIO-SAM(LiDAR inertial odometry via smoothing and mapping)應(yīng)用因子圖框架融合了IMU預(yù)積分因子、激光里程計(jì)因子、GPS因子、閉環(huán)檢測(cè)因子,可以得到更好的精度和實(shí)時(shí)性、低漂移。LI等則研究了固態(tài)激光雷達(dá)與IMU的耦合方案,提出了用于實(shí)時(shí)激光慣性里程計(jì)和映射的新型傳感器融合方法LiLi-OM(livox LiDAR odometry and mapping)。
FAST-LIO(fast LiDAR-inertial odometry)緊耦合激光雷達(dá)和IMU測(cè)量,利用快速卡爾曼增益公式將計(jì)算復(fù)雜度從測(cè)量維度降低到狀態(tài)維度,計(jì)算效率顯著提高,但是系統(tǒng)只能在小型環(huán)境中工作。FAST-LIO2繼承了FAST-LIO緊耦合的融合框架,通過(guò)開發(fā)的ikd-tree(incremental k-d tree)數(shù)據(jù)結(jié)構(gòu),計(jì)算量顯著減少,提高了里程計(jì)和地圖繪制的準(zhǔn)確性和魯棒性,算法框圖如圖9所示。在FAST-LIO2的基礎(chǔ)上,F(xiàn)aster-LIO使用增量體素作為點(diǎn)云空間數(shù)據(jù)結(jié)構(gòu),實(shí)現(xiàn)了輕量級(jí)緊耦合激光雷達(dá)慣性里程計(jì),可用于固態(tài)激光雷達(dá)。LINS(LiDAR-inertial-SLAM)算法不同于采用以世界為中心的固定全局幀的狀態(tài)估計(jì)量的緊耦合方法,而使用機(jī)器人中心公式表示移動(dòng)局部幀的狀態(tài)估計(jì)量,設(shè)計(jì)了迭代誤差狀態(tài)卡爾曼濾波器實(shí)現(xiàn)激光雷達(dá)和IMU的緊耦合。該方法在各種具有挑戰(zhàn)性的場(chǎng)景中,如無(wú)特征場(chǎng)景,也能夠?qū)崿F(xiàn)魯棒和高效的算法性能,算法框圖如圖10所示。圖11為激光慣性耦合SLAM代表性結(jié)果。
綜上可知,激光慣性緊耦合研究主要通過(guò)激光雷達(dá)和IMU的緊耦合來(lái)提高建圖的精度、效率和魯棒性。但目前針對(duì)激光雷達(dá)與IMU的聯(lián)合標(biāo)定方法還不成熟。
圖9 FAST-LIO2算法系統(tǒng)框圖
圖10 LINS算法系統(tǒng)框圖
圖11 激光慣性耦合SLAM代表性結(jié)果
5.2 激光雷達(dá)和視覺(jué)融合
激光SLAM局部定位精度高但全局定位能力差且對(duì)環(huán)境特征不敏感,而視覺(jué)SLAM全局定位能力好但局部定位相對(duì)激光雷達(dá)較差,兩者融合可以提高SLAM系統(tǒng)的精度和魯棒性。
ZHANG等研究了視覺(jué)和激光雷達(dá)里程計(jì)結(jié)合的通用框架V-LOAM(visual LOAM),如圖12所示,利用視覺(jué)里程計(jì)處理快速運(yùn)動(dòng),而激光雷達(dá)里程計(jì)保證在不良照明條件下的低漂移和穩(wěn)健性,算法結(jié)果低漂移、魯棒、快速,長(zhǎng)期在KITTI數(shù)據(jù)集的平均平移和旋轉(zhuǎn)誤差基準(zhǔn)測(cè)試上占據(jù)榜首,但沒(méi)有考慮閉環(huán)檢測(cè)和室外長(zhǎng)距離環(huán)境中位姿軌跡與建圖的整體一致性。LVI-SAM(LiDAR-visual-inertialodometry via smoothing and mapping)是緊耦合激光雷達(dá)-視覺(jué)-慣性里程計(jì)的SLAM框架,由視覺(jué)慣性系統(tǒng)和激光雷達(dá)慣性系統(tǒng)組成,能夠構(gòu)建完整且精度高的地圖,實(shí)時(shí)性和精度高,魯棒性強(qiáng)。SuperOdometry是高精度多模態(tài)傳感器融合框架,采用以IMU為中心的數(shù)據(jù)處理管道,結(jié)合了松耦合和緊耦合方法的優(yōu)點(diǎn),在感知退化的環(huán)境中也能實(shí)現(xiàn)穩(wěn)健的狀態(tài)估計(jì)。R2 LIVE(robust,real-Time,LiDAR-inertial-visual tightly-coupled state estimator and mapping)、R3 LIVE(robust,real-time,RGB-colored,LiDAR-inertial-visual tightly-coupled state estimation and mapping)融合激光雷達(dá)、IMU和視覺(jué)傳感器的測(cè)量來(lái)實(shí)現(xiàn)穩(wěn)健和準(zhǔn)確的狀態(tài)估計(jì),在各種具有挑戰(zhàn)性的情況下,甚至在具有大量運(yùn)動(dòng)物體和小激光雷達(dá)視場(chǎng)的狹窄隧道狀環(huán)境中,該方法也具有足夠的魯棒性。表3列出了激光雷達(dá)與慣性測(cè)量單元、視覺(jué)傳感器融合的一些算法。
圖12 V-LOAM算法系統(tǒng)框圖
表3 多傳感器緊耦合的一些算法
5.3 激光雷達(dá)和其他雷達(dá)融合
FRITSCHE等將毫米波雷達(dá)與激光雷達(dá)相結(jié)合以應(yīng)對(duì)煙霧、霧或灰塵導(dǎo)致的低能見(jiàn)度惡劣環(huán)境,研究了毫米波雷達(dá)與激光雷達(dá)數(shù)據(jù)二值決策融合方法和加權(quán)融合方法,還探索了兩者掃描級(jí)和地圖級(jí)數(shù)據(jù)融合的可行性。CHAVEZ-GARCIA等研究了基于相機(jī)、毫米波雷達(dá)和激光雷達(dá)的多傳感器融合方案,首先利用激光雷達(dá)和相機(jī)圖像信息檢測(cè)人和車輛,再融合雷達(dá)檢測(cè)信息區(qū)分靜止目標(biāo)和移動(dòng)目標(biāo),實(shí)現(xiàn)目標(biāo)的檢測(cè)與跟蹤,減小了誤檢概率。KIM等提出了一種基于相機(jī)、毫米波雷達(dá)、激光雷達(dá)和GPS的融合方案,首先利用相機(jī)和激光雷達(dá)構(gòu)建地圖,然后利用GPS確定車輛位置,同時(shí)利用雷達(dá)檢測(cè)的目標(biāo)運(yùn)動(dòng)數(shù)據(jù)更新地圖中的環(huán)境信息。崔巍杰選取了Google的Cartographer算法框架作為算法的主要框架,綜合考慮毫米波雷達(dá)與激光雷達(dá)的數(shù)據(jù)優(yōu)缺點(diǎn),融合二者的數(shù)據(jù)實(shí)現(xiàn)了環(huán)境適應(yīng)性更高的SLAM算法。
06 3D激光SLAM算法的發(fā)展趨勢(shì)
6.1 多源信息融合
前已述及,單一傳感器均存在著一定局限性,無(wú)法滿足全場(chǎng)景下的SLAM算法。國(guó)內(nèi)外學(xué)者為彌補(bǔ)單一傳感器缺陷,研究了多種多傳感器融合方案獲取高精度和高魯棒性的地圖,有與IMU融合的,有與視覺(jué)融合的,也有與其他類型如毫米波雷達(dá)融合的;還有多個(gè)激光雷達(dá)的融合,如M-LOAM(multi-LiDAR LOAM),許多基于各種融合方案的SLAM算法被提出,成果頗多。但相關(guān)研究仍是3D激光SLAM算法的研究熱點(diǎn)和發(fā)展趨勢(shì)之一,包括對(duì)融合層次的探索,魯棒適應(yīng)性強(qiáng)且實(shí)時(shí)在線的多傳感器綜合校準(zhǔn)、時(shí)間同步方法的開發(fā),以及通用魯棒的幾何特征提取、數(shù)據(jù)關(guān)聯(lián)、耦合方法等。同時(shí),基于點(diǎn)云的深度學(xué)習(xí)方法和基于非線性聯(lián)合優(yōu)化的算法將加速多源信息融合技術(shù)的發(fā)展。
6.2 與深度學(xué)習(xí)的結(jié)合
3D激光SLAM算法與深度學(xué)習(xí)的結(jié)合能夠提高運(yùn)行效率和魯棒性,其研究方向包括特征提取與匹配、語(yǔ)義SLAM、深度估計(jì)以及重定位等等仍是研究熱點(diǎn)。雖然越來(lái)越多的深度學(xué)習(xí)技術(shù)與成果應(yīng)用于SLAM領(lǐng)域,已經(jīng)有了許多相關(guān)研究工作,但現(xiàn)階段基于深度學(xué)習(xí)的SLAM有著明顯的局限性,通過(guò)深度學(xué)習(xí)構(gòu)建的模型缺少直觀的物理意義;其次,深度學(xué)習(xí)技術(shù)往往需要大量的訓(xùn)練數(shù)據(jù),前期訓(xùn)練周期長(zhǎng);結(jié)合深度學(xué)習(xí)的SLAM通常需要GPU,在計(jì)算資源有限的條件下無(wú)法應(yīng)用。
6.3 應(yīng)用場(chǎng)景的魯棒性
隨著機(jī)器人技術(shù)的迅速發(fā)展和應(yīng)用領(lǐng)域的不斷深化,相應(yīng)的應(yīng)用場(chǎng)景亦不斷豐富和拓展,如空曠、復(fù)雜多變的或者動(dòng)態(tài)的場(chǎng)景,也包括地面/空中機(jī)器人、汽車/AGV自動(dòng)駕駛等領(lǐng)域,故越來(lái)越多的應(yīng)用環(huán)境細(xì)分也有待挖掘。不同應(yīng)用場(chǎng)景SLAM算法表現(xiàn)不近相同,如針對(duì)室內(nèi)環(huán)境,LOAM算法缺乏聯(lián)合優(yōu)化,實(shí)時(shí)姿態(tài)估計(jì)誤差大,π-LSAM(LiDAR smoothing and mapping with planes)改進(jìn)了LOAM,在后端引入聯(lián)合優(yōu)化并顯著降低優(yōu)化算法計(jì)算復(fù)雜度。 面對(duì)一些具有挑戰(zhàn)性的復(fù)雜多變的應(yīng)用場(chǎng)景,如變化的光照、劇烈運(yùn)動(dòng)、開闊場(chǎng)地或缺乏紋理的場(chǎng)景等,需要開發(fā)長(zhǎng)期穩(wěn)健安全的算法,提高算法魯棒性,許多方面如多機(jī)器人系統(tǒng)中全局定位與目標(biāo)檢測(cè)、優(yōu)化軌跡并創(chuàng)建全局一致性地圖的方法及動(dòng)態(tài)場(chǎng)景或大場(chǎng)景的環(huán)境地圖構(gòu)建方法都需要完善。同時(shí)立體匹配、3維場(chǎng)景重建、虛擬現(xiàn)實(shí)等計(jì)算機(jī)前沿應(yīng)用中,3D激光SLAM算法也可起到關(guān)鍵作用。
6.4 探索通用框架和地圖表現(xiàn)形式
探索3D激光SLAM框架的通用性也是研究熱點(diǎn),現(xiàn)有3D激光SLAM算法很多沿用了LOAM的框架;IMLS-SLAM算法描述了幀到模型的匹配框架;F-LOAM(fast LiDAR odometry and mapping)提出了一種結(jié)合特征提取、失真補(bǔ)償、姿態(tài)優(yōu)化和映射的通用框架。更好的地圖表現(xiàn)形式如語(yǔ)義地圖,可以大幅提高機(jī)器人的自主理解力,亦可提高3D激光SLAM算法的魯棒性和精度。
6.5 傳感器和無(wú)線信號(hào)體制技術(shù)的影響
固態(tài)激光雷達(dá)性能高且成本極低,具有促進(jìn)或徹底改變機(jī)器人行業(yè)的潛力,越來(lái)越受到關(guān)注。如LIN和ZHANG研究了適用于小視場(chǎng)和不規(guī)則采樣的固態(tài)激光雷達(dá)的SLAM算法框架Loam Livox,魯棒性強(qiáng)且實(shí)時(shí)運(yùn)行。隨著硬件性能和通信功能不斷提高,SLAM技術(shù)嵌入式實(shí)現(xiàn)、移動(dòng)設(shè)備傳感器和無(wú)線信號(hào)體制技術(shù)的參與必然也會(huì)影響3D激光SLAM算法的發(fā)展。如專用處理器(如HoloLens HPU)和一體化功能模組(如Tango模組)等將會(huì)大大降低現(xiàn)有硬件平臺(tái)的計(jì)算能力瓶頸和算法調(diào)試門檻。
07 結(jié)論
SLAM算法是移動(dòng)機(jī)器人構(gòu)建未知環(huán)境地圖并獲取其位姿信息進(jìn)而實(shí)現(xiàn)自主移動(dòng)的有效手段,可以輔助機(jī)器人執(zhí)行路徑規(guī)劃、自主探索、導(dǎo)航等任務(wù)。隨著3D激光雷達(dá)向低成本、低功耗和高可靠性的應(yīng)用的發(fā)展,3D激光雷達(dá)SLAM算法研究取得了豐富的成果和應(yīng)用案例。本文從SLAM算法經(jīng)典框架出發(fā),總結(jié)分析了其前端、后端以及深度學(xué)習(xí)與多傳感器融合在激光SLAM中的研究現(xiàn)狀,系統(tǒng)闡述現(xiàn)在主流的3D激光SLAM算法原理及其存在的問(wèn)題和不足,探討了3D激光SLAM算法的研究熱點(diǎn)和發(fā)展趨勢(shì)。
SLAM是多學(xué)科組合的算法和系統(tǒng)工程,包括硬件模型構(gòu)建到系統(tǒng)集成,以及各個(gè)環(huán)節(jié)的多線程執(zhí)行中的資源分配、數(shù)據(jù)優(yōu)化以及建圖和定位的準(zhǔn)確性都需要平衡和整合;關(guān)鍵模塊和硬件匹配的升級(jí)、場(chǎng)景或應(yīng)用的豐富和拓展都會(huì)影響3D激光SLAM算法的發(fā)展。研究多源信息融合、與深度學(xué)習(xí)結(jié)合、動(dòng)態(tài)以及其他場(chǎng)景的應(yīng)用與拓展、SLAM算法通用框架、以及SLAM算法的嵌入式實(shí)現(xiàn)、移動(dòng)傳感器和無(wú)線信號(hào)體制的技術(shù)參與是3D激光雷達(dá)SLAM算法的研究熱點(diǎn)和發(fā)展趨勢(shì)。
編輯:黃飛
評(píng)論
查看更多