智能交通系統(tǒng)是車輛有序運(yùn)行的重要保障，道路環(huán)境感知技術(shù)是智能交通系統(tǒng)的基礎(chǔ)。傳感器感知并采集周圍環(huán)境數(shù)據(jù)在實(shí)現(xiàn)無(wú)人駕駛的各個(gè)階段都不可或缺。多傳感器信息融合（Multi-Sensor Infor?mation Fusion，MSIF）就是利用計(jì)算機(jī)科學(xué)技術(shù)將來(lái)自各個(gè)傳感器或多源頭的信息和數(shù)據(jù)在預(yù)定的規(guī)則下進(jìn)行數(shù)學(xué)分析加上信息綜合，以完成相應(yīng)的決策和必要的估算而執(zhí)行的信息處理過(guò)程。

在這個(gè)過(guò)程中要充分地利用多源數(shù)據(jù)進(jìn)行合理操作與使用，信息融合不但運(yùn)用了多個(gè)傳感器互相協(xié)同工作的優(yōu)勢(shì)，并且運(yùn)用算法綜合處理了大量其它信息源數(shù)據(jù)，使得整個(gè)傳感器系統(tǒng)更加智能，信息融合的最終目的就是基于各個(gè)傳感器獲得的分離觀測(cè)信息，對(duì)信息多級(jí)別、多維度分析綜合之后推理出更多有價(jià)值的信息，對(duì)車輛的行為進(jìn)行決策。在這個(gè)過(guò)程中，多傳感器信息融合算法有著不可替代的決策作用，所有的信息匯總之后經(jīng)由算法得出最終的決策判斷。近年來(lái)隨著芯片、計(jì)算機(jī)科學(xué)技術(shù)的快速發(fā)展，硬件算力的提升極大促進(jìn)無(wú)人駕駛算法的發(fā)展。

本文從多傳感器的硬件配合應(yīng)用出發(fā)，重點(diǎn)介紹近年來(lái)用于無(wú)人駕駛的信息融合算法的研究與進(jìn)展，提出基于機(jī)器學(xué)習(xí)的算法研究是未來(lái)的發(fā)展趨勢(shì)。

01 傳感器應(yīng)用現(xiàn)狀

無(wú)人駕駛車輛在面對(duì)復(fù)雜的路況環(huán)境下，需要大量的傳感器采集路況信息供車輛綜合分析得出決策，單一、同類型的傳感器無(wú)法滿足無(wú)人駕駛車輛分析路況信息的需求，在不同的道路環(huán)境下，不同傳感器有各自的獨(dú)特優(yōu)勢(shì)，目前國(guó)內(nèi)外應(yīng)用較多的主要分為3類：

（1）基于激光雷達(dá);

（2）基于激光雷達(dá)加攝像頭；

（3）基于攝像頭。

基于激光雷達(dá)的定位方法完全依賴于激光雷達(dá)傳感器，具有測(cè)量精度高、處理方便的優(yōu)點(diǎn)。然而，盡管激光雷達(dá)行業(yè)努力降低生產(chǎn)成本，但與攝像頭比，它仍然有很高的價(jià)格。在典型的基于LiDAR+Camera的定位方法中，LiDAR數(shù)據(jù)僅用于建立地圖，并使用攝像頭數(shù)據(jù)估計(jì)無(wú)人駕駛汽車相對(duì)于地圖的位置，從而降低了成本。基于攝像機(jī)的定位方法是廉價(jià)和方便的，但是易受環(huán)境的影響，特別是遇到大風(fēng)、下雨、霧霾的惡劣天氣，單純基于攝像頭的定位通常不精確、不可靠。

激光雷達(dá)的應(yīng)用

激光雷達(dá)的工作原理：激光雷達(dá)(LiDAR)能釋放多束激光，接受物體反射信號(hào)，計(jì)算目標(biāo)與自身的距離。應(yīng)用較多的是利用反射信號(hào)的折返時(shí)間計(jì)算距離（ToF），也有調(diào)頻連續(xù)波（FMCW）方法。激光雷達(dá)具有分辨率高、隱蔽性好、抗有源干擾能力強(qiáng)、低空探測(cè)性好、輕便靈巧的優(yōu)點(diǎn)，不足是全天候性能低于微波雷達(dá)；波束窄，搜索目標(biāo)困難；技術(shù)上難度較大。在過(guò)去的幾年中，Mobile LiDAR取得了很大的進(jìn)步。移動(dòng)激光雷達(dá)捕獲不再需要專家精心組裝的大量電纜和配件。現(xiàn)在，所有測(cè)繪級(jí)傳感器（例如Velodyne和Ouster的傳感器以及RIEGL、Trimble和Leica的測(cè)量級(jí)平臺(tái)）都更容易攜帶，即插即用。從寬的垂直視場(chǎng)或更長(zhǎng)的測(cè)量范圍到多脈沖或更高的精度，每種傳感器都有其自身的優(yōu)勢(shì)。激光雷達(dá)的發(fā)展趨勢(shì)主要有2方面：（1）挑戰(zhàn)點(diǎn)密度和機(jī)器學(xué)習(xí)；（2）減少人工干預(yù)。

毫米波雷達(dá)的應(yīng)用

毫米波雷達(dá)發(fā)射電磁波并檢測(cè)回波來(lái)探測(cè)目標(biāo)物的有無(wú)、距離、速度和方位角。主要原理是：通過(guò)振蕩器形成持續(xù)變化的信號(hào)，在發(fā)出信號(hào)和接收信號(hào)之間形成頻率差，其差值與發(fā)射-接收時(shí)間差成線性關(guān)系，只要通過(guò)頻率差就能計(jì)算車輛與物體距離。毫米波雷達(dá)測(cè)速原理和普通雷達(dá)類似，有2種方法：

（1）基于多普勒原理，因發(fā)射的電磁波和被探測(cè)目標(biāo)產(chǎn)生相對(duì)移動(dòng)，回波的頻率會(huì)和發(fā)射波的頻率不一樣，經(jīng)過(guò)檢測(cè)頻率差可測(cè)得目標(biāo)物相對(duì)于雷達(dá)的移動(dòng)速度。但這種方法不能測(cè)得切向速度；

（2）通過(guò)跟蹤位置，進(jìn)行微分求得速度。毫米波雷達(dá)的發(fā)展在對(duì)雷達(dá)傳感器選擇上是采用短距的24 GHz與長(zhǎng)距的77 GHz組合還是全部采用77 GHz雷達(dá)一直是技術(shù)爭(zhēng)論的焦點(diǎn)，首先，77 GHz毫米波雷達(dá)的檢測(cè)精度更高，相對(duì)體積更小巧，利于車上器件安裝和布局，77 GHz的波長(zhǎng)是3.9 mm，是真正意義上的毫米波。由于天線尺寸隨著載波頻率上升而變小，所以77 GHz波段的毫米波雷達(dá)系統(tǒng)尺寸也會(huì)比24 GHz更緊湊。77 GHz毫米波雷達(dá)正逐步取代24 GHz，成為汽車領(lǐng)域主流的傳感器。

攝像頭的應(yīng)用

車載攝像頭是ADAS系統(tǒng)的主要視覺(jué)傳感器。是實(shí)現(xiàn)眾多預(yù)警、識(shí)別類ADAS功能的基礎(chǔ)。通過(guò)鏡頭采集圖像，由內(nèi)部感光組件電路及控制組件對(duì)圖像進(jìn)行處理并轉(zhuǎn)化為數(shù)字信號(hào)，從而感知車輛周圍的路況，實(shí)現(xiàn)圖像影像識(shí)別功能。在眾多ADAS功能中，視覺(jué)影像處理系統(tǒng)較為基礎(chǔ)，對(duì)于駕駛者也更為直觀，而攝像頭又是視覺(jué)影像處理系統(tǒng)的基礎(chǔ)，因此車載攝像頭對(duì)于智能駕駛必不可少。車道偏離預(yù)警（LDW）、前向碰撞預(yù)警（FCW）、交通標(biāo)志識(shí)別（TSR）、車道保持輔助（LKA）、行人碰撞預(yù)警（PCW）、全景泊車（SVP）、駕駛員疲勞預(yù)警眾多功能都可借助攝像頭實(shí)現(xiàn)，有的功能甚至只能通過(guò)攝像頭實(shí)現(xiàn)（表1）。車載攝像頭包括單目攝像頭、雙目攝像頭、廣角攝像頭。

表1各類傳感器特點(diǎn)對(duì)比

目前，隨著ADAS功能模塊使用率快速提升，較長(zhǎng)時(shí)期內(nèi)傳感器市場(chǎng)的需求將主要被攝像頭、毫米波雷達(dá)、激光雷達(dá)這3類傳感器所驅(qū)動(dòng)，只有各個(gè)傳感器互相配合使用，形成優(yōu)勢(shì)互補(bǔ)，再加上信息融合算法的優(yōu)化處理，才能更好的收集和處理無(wú)人駕駛中形成的海量環(huán)境數(shù)據(jù)，并給出相對(duì)更準(zhǔn)確的處理方案。

02 多傳感器信息融合的核心算法

無(wú)人駕駛感知模塊中傳感器融合已經(jīng)成為了標(biāo)配，只是這里融合的層次有不同，可以是硬件層（如禾賽，Innovusion的產(chǎn)品），也可以是數(shù)據(jù)層，還可以是任務(wù)層，如障礙物檢測(cè)（Obstacle detection）、車道線檢測(cè)（Lane detection）、分割（Segmentation）和跟蹤（Track?ing）以及車輛自身定位（Localization）等。對(duì)于多傳感器系統(tǒng)來(lái)說(shuō)，時(shí)刻要面對(duì)多樣性、復(fù)雜性的環(huán)境信息，魯棒性和并行處理的能力便成了無(wú)人駕駛對(duì)信息融合算法的最基本要求。運(yùn)算速度、識(shí)別精度、連接前端預(yù)處理系統(tǒng)以及后端信息識(shí)別系統(tǒng)的接口穩(wěn)定性、對(duì)不同技術(shù)和多種方法的上下兼容多方協(xié)調(diào)能力、對(duì)信息樣本和信息質(zhì)量的特殊要求的多種能力也都作為算法性能的考察方面；通常以非線性數(shù)學(xué)為基礎(chǔ)的方法，若同時(shí)具備容錯(cuò)性、自適應(yīng)性、聯(lián)想記憶以及并行處理的能力，則均可作為融合算法使用。

隨機(jī)類

加權(quán)平均法

信號(hào)級(jí)融合最直接的方法是加權(quán)平均，對(duì)多個(gè)傳感器測(cè)量到的多條冗余信息進(jìn)行加權(quán)平均，將最終的結(jié)果作為融合值。該方法直接對(duì)數(shù)據(jù)源進(jìn)行處理，其所求得的平均數(shù)，已包含了長(zhǎng)期變動(dòng)趨勢(shì)。但是一般用于數(shù)據(jù)的前期處理，加權(quán)平均主要作為輔助算法使用。

卡爾曼濾波法

對(duì)一個(gè)運(yùn)動(dòng)物體，能直觀觀察到它當(dāng)前的運(yùn)動(dòng)狀態(tài)。然而，一般都無(wú)法精確測(cè)量物體當(dāng)前的運(yùn)動(dòng)狀態(tài)，而更多試驗(yàn)中需要預(yù)測(cè)物體在下一時(shí)刻的運(yùn)動(dòng)狀態(tài)，對(duì)現(xiàn)場(chǎng)環(huán)境進(jìn)行測(cè)量時(shí)，系統(tǒng)會(huì)存在相當(dāng)?shù)母蓴_噪聲。這時(shí)就需要估計(jì)當(dāng)前的運(yùn)動(dòng)狀態(tài),卡爾曼濾波（Kalman filtering）是一種利用線性系統(tǒng)狀態(tài)方程，通過(guò)系統(tǒng)輸入輸出觀測(cè)數(shù)據(jù)，對(duì)系統(tǒng)狀態(tài)進(jìn)行最優(yōu)估計(jì)的算法。由于觀測(cè)數(shù)據(jù)中包括系統(tǒng)中的噪聲和干擾的影響，所以最優(yōu)估計(jì)也可看作是濾波過(guò)程。卡爾曼濾波預(yù)測(cè)方程見(jiàn)圖1。

圖1卡爾曼濾波預(yù)測(cè)方程和更新方程

該方法通過(guò)測(cè)量模型的統(tǒng)計(jì)特性遞推，得出統(tǒng)計(jì)意義下的最優(yōu)融合和數(shù)據(jù)估算。在無(wú)人駕駛中，卡爾曼濾波應(yīng)用廣泛，包括濾波操作-時(shí)序信息融合、多傳感器的信號(hào)融合、在幀間位置插值，通過(guò)插值進(jìn)行加速、對(duì)目標(biāo)框進(jìn)行平滑處理。卡爾曼濾波器的歷史雖已經(jīng)超過(guò)半個(gè)世紀(jì),但是對(duì)于輸入數(shù)據(jù)的噪聲信息和狀態(tài)估計(jì)的平滑來(lái)說(shuō)仍然是最有效的傳感器融合算法之一。它假定位置參數(shù)是符合高斯分布的,即完全可以被均值和協(xié)方差參數(shù)化:X～N(μ,σ-2)，當(dāng)傳感器的信息流開(kāi)始的時(shí)候,卡爾曼濾波器使用一系列的狀態(tài)信息來(lái)預(yù)測(cè)和衡量更新步驟去更新被追蹤目標(biāo)的信心值(概率)。

多貝葉斯估計(jì)法

多貝葉斯估計(jì)將每1個(gè)傳感器作為1個(gè)貝葉斯估計(jì)，將多個(gè)獨(dú)立物體的關(guān)聯(lián)概率分布綜合成1個(gè)聯(lián)合的后驗(yàn)概率分布，通過(guò)求聯(lián)合分布函數(shù)的最小似然，得出多傳感器信息綜合的最終融合值與實(shí)際環(huán)境的1個(gè)先驗(yàn)?zāi)Ｐ停瑥亩鴮?duì)整個(gè)環(huán)境產(chǎn)生1個(gè)特征描述。貝葉斯估計(jì)的本質(zhì)是通過(guò)貝葉斯決策得到參數(shù)θ的最優(yōu)估計(jì)，使得總期望風(fēng)險(xiǎn)最小(圖2)。

圖2 多貝葉斯估計(jì)法

北京交通大學(xué)的樊俐彤針對(duì)運(yùn)動(dòng)單目攝像頭下的多目標(biāo)跟蹤問(wèn)題,在基于檢測(cè)的跟蹤方法框架下,對(duì)基于Bayes后驗(yàn)估計(jì)的多目標(biāo)跟蹤方法進(jìn)行了研究。采用可逆跳躍馬爾科夫蒙特卡洛（RJMCMC）求解Bayes后驗(yàn)估計(jì),該算法通過(guò)隨機(jī)跳躍動(dòng)作可以隨機(jī)的增加或移除目標(biāo),可以適應(yīng)目標(biāo)數(shù)目隨機(jī)變化的情況。

AI類

基于多傳感器體系結(jié)構(gòu)的算法

多傳感器融合在體系結(jié)構(gòu)上可分為3種：

（1）數(shù)據(jù)層融合處理，針對(duì)傳感器采集的數(shù)據(jù)，依賴于傳感器類型，進(jìn)行同類數(shù)據(jù)的融合。數(shù)據(jù)級(jí)的融合要處理的數(shù)據(jù)都是在相同類別的傳感器下采集，所以數(shù)據(jù)融合不能處理異構(gòu)數(shù)據(jù)，流程如圖3所示；

圖3 數(shù)據(jù)層融合處理

（2）特征層的融合處理，提取所采集數(shù)據(jù)包含的特征向量，用來(lái)體現(xiàn)所監(jiān)測(cè)物理量的屬性，這是面向監(jiān)測(cè)對(duì)象特征的融合。如在圖像數(shù)據(jù)的融合中，可以采用邊沿的特征信息，來(lái)代替全部數(shù)據(jù)信息有，流程如圖4所示；

圖4特征層融合處理

（3）決策層的融合處理，根據(jù)特征級(jí)融合所得到的數(shù)據(jù)特征，進(jìn)行一定的判別、分類，以及簡(jiǎn)單的邏輯運(yùn)算，根據(jù)應(yīng)用需求進(jìn)行較高級(jí)的決策，屬于高級(jí)融合（流程如圖5所示）。多傳感器融合在硬件層面并不難實(shí)現(xiàn)，重難點(diǎn)都在算法上。擁有很高的技術(shù)壁壘，因此算法將占據(jù)價(jià)值鏈的主要部分。

圖5 決策層融合處理

基于傳感器體系結(jié)構(gòu)的方法融合來(lái)自各種傳感器（如激光雷達(dá)、雷達(dá)和攝像頭）的數(shù)據(jù)，以探索它們各自的特點(diǎn)，提高環(huán)境感知能力。Darms等介紹了無(wú)人駕駛汽車“Boss”采用的基于傳感器融合的運(yùn)動(dòng)車輛檢測(cè)與跟蹤方法（卡內(nèi)基梅隆大學(xué)的汽車在2007年DARPA城市挑戰(zhàn)賽中獲得第1名）。

MOT子系統(tǒng)分為2層，傳感器層從傳感器數(shù)據(jù)中提取特征，這些特征可用于根據(jù)點(diǎn)模型或盒模型描述移動(dòng)障礙物假設(shè)。傳感器層還嘗試將特征與來(lái)自融合層的當(dāng)前預(yù)測(cè)假設(shè)相關(guān)聯(lián)。無(wú)法與現(xiàn)有假設(shè)關(guān)聯(lián)的功能用于生成新的建議。對(duì)與給定假設(shè)相關(guān)聯(lián)的每個(gè)特征生成觀察，封裝更新假設(shè)狀態(tài)估計(jì)所需的所有信息。融合層根據(jù)傳感器層提供的建議和觀測(cè)，為每個(gè)假設(shè)選擇最佳跟蹤模型，并使用卡爾曼濾波器估計(jì)（或更新）假設(shè)狀態(tài)的估計(jì)。

Cho等描述卡內(nèi)基梅隆大學(xué)新的試驗(yàn)性自主車輛使用的新MOT子系統(tǒng)。以前的MOT子系統(tǒng)，由Darms等人提出。Mertz等使用可直接從二維激光雷達(dá)、從三維激光雷達(dá)投影到二維平面或從多個(gè)傳感器（激光雷達(dá)、雷達(dá)和攝像頭）融合獲得的掃描線。掃描線被轉(zhuǎn)換成世界坐標(biāo)并被分割。為每個(gè)線段提取直線和角點(diǎn)特征。分段與現(xiàn)有障礙物相關(guān)聯(lián)，并使用卡爾曼濾波器更新目標(biāo)的運(yùn)動(dòng)學(xué)。Byun等合并由多個(gè)傳感器（如雷達(dá)、二維激光雷達(dá)和三維激光雷達(dá)）生成的移動(dòng)障礙物軌跡。將二維激光雷達(dá)數(shù)據(jù)投影到二維平面上，利用聯(lián)合概率數(shù)據(jù)關(guān)聯(lián)濾波器（JP?DAF）跟蹤運(yùn)動(dòng)障礙物。三維激光雷達(dá)數(shù)據(jù)被投影到一幅圖像上，并使用區(qū)域增長(zhǎng)算法分割成運(yùn)動(dòng)障礙物。

最后，利用迭代最近點(diǎn)（ICP）匹配或基于圖像的數(shù)據(jù)關(guān)聯(lián)來(lái)估計(jì)或更新軌跡的姿態(tài)。Xu等描述了卡內(nèi)基梅隆大學(xué)的新型無(wú)人駕駛試驗(yàn)車對(duì)用于保持距離的移動(dòng)障礙物的上下文感知跟蹤。給定行為上下文，在道路網(wǎng)絡(luò)中生成ROI。找到感興趣區(qū)域內(nèi)的候選目標(biāo)并將其投影到道路坐標(biāo)中。通過(guò)將來(lái)自不同傳感器（激光雷達(dá)、雷達(dá)和攝像機(jī)）的所有候選目標(biāo)關(guān)聯(lián)起來(lái)，獲得距離保持目標(biāo)。薛等融合激光雷達(dá)和攝像機(jī)數(shù)據(jù)，提高行人檢測(cè)的準(zhǔn)確性。他們利用行人高度的先驗(yàn)知識(shí)來(lái)減少錯(cuò)誤檢測(cè)。他們根據(jù)針孔攝像機(jī)方程，結(jié)合攝像機(jī)和激光雷達(dá)的測(cè)量來(lái)估計(jì)行人的高度。

多傳感器數(shù)據(jù)結(jié)合深度圖的融合

多傳感器數(shù)據(jù)深度圖的融合是近幾年興起的基于深度學(xué)習(xí)的多傳感器信息融合算法。主要是用于激光雷達(dá)和攝像頭的數(shù)據(jù)融合，激光雷達(dá)深度傳感器的數(shù)據(jù)比較稀疏，分辨率低，優(yōu)點(diǎn)是數(shù)據(jù)可靠，而攝像頭傳感器獲取的圖像比較致密并分辨率高，缺點(diǎn)是獲取的深度數(shù)據(jù)可靠性差，利用多傳感器數(shù)據(jù)深度圖融合將兩者進(jìn)行優(yōu)勢(shì)互補(bǔ)。

Deng和Czarnecki等提出一個(gè)多視圖標(biāo)記的目標(biāo)檢測(cè)器。檢測(cè)器將RGB圖像和激光雷達(dá)點(diǎn)云作為輸入，并遵循2步目標(biāo)檢測(cè)框架。第1步，區(qū)域提議網(wǎng)絡(luò)（RPN）在點(diǎn)云的鳥(niǎo)瞰視圖（BEV）投影中生成3D提議。第2步，將3D提議邊框投影到圖像和BEV特征圖，并將相應(yīng)的圖截取發(fā)送到檢測(cè)頭（Detector head），以進(jìn)行分類和邊界框回歸。提供最終的分類、定位和定向結(jié)果。與其他多視圖方法不同，裁剪的圖像特征不直接饋送到檢測(cè)頭，而是被深度信息掩蓋以過(guò)濾掉3D邊框外的部分。圖像和BEV特征的融合具有挑戰(zhàn)性，因?yàn)樗鼈儊?lái)自不同的視角。這里引入了1種新檢測(cè)頭，不僅可以從融合層提供檢測(cè)結(jié)果，還可以從每個(gè)傳感器通道提供檢測(cè)結(jié)果。因此，可以用不同視圖標(biāo)記的數(shù)據(jù)訓(xùn)練目標(biāo)檢測(cè)器，以避免特征提取器的退化。

來(lái)自田納西大學(xué)諾克斯維爾分校的Nabati和Qi提出將攝像頭采集的圖像數(shù)據(jù)和雷達(dá)數(shù)據(jù)進(jìn)行中間特征層的融合，以達(dá)到精確的3D目標(biāo)檢測(cè)。

（1）首先使用CenterNet算法，利用獲得的攝像頭數(shù)據(jù)預(yù)測(cè)目標(biāo)的中心點(diǎn)，并回歸得到目標(biāo)的3D坐標(biāo)、深度和旋轉(zhuǎn)信息。

（2）然后利用了視錐方法，將雷達(dá)檢測(cè)到的目標(biāo)數(shù)據(jù)和上面檢測(cè)到的目標(biāo)中心點(diǎn)進(jìn)行關(guān)聯(lián)。

（3）將關(guān)聯(lián)后的目標(biāo)特征和雷達(dá)數(shù)據(jù)檢測(cè)到的深度與速度信息組成的特征圖并聯(lián)，再進(jìn)行3D目標(biāo)深度、旋轉(zhuǎn)、速度和屬性的回歸。該算法解決了高度信息不準(zhǔn)確的問(wèn)題，引入了雷達(dá)點(diǎn)云預(yù)處理步驟。

Zhong，Wu等提出的完整關(guān)聯(lián)網(wǎng)絡(luò)（CFCNet）是1種端到端的深度模型，用RGB信息做稀疏深度完整化。2D深度規(guī)范相關(guān)性分析（2D2CCA），作為網(wǎng)絡(luò)約束條件，可確保RGB和深度的編碼器捕獲最相似語(yǔ)義信息。該網(wǎng)絡(luò)將RGB特征轉(zhuǎn)換到深度域，并且互補(bǔ)的RGB信息用于完整丟失的深度信息。完整的密集深度圖被視為由兩部分組成。一個(gè)是可觀察并用作輸入的稀疏深度，另一個(gè)是無(wú)法觀察和恢復(fù)的深度。同樣，相應(yīng)深度圖的整個(gè)RGB圖像可以分解為2部分：

（1）稀疏RGB，在稀疏深度可觀察位置保留相應(yīng)的RGB值；

（2）互補(bǔ)RGB（Complementary RGB），即從整個(gè)RGB圖像中減去稀疏RGB（Sparse RGB）的部分。

在訓(xùn)練期間，CFCNet會(huì)學(xué)習(xí)稀疏深度和稀疏RGB之間的關(guān)系，并用所學(xué)知識(shí)從互補(bǔ)RGB中恢復(fù)不可觀察的深度。在此基礎(chǔ)上，Luc Van Gool提出了一種新方法，可以精確地完整化RGB圖像引導(dǎo)的稀疏激光雷達(dá)深度圖。該文提出一種融合方法，由單目相機(jī)提供RGB指導(dǎo)，利用目標(biāo)信息并糾正稀疏輸入數(shù)據(jù)的錯(cuò)誤，這樣大大提高了準(zhǔn)確性。此外，利用置信度掩碼考慮來(lái)自每種模態(tài)深度預(yù)測(cè)的不確定性。

本文綜述了多傳感器信息融合在無(wú)人駕駛中的研究現(xiàn)狀，總結(jié)得出了多傳感器信息融合是一門跨多個(gè)學(xué)科的綜合理論和方法，這些理論和方法還處在不斷變化和持續(xù)發(fā)展過(guò)程中。

（1）隨著各傳感器硬件的快速迭代，多傳感器信息融合有了更好的解決方法，在硬件方面，傳感器的制造與研發(fā)是重點(diǎn)，如何將各個(gè)傳感器更加完美的配合在一起，更好更快的得到車輛行駛過(guò)程中的海量數(shù)據(jù)是實(shí)現(xiàn)無(wú)人駕駛技術(shù)的關(guān)鍵，其中包括攝像頭如何更好克服環(huán)境因素的干擾，77 GHz毫米波雷達(dá)的成熟生產(chǎn)制造工藝流程的設(shè)計(jì)，以及如何降低激光雷達(dá)的使用成本都是產(chǎn)業(yè)化需要克服的問(wèn)題。

（2）在數(shù)據(jù)采集方面，多傳感器數(shù)據(jù)收集主要集中在攝像頭、激光雷達(dá)和毫米波雷達(dá)3類傳感器搭載在地面車輛上，但目前缺少針對(duì)中國(guó)復(fù)雜交通環(huán)境建立起來(lái)的數(shù)據(jù)集，交通部門相關(guān)工作的推進(jìn)完善會(huì)為數(shù)據(jù)采集提供更好的環(huán)境，為加快無(wú)人駕駛的發(fā)展提供基礎(chǔ)支撐。另外，數(shù)據(jù)融合系統(tǒng)的設(shè)計(jì)還存在很多問(wèn)題，包括還沒(méi)有很好解決融合系統(tǒng)中的容錯(cuò)性和魯棒性問(wèn)題，各傳感器如何克服惡劣交通環(huán)境下的信息融合也需要被關(guān)注。

（3）多傳感器融合算法性能的評(píng)價(jià)標(biāo)準(zhǔn)不一，未形成基本的理論框架和廣義的融合算法，都是在各自特定的領(lǐng)域特定的問(wèn)題中展開(kāi)的，建立多傳感器融合算法性能的評(píng)價(jià)標(biāo)準(zhǔn)是推動(dòng)汽車行業(yè)多傳感器融合發(fā)展的重要舉措之一。

審核編輯 ：李倩