針對(duì)多種數(shù)據(jù)類型正在探索多種方法，但現(xiàn)在說哪一種最好，或者其中任何一種是否會(huì)縮短自動(dòng)駕駛汽車的上市時(shí)間還為時(shí)過早。

全自動(dòng)駕駛汽車的一個(gè)關(guān)鍵策略是能夠?qū)⒍鄠€(gè)傳感器的輸入融合在一起，這對(duì)于做出安全可靠的決策至關(guān)重要，但事實(shí)證明這比最初想象的要困難得多。

有多個(gè)問題需要解決，包括如何對(duì)不同類型的數(shù)據(jù)進(jìn)行分區(qū)、優(yōu)先級(jí)排序和最終組合，以及如何構(gòu)建車輛內(nèi)的處理架構(gòu)，以便車輛能夠足夠快地根據(jù)這些不同的數(shù)據(jù)類型做出決策，以避免事故。對(duì)于如何實(shí)現(xiàn)這一目標(biāo)，沒有單一的最佳實(shí)踐，這就是為什么許多汽車原始設(shè)備制造商采取截然不同的方法的原因。這也有助于解釋為什么今天道路上還沒有完全自動(dòng)駕駛的車輛。

“可以通過三種主要方法來看待這個(gè)問題，” Siemens Digital Industries Software混合物理和虛擬系統(tǒng)、汽車和軍用航空副總裁 David Fritz 說道。“一種方法是在處理之前融合來自多個(gè)傳感源的原始數(shù)據(jù)。雖然這種方法可以降低功耗，但一個(gè)傳感器陣列的不良數(shù)據(jù)可能會(huì)污染其他傳感器的良好數(shù)據(jù)，從而導(dǎo)致不良結(jié)果。此外，大量原始數(shù)據(jù)的傳輸還帶來了帶寬、延遲和系統(tǒng)成本等其他挑戰(zhàn)。”

第二種方法是對(duì)象融合，其中每個(gè)傳感器處理數(shù)據(jù)并將其特定于傳感器的處理結(jié)果表示為對(duì)其檢測(cè)到的內(nèi)容的解釋。“這具有無縫集成機(jī)載傳感器結(jié)果的優(yōu)點(diǎn)。基礎(chǔ)設(shè)施傳感器以及其他車輛上的傳感器，”弗里茨說。“這種方法的挑戰(zhàn)是對(duì)象的通用表示和標(biāo)記，以便它們可以在不同的車輛和基礎(chǔ)設(shè)施之間共享。

第三種選擇——也是我們認(rèn)為從功耗、帶寬和成本角度來看最引人注目的一種——是前兩種方法的混合。在這種方法中，物體被傳感器檢測(cè)到但不被分類。在這種情況下，物體的點(diǎn)云被傳輸?shù)綑C(jī)載中央計(jì)算系統(tǒng)，該系統(tǒng)對(duì)來自內(nèi)部和外部不同傳感器的點(diǎn)云進(jìn)行分類（標(biāo)記）。這顯著降低了帶寬和延遲要求，降低了傳感器的成本和負(fù)載，并允許車輛解釋或分類，

汽車生態(tài)系統(tǒng)中的討論才剛剛開始，還有很多挑戰(zhàn)需要克服。

“你需要弄清楚你擁有哪些對(duì)象，以及何時(shí)使用它們，” Arteris IP業(yè)務(wù)開發(fā)副總裁 Frank Schirrmeister 說道。“所有的格式都非常不同。如果您正在研究激光雷達(dá)，就會(huì)發(fā)現(xiàn)一些帶有距離的時(shí)髦地圖。在相機(jī)中，它是RGB，并且有一組像素。有了熱量，還有別的東西。即使在關(guān)聯(lián)和融合所有這些內(nèi)容之前，您也需要以某種方式理解這些格式。從架構(gòu)的角度來看，這可能導(dǎo)致最需要在傳感器處或靠近傳感器處進(jìn)行處理。然后，在不同位之間完成對(duì)象關(guān)聯(lián)。但你需要弄清楚細(xì)節(jié)，比如物體有多熱、物體有多遠(yuǎn)等。這些不同傳感器的維恩圖具有一組重疊的特征，其中一些比其他傳感器更好。”

傳感器融合是一個(gè)快速創(chuàng)新的領(lǐng)域，得益于算法的不斷改進(jìn)和芯片行業(yè)對(duì) SoC 架構(gòu)的深入了解。

“傳感器融合的一個(gè)共同點(diǎn)是需要異構(gòu)處理方法，因?yàn)樗枰Y(jié)合信號(hào)處理——通常使用 DSP、專用加速器上的人工智能處理以及使用 CPU 的控制代碼，”高級(jí)工程師 Markus Willems 說。新思科技產(chǎn)品經(jīng)理。“根據(jù)傳感器的類型，需要支持不同的數(shù)據(jù)類型。這包括用于圖像數(shù)據(jù)的 8 位整數(shù)處理，或用于雷達(dá)處理的 32 位單精度 (SP) 浮點(diǎn)，而 AI 處理可能需要 bfloat16 等。在單芯片上運(yùn)行不同類型的處理器需要復(fù)雜的軟件開發(fā)流程，利用優(yōu)化的 C/C++ 編譯器和函數(shù)庫(kù)，以及支持最新神經(jīng)網(wǎng)絡(luò)（包括傳感器融合中使用的變壓器）的圖形映射工具。內(nèi)存、帶寬和延遲是關(guān)鍵的設(shè)計(jì)參數(shù)，設(shè)計(jì)人員希望看到處理器仿真模型和 SoC 架構(gòu)探索工具的早期可用性，以檢查假設(shè)場(chǎng)景。”

雖然傳感器融合在汽車領(lǐng)域受到廣泛關(guān)注，但它對(duì)于其他市場(chǎng)也很有用。

Cadence Tensilica IP 小組產(chǎn)品管理組總監(jiān) Pulin Desai 表示：“我們專注于汽車領(lǐng)域，因?yàn)閿z像頭、雷達(dá)中將會(huì)有圖像傳感器，或許還有激光雷達(dá)。”“機(jī)器人應(yīng)用中還可能有圖像傳感器和 IMU。可能有多個(gè)圖像傳感器，并且您將融合這些東西。其他傳感器包括陀螺儀、磁力計(jì)、加速度計(jì)，這些傳感器在許多不同的領(lǐng)域以多種不同的方式使用。雖然汽車方面?zhèn)涫荜P(guān)注，但家用掃地機(jī)器人也使用相同的圖像傳感器和雷達(dá)傳感器。它可能具有與無人機(jī)非常相似的架構(gòu)。任何類型的無人駕駛車輛都具有此類傳感器。”

有大量數(shù)據(jù)流入。弄清楚在哪里處理所有數(shù)據(jù)是一個(gè)挑戰(zhàn)，部分原因是并非所有數(shù)據(jù)都采用相同的格式。

“這里存在經(jīng)典的邊緣計(jì)算情況，您需要決定如何平衡整個(gè)鏈條的處理 - 從模擬世界獲取數(shù)據(jù)的地方，到在大腦中做出決定或與駕駛員交互的地方混合使用模型，”Arteris 的 Schirrmeister 說道。“對(duì)象關(guān)聯(lián)聽起來更現(xiàn)實(shí)，但也存在各種各樣的挑戰(zhàn)。熱雷達(dá)、激光雷達(dá)和雷達(dá)都使用不同的類型來表示數(shù)據(jù)。如果您查看激光雷達(dá)，因?yàn)樗举|(zhì)上是為您提供一定距離內(nèi)的點(diǎn)，所以這是與從相機(jī)獲得的數(shù)據(jù)完全不同類型的數(shù)據(jù)。將這些全部關(guān)聯(lián)起來當(dāng)然不是一件小事，并且可能需要大量計(jì)算。更重要的是，您還需要確定不同的項(xiàng)目是否彼此不一致。如果是這樣，你選擇什么？你使用一些平均值嗎？對(duì)于所有這些傳感器的組合來說絕對(duì)是一個(gè)挑戰(zhàn)。”

當(dāng)談到數(shù)據(jù)的實(shí)際融合時(shí)，西門子的弗里茨觀察了多種方法。“在早期的一些嘗試中，NVIDIA 迅速起步，他們說，‘我們可以做很多人工智能的事情。當(dāng)傳感器數(shù)據(jù)傳入時(shí)，我們可以使用高端 GPU，嘗試降低其功耗，然后使用神經(jīng)網(wǎng)絡(luò)對(duì)其進(jìn)行處理。”這就是幾年前我們?cè)诤髠湎渲邪惭b一個(gè)必須進(jìn)行水冷卻的機(jī)架的原因。然后，激光雷達(dá)人員會(huì)說，‘我知道你不能為每臺(tái)激光雷達(dá)支付 20,000 美元，所以我們正在努力讓激光雷達(dá)更便宜。有人說，‘好吧，等一下。相機(jī)大概是35美分。我們?yōu)槭裁床环胖靡欢严鄼C(jī)并將所有這些融合在一起呢？這是幾年前開始的，采用的是一種蠻力的、幾乎是腦死亡的方法。這就是方法，“我有原始激光雷達(dá)數(shù)據(jù)。我有原始相機(jī)數(shù)據(jù)。我有雷達(dá)、激光雷達(dá)、攝像頭。我如何將所有這些放在一起？人們做了一些瘋狂的事情，比如將激光雷達(dá)數(shù)據(jù)轉(zhuǎn)換為 RGB。“我們有多個(gè)幀，因?yàn)橛芯嚯x信息。然后我們將通過最簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)運(yùn)行它來嘗試檢測(cè)對(duì)象并對(duì)它們進(jìn)行分類。這就是事情的嚴(yán)重程度。但有些人仍在嘗試這樣做。”

相比之下，特斯拉仍然主要依賴攝像頭數(shù)據(jù)。弗里茨說，這是可能的，因?yàn)榱Ⅲw相機(jī)的功能，甚至是單聲道相機(jī)中固定時(shí)間段內(nèi)的連續(xù)幀，使用視差來確定深度。“正因?yàn)槿绱耍麄冋f，‘為什么我需要激光雷達(dá)？因?yàn)槲覜]有激光雷達(dá)，所以我沒有傳感器融合問題。它只是簡(jiǎn)化了事情。但是假設(shè)相機(jī)上的鏡頭被水或污垢覆蓋。他們有這些問題需要擔(dān)心。在極端的另一端，如果你完全依賴激光雷達(dá)，我見過這樣的場(chǎng)景：你有一個(gè)人穿過街道的 2D 表示，而汽車認(rèn)為這是一個(gè)真人。為什么？因?yàn)榉瓷洹＜す饫走_(dá)發(fā)生了各種各樣人們不知道的事情。

融合不同的數(shù)據(jù)類型還取決于存在的傳感器類型。“人們正在談?wù)撛缙凇⒅衅诤屯砥谌诤希盋adence 的 Desai 說。“這一切都取決于我們的客戶和我們客戶的客戶的系統(tǒng)設(shè)計(jì)，這表明他們正在嘗試解決什么類型的問題。我們對(duì)其中一些事情是不可知的，因?yàn)榱Ⅲw傳感器可以進(jìn)行早期融合或后期融合，因?yàn)槟愕膱D像和數(shù)據(jù)都已經(jīng)識(shí)別了物體，并且你可以對(duì)其進(jìn)行后期融合。還可能存在中間融合，這更像是系統(tǒng)供應(yīng)商選擇他們想要如何進(jìn)行融合，他們想要做多少計(jì)算，信息有多強(qiáng)大，或者他們?cè)噲D解決什么類型的問題解決。這有多難？嗯，這取決于融合的類型。”

傳感器融合的類型

圖 1：不同的融合選項(xiàng)。來源：Cadence

Desai 說，另一個(gè)需要考慮的因素是何時(shí)使用它們，或者經(jīng)典 DSP 是否更合適，尤其是在人們對(duì) AI/ML 技術(shù)高度關(guān)注的情況下。“我將我們過去所做的一些事情與我們今天所做的事情進(jìn)行了比較。在某些問題上，你可以通過某種確定性的方式利用人工智能實(shí)現(xiàn)非常高的成功率。例如，我們?cè)?012年和2013年做人臉和人物檢測(cè)時(shí)，我們使用了經(jīng)典的計(jì)算機(jī)視覺算法，但當(dāng)時(shí)它們不是很準(zhǔn)確。達(dá)到準(zhǔn)確度是非常困難的。然后，當(dāng)我們轉(zhuǎn)向人工智能時(shí)，我們?cè)谌四槞z測(cè)和人物檢測(cè)方面獲得了非常強(qiáng)大的性能。所以現(xiàn)在有一個(gè)非常確定的情況，你會(huì)說，‘我要做人臉檢測(cè)，我可以達(dá)到人類所說的 99% 的準(zhǔn)確率，而人工智能可以給我 97% 的準(zhǔn)確率。為什么我需要玩一些不夠好的東西？我會(huì)去使用這個(gè)人工智能，因?yàn)槲掖_切地知道它的作用，并且它提供了最好的準(zhǔn)確性。但在某些情況下，例如當(dāng)我仍在嘗試解決問題時(shí)，我需要嘗試不同的算法并在我的環(huán)境中進(jìn)行操作。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號(hào)處理器來執(zhí)行這些算法。”我需要嘗試不同的算法并在我的環(huán)境中進(jìn)行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號(hào)處理器來執(zhí)行這些算法。”我需要嘗試不同的算法并在我的環(huán)境中進(jìn)行游戲。我需要能夠做到 X、Y 或 Z，并且我需要靈活性。在那里，您可以繼續(xù)使用數(shù)字信號(hào)處理器來執(zhí)行這些算法。”

此外，很多時(shí)候，使用人工智能引擎時(shí)，進(jìn)入人工智能引擎的數(shù)據(jù)必須經(jīng)過預(yù)處理，這意味著它必須采用特定的格式。

“在特定的數(shù)據(jù)類型中，你的人工智能引擎可能會(huì)說，‘我只做定點(diǎn)，’”德賽解釋道。“所以你可以使用可編程引擎來做到這一點(diǎn)。那么，一旦你把某些東西放入人工智能中，你可能就沒有太大的靈活性了。四年后，當(dāng)新事物出現(xiàn)時(shí)，你可能必須改變它。有很多不同的因素。本質(zhì)上，如果您正在做一些非常確定的事情，您就會(huì)知道您可以獲得非常高的性能率，并且您今天就知道了。你可能會(huì)說，‘今天我要引入人工智能來解決這個(gè)問題。明天，我可能還會(huì)這么做。然后，我通過使用可編程引擎來增加靈活性。或者，如果我不知道我需要使用它，那么我仍然會(huì)使用經(jīng)典算法來使用它。即使我有AI，我仍然需要做數(shù)據(jù)的預(yù)處理和后處理。

結(jié)論

隨著汽車原始設(shè)備制造商和系統(tǒng)公司將其計(jì)算架構(gòu)向傳感器融合發(fā)展，實(shí)驗(yàn)將成為一項(xiàng)要求。

西門子的弗里茨認(rèn)為，在這個(gè)進(jìn)化時(shí)期，處理開發(fā)的正確方法是雇用和/或組建一些小團(tuán)隊(duì)來進(jìn)行大量試點(diǎn)項(xiàng)目。“可能有十幾個(gè)人或兩打人。例如，他們的目標(biāo)可能是到 2026 年或 2028 年在測(cè)試環(huán)境中生產(chǎn) 300 個(gè)原型。”

盡管如此，每個(gè) OEM 目前的處境仍取決于 OEM、他們進(jìn)行架構(gòu)開發(fā)的時(shí)間以及他們未來希望如何做到這一點(diǎn)。

“不同的原始設(shè)備制造商擁有不同水平的專業(yè)知識(shí)。有些人正試圖加強(qiáng)他們的團(tuán)隊(duì)來解決這個(gè)問題，”弗里茨指出。“大多數(shù)原始設(shè)備制造商都有一點(diǎn)‘不是這里發(fā)明的’綜合癥，他們認(rèn)為自己可以做到這一點(diǎn)，因?yàn)樗麄冇泻芏嗦斆鞯娜恕栴}是，您是否要將 ECU 從 100 個(gè)增加到 200 個(gè)，并使車輛的重量增加一倍？換句話說，他們現(xiàn)在的員工中往往沒有全面思考這個(gè)問題的人。他們的想法是，“我有一把錘子，因此這一定是一顆釘子。”然后他們就慘敗了。”

與大多數(shù)新技術(shù)一樣，開發(fā)人員認(rèn)識(shí)到他們需要一個(gè)適合自己 CPU 的編譯器，因此他們嘗試構(gòu)建自己的編譯器。“然后他們發(fā)現(xiàn)他們認(rèn)為可以做到的兩個(gè)人卻做不到，并意識(shí)到他們還需要四個(gè)人，然后，再需要一兩個(gè)人，”他說。“到最后，他們對(duì)它投入了如此多的感情，很難消滅它，而且這種情況會(huì)永遠(yuǎn)持續(xù)下去，直到最后他們最終購(gòu)買了他們需要的芯片并解雇了 100 名內(nèi)部開發(fā)人員。這種情況經(jīng)常發(fā)生，在汽車領(lǐng)域也不例外。傳感器融合是我們正在看到這種現(xiàn)象發(fā)生的幾個(gè)關(guān)鍵領(lǐng)域之一。就像這個(gè)領(lǐng)域的其他一切一樣，就像多年前發(fā)令槍響了一樣，人們開始跑步，然后意識(shí)到，‘我還沒有為這場(chǎng)馬拉松進(jìn)行訓(xùn)練。’”