本文是自動(dòng)駕駛仿真科普系列第二篇，上一篇為《自動(dòng)駕駛科普文之一：場(chǎng)景來(lái)源、場(chǎng)景泛化及提取》

在跟很多仿真公司的專(zhuān)家及其下游用戶交流的過(guò)程中，我們了解到，當(dāng)下，自動(dòng)駕駛的仿真，最難的環(huán)節(jié)之一是傳感器的建模。

按智行眾維CTO李月的說(shuō)法，傳感器建模可分為功能信息級(jí)建模、現(xiàn)象信息級(jí)/統(tǒng)計(jì)信息級(jí)建模及全物理級(jí)建模幾個(gè)級(jí)別。這幾個(gè)概念的區(qū)別如下——

功能信息級(jí)建模簡(jiǎn)單地描述攝像頭輸出圖像、毫米波雷達(dá)在某個(gè)范圍內(nèi)探測(cè)目標(biāo)這些具體功能，主要目的在于測(cè)試驗(yàn)證感知算法，但對(duì)傳感器本身的性能并不關(guān)注；

現(xiàn)象信息和統(tǒng)計(jì)信息級(jí)建模是混合的、中間層級(jí)的建模，它包括一部分功能信息級(jí)建模，也包括一部分物理級(jí)建模；

全物理級(jí)建模，指對(duì)傳感器工作的整個(gè)物理鏈路做仿真，其目標(biāo)在于測(cè)試傳感器本身的物理性能，比如，毫米波雷達(dá)的濾波能力如何。

狹義上的的傳感器建模擬特指全物理級(jí)的建模。這種建模，很少有公司能做好，具體原因如下：

1.圖像渲染的效率不夠高

從計(jì)算機(jī)圖形成像原理看，傳感器模擬包括光線（輸入、輸出模擬）、幾何形狀、材質(zhì)模擬、圖像渲染等模擬，而渲染能力和效率的差別則會(huì)影響到仿真的真實(shí)性。

2. 傳感器的類(lèi)型太多&模型精度、效率和通用性的“不可能三角”

僅有單個(gè)傳感器的精度高還不夠，你還需要所有的傳感器都能同時(shí)達(dá)到一個(gè)理想的狀態(tài)，這就要求建模有很廣的覆蓋度，但在成本壓力下，仿真團(tuán)隊(duì)顯然不可能對(duì)激光雷達(dá)做10個(gè)、20個(gè)版本的建模吧？?另一方面，又很難用一個(gè)通用的模型去將各種不同款式的傳感器表達(dá)出來(lái)。

模型的精度、效率和通用性是一個(gè)“不可能三角”的關(guān)系，你可以去提升其中的一面或者兩個(gè)角兩面，但你很難去持續(xù)性地把三個(gè)維度同時(shí)提升。當(dāng)效率足夠高的時(shí)候，模型精度一定是下降的。

車(chē)右智能的仿真專(zhuān)家說(shuō)：

“再?gòu)?fù)雜的數(shù)學(xué)模型也可能只能以99%的相似度模擬真實(shí)傳感器，而這剩下的1%可能就是會(huì)帶來(lái)致命問(wèn)題的因素。”

3.傳感器建模受制于目標(biāo)物的參數(shù)

傳感器仿真需要外部的數(shù)據(jù)，即外部環(huán)境數(shù)據(jù)跟傳感器有強(qiáng)耦合，然而，外部環(huán)境的建模其實(shí)也挺復(fù)雜的，并且成本也不低。

城市場(chǎng)景下建筑物的數(shù)量太多，這會(huì)嚴(yán)重消耗用來(lái)做圖像渲染的計(jì)算資源。有的建筑物會(huì)遮擋路上的車(chē)流、行人及其他目標(biāo)物體，而有遮擋沒(méi)遮擋，計(jì)算量是完全不一樣的。

此外，目標(biāo)物的反射率、材質(zhì)，很難通過(guò)傳感器建模搞清楚。比如，可以說(shuō)一個(gè)目標(biāo)是個(gè)桶狀的，但它究竟是鐵桶還是塑料桶，這個(gè)很難通過(guò)建模來(lái)表達(dá)清楚；即使能表達(dá)清楚，要在仿真模型中把這些參數(shù)調(diào)好，又是一個(gè)超級(jí)大的工程。

而目標(biāo)物的材質(zhì)等物理信息不清楚的話，仿真的模擬器就難以選擇。

4.傳感器的噪聲加多少很難確定

某Tier 1仿真工程師說(shuō)：

“深度學(xué)習(xí)算法識(shí)別物體是一個(gè)從真實(shí)世界的傳感器數(shù)據(jù)收集到信號(hào)去噪的過(guò)程，相比之下，傳感器建模則是要在理想的物理模型的基礎(chǔ)上合理地加入噪聲，而其難點(diǎn)就在于噪音如何加得才能跟真實(shí)世界足夠接近，以便既能讓深度學(xué)習(xí)模型識(shí)別出來(lái)，又能有效提升模型識(shí)別的泛化。”

言外之意，仿真生成的傳感器信號(hào)既要跟真實(shí)世界中的傳感器信號(hào)“足夠像”（能識(shí)別出對(duì)應(yīng)物體），又不能“太像”（模擬corner case讓感知模型能在更多情況下實(shí)現(xiàn)識(shí)別——泛化）。然而，問(wèn)題在于，在真實(shí)世界中，傳感器的噪音在很多情況下是隨機(jī)的，這意味著，仿真系統(tǒng)如何去模擬這些噪音，是一個(gè)很大的挑戰(zhàn)。

從傳感器原理的角度看，相機(jī)建模的過(guò)程中還需要做相機(jī)模糊化（先生成理想的模型，然后加噪音）、畸變模擬、暗角模擬、顏色轉(zhuǎn)換、魚(yú)眼效果處理等而以激光雷達(dá)模型也可分為理想點(diǎn)云模型（步驟包括場(chǎng)景裁剪、可見(jiàn)判斷、遮擋判斷和位置計(jì)算）、功率衰減模型（包括對(duì)接受激光功率、反射激光功率、反射天線增益、目標(biāo)散射截面、接口孔徑、目標(biāo)距離、大氣傳輸系數(shù)、光學(xué)傳輸系數(shù)等子的設(shè)定）和考慮天氣噪點(diǎn)的物理模型等。

5.資源的限制

智行眾維CEO安宏偉提到了資源對(duì)感知虛擬仿真的限制：

“我們要對(duì)傳感器做完全的物理級(jí)建模，比如攝像頭的光學(xué)物理參數(shù)等都要清楚，還需要知道目標(biāo)物（感知對(duì)象）的材質(zhì)、反射率等數(shù)據(jù)，這個(gè)工程量巨大——在有足夠人力的情況下，一公里場(chǎng)景的建設(shè)周期需要差不多1個(gè)月。即使真能建好，模型的復(fù)雜度也極高，很難在當(dāng)前的物理機(jī)上跑起來(lái)（實(shí)在太耗費(fèi)算力了）。”

“未來(lái)，仿真都是要上云的，看起來(lái)，云端的算力‘無(wú)窮無(wú)盡’，但具體分?jǐn)偟侥硞€(gè)單一節(jié)點(diǎn)的單一模型上，云端的計(jì)算能力可能還不如物理機(jī)——并且，在物理機(jī)上做仿真時(shí)，如果一臺(tái)機(jī)器的計(jì)算資源不夠，可以上三臺(tái)，一臺(tái)負(fù)責(zé)傳感器模型，一臺(tái)負(fù)責(zé)動(dòng)力學(xué)，一臺(tái)負(fù)責(zé)規(guī)控，但在云上跑仿真，?能用在單一場(chǎng)景單一模型上的算力并不是無(wú)窮無(wú)盡的，那么這個(gè)就限制了我們這個(gè)模型的復(fù)雜度。”

6.仿真公司很難拿到傳感器的底層數(shù)據(jù)

全物理級(jí)建模需要把傳感器的各種表現(xiàn)都用數(shù)學(xué)模型構(gòu)建出來(lái)。比如，將信號(hào)接收器的某個(gè)具體性能、傳播路徑（中間受空氣的影響、反射折射的整個(gè)鏈路）用數(shù)學(xué)公式表達(dá)出來(lái)。然而，在軟硬件尚未真正解耦的階段，傳感器內(nèi)部的感知算法是個(gè)黑盒子，仿真公司無(wú)法了解算法究竟是個(gè)什么樣子。

全物理建模需要獲取傳感器元器件（如CMOS芯片、ISP）的底層參數(shù)，對(duì)這些參數(shù)做建模，而且，還需要知道傳感器的底層物理原理，并對(duì)激光雷達(dá)的激光波、毫米波雷達(dá)的電磁波做建模。

對(duì)此，有一位仿真專(zhuān)家說(shuō)：

“要做好傳感器建模，得深刻理解傳感器的底層硬件知識(shí)，基本上相當(dāng)于要知道怎么設(shè)計(jì)一款傳感器。”

然而，傳感器廠商一般不愿意開(kāi)放底層數(shù)據(jù)。

智行眾維CTO李月說(shuō)：

“這些底層參數(shù)你如果拿到了，拿著它去做建模，那你基本上就能把這個(gè)傳感器造出來(lái)了”

智行眾維CEO安宏偉說(shuō)：

“通常主機(jī)廠在和傳感器供應(yīng)商打交道的時(shí)候，不要說(shuō)拿到材質(zhì)物理參數(shù)這些細(xì)節(jié)，能拿到接口協(xié)議就已經(jīng)很不容易了。如果主機(jī)廠足夠強(qiáng)勢(shì)，傳感器供應(yīng)商也積極配合，他們可以拿到接口協(xié)議，但也不是全部。連主機(jī)廠都很難拿到的東西，仿真公司就更難了。”

事實(shí)上，傳感器的物理級(jí)仿真是只能由傳感器廠商去自己去做的。國(guó)內(nèi)很多傳感器廠商更多地外采芯片等零部件來(lái)做集成，因此，能對(duì)做傳感器物理級(jí)仿真的，實(shí)際上是TI、恩智浦這些上游供應(yīng)商。

某商用車(chē)無(wú)人駕駛公司的仿真工程師說(shuō)：

“傳感器的仿真難做，導(dǎo)致傳感器選型的過(guò)程很復(fù)雜。我們要做傳感器選型，基本上都是傳感器公司先把樣件寄給我，我們?cè)侔迅鞣N類(lèi)型的都裝上到車(chē)上去測(cè)試。?如果傳感器廠商能跟仿真公司合作，他們之間就可以把接口全部拉通，提供精準(zhǔn)的傳感器建模，那我們就可以以很低的成本獲知傳感器的信息，做傳感器選型的工作量會(huì)大幅度減少。”

不過(guò)，51 World CTO鮑世強(qiáng)的說(shuō)法是：

“感知仿真現(xiàn)在還處在初期，還遠(yuǎn)遠(yuǎn)沒(méi)做到需要把傳感器里邊的建模搞得那么精細(xì)的階段。把傳感器里邊拆開(kāi)建模那些東西，我覺(jué)得毫無(wú)意義。”

此外，按某無(wú)人駕駛公司仿真負(fù)責(zé)人的說(shuō)法，傳感器仿真做不了，并不等于感知的仿真完全做不了。

比如，硬件在環(huán)（HIL）可以接入傳感器實(shí)物（傳感器和域控制器，都是實(shí)物）來(lái)測(cè)試。接入傳感器實(shí)物，既可以測(cè)試感知算法，也可以測(cè)試傳感器本身的功能和性能。這種模式下，傳感器是真實(shí)的，相比于傳感器仿真，仿真精確度更高。?

但由于涉及到配套硬件，集成起來(lái)復(fù)雜，而且這種方式依然需要傳感器模型來(lái)控制環(huán)境信號(hào)的生成，成本也更高，因而，實(shí)踐中很少使用這種方法。

附：自動(dòng)駕駛仿真測(cè)試的兩個(gè)階段

（摘自公眾號(hào)“車(chē)路慢慢”在2021年3月26日推送的文章《自動(dòng)駕駛虛擬仿真測(cè)試介紹》） ? 考慮到近期的實(shí)際情況，自動(dòng)駕駛仿真大致要分為兩個(gè)發(fā)展階段（當(dāng)然這兩個(gè)階段可能并沒(méi)有明顯的時(shí)間界限）。 ?

（1）階段一： ? 在試驗(yàn)室和封閉試驗(yàn)場(chǎng)內(nèi)對(duì)傳感器的感知識(shí)別模塊進(jìn)行測(cè)試，在虛擬仿真環(huán)境對(duì)決策控制模塊進(jìn)行測(cè)試，仿真環(huán)境直接向決策控制模塊提供目標(biāo)列表。 ? 這主要是因?yàn)槟壳皩?duì)傳感器的建模還有很多局限，從而不能進(jìn)行有效（甚至是正確）的仿真。比如攝像頭輸出的圖片較容易仿真，但是污漬、強(qiáng)光等特性仿真難度較大；而對(duì)于毫米波雷達(dá)如果建立精度較高的模型，則計(jì)算速度較慢，不能滿足仿真測(cè)試的需求。 ? 在試驗(yàn)室和封閉試驗(yàn)場(chǎng)可以對(duì)測(cè)試環(huán)境進(jìn)行完整的控制和數(shù)據(jù)記錄。比如布置不同類(lèi)別、位置和速度的行人和車(chē)輛，甚至可以對(duì)雨、雪、霧和強(qiáng)光的環(huán)境要素進(jìn)行模擬，并將傳感器處理輸出的目標(biāo)列表與真實(shí)環(huán)境進(jìn)行對(duì)比，從而給出對(duì)感知識(shí)別模塊的評(píng)估結(jié)果和改進(jìn)建議。 ? 這么做的好處是，在傳感器建模有很多局限的情況下，依然能夠在仿真環(huán)境下對(duì)決策控制模塊進(jìn)行測(cè)試，提前享受仿真測(cè)試的優(yōu)勢(shì)。 ?

（2）階段二： ? 在虛擬仿真環(huán)境進(jìn)行高精度的傳感器建模，從而對(duì)完整的自動(dòng)駕駛算法進(jìn)行測(cè)試。 ? 這樣不僅可以在同一環(huán)境下進(jìn)行測(cè)試，從而提高測(cè)試效率、測(cè)試場(chǎng)景覆蓋率和復(fù)雜度；而且可以對(duì)一些基于AI的算法進(jìn)行端到端的測(cè)試。 ? 這一階段的難點(diǎn)，一方面是前面提到的滿足測(cè)試需求的傳感器建模，另外一方面是不同傳感器廠家和OEM廠家直接交互的接口很可能不一致（有些情況下可能并不存在）。 ?

編輯：黃飛

?