作者：Dr. Luo，東南大學工學博士，英國布里斯托大學博士后，是復睿微電子英國研發中心GRUK首席AI科學家，常駐英國劍橋。Dr. Luo長期從事科學研究和機器視覺先進產品開發，曾在某500強ICT企業擔任機器視覺首席科學家。

ADS純視覺感知產品設計的痛點觀察

自動駕駛ADS是新世紀產業革命即行業數字化AI化的第二個發力市場，近幾年來具備L2/L2+功能的車型紛紛成功上市并占領市場，特定場景的L3/L4級功能的車型也開始落地。L3是有關安全責任歸屬的臨界點，L3以上才可以被稱為是自動駕駛，駕駛主體將變成車輛的自動駕駛系統，人類駕駛員只在必要時接管。隨著AI技術與駕駛場景的深度融合，智能車AVs將按照大眾的預期逐步實現從低速到高速、從載物到載人、從商用到民用的落地節奏。領航輔助駕駛（Navigation On Autopilot）做為L2+級功能也受到大眾廣泛的歡迎，在自動巡航控制ACC、車道居中控制LCC、勻速保持控制ALC等初級功能基礎上，允許汽車根據導航信息，自主完成上下匝道、高速巡航、換道超車等智能化操作。半封閉、道路結構化的高速場景復雜度較低，易于智能駕駛功能量產落地，商業化落地主要為車道保持輔助LKA、ACC、車道居中輔助LCA、高速NOA等功能。

城市路況復雜度高，行人、非機動車、機動車等道路因素較多，開發NOA功能挑戰性顯然更大。上述所說的針對L2的場景應用，可以解放人的雙手和雙腳，但駕駛員做為責任主體，必須負責監督路況并在需要時能夠迅速接管駕駛任務，責任主體的分心或者打盹可以說仍是當前一個非常致命性的因素之一，需要車輛銷售人員的正確宣傳與算法的技術有效檢測這類事件，并配合用戶進行改善。大量的分析已經表明，目前在很大的程度上AVs的安全性能估計比人類駕駛(也可以說人類自身的最好能力或者是人類心理可接受的期望值)明顯要差一個數量級以上，雖然可以適應仿真和簡單低遮擋的約束真實場景，但仍難以應對城市的復雜道路交通場景，包括惡劣天氣環境，定位信號缺失，目標高度遮擋，有限全局視野，人車交互，車車交互，以及小尺寸目標或干擾目標等。

場景動態適應能力問題，即所謂“Long-Tail Challenge”長尾挑戰，依舊是ADS當前待解決的主要難題之一。 ? 為了提升ADS的時空4D感知能力和人身安全等特性，市場上AVs類似配置29個攝像頭，6個Radar和5個LiDAR多模多傳感器的設計已經非常常見。對比昂貴的LiDAR設備，攝像頭一個最大的優勢是高分辨率和低成本，純視覺的多攝像頭組合設計可以提供充分的場景語義信息。針對當前市場上所采用的純視覺感知的產品設計，除了上述極端場景外，本文在這里將重點交流一下我們的總體深度洞察，尤其是包括應用的主力場景，即非惡劣天氣下被大眾認為不容易被干擾或者是認為目標不容被易漏檢誤檢的行駛場景等等。

對于ADS Auto-Pilot純視覺感知產品應用，現有市場上頻頻爆發出來的嚴重或者致命的交通事故，反而多發生在這類比較正常的天氣和一些認為很容易處理的交通場景下。如圖1所示(備注：圖片都來自官方報告或者官網新聞)，事故原因大體包括: ?

(2022年7月) 臺灣某市，天氣良好，Auto-Pilot模式，與高速公路的路邊橋墩相撞，導致車輛起火，人員重傷

(2022年7月) 美國佛州，天氣良好，Auto-Pilot模式，與洲際公路的路肩停車位的卡車相撞，導致車輛起火，2人死亡

(2022年x月) 美國多州，夜晚行駛，Auto-Pilot模式，與拋錨車輛(拋錨現場設置有warning lights, flares, cones, and an illuminated arrow board)相撞，16次車禍中，15人傷1人亡

(2021年7月20日-2022年5月21日) 美國多州，Auto-Pilot模式，總共392起EV車禍，273次車禍來自純視覺感知產品應用

(2018年3月) 美國加州，天氣良好，Auto-Pilot模式，與高速公路的邊界柵欄相撞，導致車輛起火，人員死亡

(2016年下月) 美國威州，天氣良好，Auto-Pilot模式，(第一起)與洲際公路的路肩停車位的卡車相撞，導致車輛起火，1人死亡

如圖1所示，事故分析原因比較復雜，人為疏忽因素猜測應該是主因(例如系統感知決策能力不滿足應用場景時責任人主體未能及時接管車輛等等)。有關系統感知決策能力問題，目測分析有可能來自于感知層目標識別，其原因可能包括：未能準確識別倒地的貨車、路邊橋墩、可行駛的區域，或者攝像頭臟污，器件突然失靈等等。從上述分析可以看出，從2016年的第一起，到2022年的相同事故發生，純視覺方案未能有效識別路肩停車位的卡車還是有很大可能性的。我們的出發點是希望能夠更好的解決ADS行業落地的眾多難題，當然不希望這些前沿技術探討誤導了行業專家和消費者心理，也特別注明不會對文中任何敏感領域的問題探討承擔任何法律責任，完整的事故分析結果請讀者以官方出臺的報告為事實依據。 ? 對比US全國1 in 484,000 miles的事故率，來自某著名T車廠發布的2021年自產車交通事故安全評估的分析數據如下：

可以看出十倍的提升，依舊滿足不了大眾對智能出行安全的期望值。如果定位在上百倍或上千倍的提升為目標值或者說大眾可以接受的程度，對行業設計者來說，前方的路依舊是任重而道遠，更需要上下而求索，在5-10年內交付一個比較完美的答案。

ADS的場景不確定性

自動駕駛ADS主要是由高速場景向城市道路場景演進來落地領航輔助NOA功能，AI與場景的深度融合，推動ADS逐步實現從低速到高速，從載物到載人，從商用到民用，從階段一提供L2高級輔助駕駛和L3擁堵高速公路副駕駛，發展到階段二可以提供L3擁堵公路自動駕駛和L4高速公路自動駕駛，最終實現階段三的L4城郊與市區自動駕駛和L5商用無人駕駛等等。ADS算法的典型系統分層架構如圖2所示，一般包括傳感層，感知層，定位層，決策層(預測+規劃)和控制層。每個層面會采用傳統算法模型或者是與深度學習DNN模型相結合，從而在ADS全程駕駛中提供人類可以認可的高可靠和高安全性，以及在這個基礎上提供最佳能耗比、最佳用車體驗、和用戶社交娛樂等基本功能。

圖2：ADS技術棧案例 (Nageshrao,2022)

極端惡劣場景問題

ADS部署的傳感器在極端惡劣場景(雨雪霧、低照度、高度遮擋、傳感器部分失效、主動或被動場景攻擊等)的影響程度是不一樣的。所以傳感器組合應用可以來解決單傳感器的感知能力不足問題，常用的多模傳感器包括Camera(Front-View or Multiview; Mono or Stereo；LD or HD)，毫米波Radar(3D or 4D)和激光雷達LIDAR(LD or HD)。如圖3所示，ADS傳感器特性可以總結如下：

Camera

優勢：

可以提供360環視和遠距前后視角的環境語義表征。

單目和多目Camera可以提供一定程度的目標深度信息。

不足：

(如圖4和圖7所示)受惡劣場景影響嚴重：雨雪、濃霧、強光等場景。

鏡頭臟污會嚴重影響圖像質量。

需要一個照明環境。

LIDAR

優勢：

可以提供場景的空間信息。

不足：

難以檢測有反光效應的或者透明的物體。

(如圖5所示)當雨速高于40mm/hr到95mm/hr，信號反射密度嚴重損失并產生雨枕現象。

(如圖5、圖6所示)大雪天氣下可視距離縮短并產生反射干擾波形。

(如圖5所示)濃霧場景會產生鬼影現象。

溫差會產生額外時間延遲。

Radar

優勢：

總體對環境的適應性高。

對周圍車輛檢測準確率高，可以提供目標的速度信息。

4D Radar還可以提供目標高度的可靠信息。

不足：

不適合做小目標檢測。

不能檢測塑料袋等材料。

(如圖6所示)大雨濃霧和暴風雪會產生接收信號強衰減和斑點噪聲。

圖3：ADS傳感層的不確定性與性能對比(Khan, 2022)

圖：LiDAR的暴風雪場景(Zhang 2022) ?

Camera和LiDAR的雨天場景(Zhang 2022) ? ADS感知層的一個主要挑戰是惡劣場景的挑戰。如圖8所示，對比LiDAR和Camera，4D高清Radar發送的毫米波，可以有效穿越雨滴和雪花，不受低照與雨雪霧天氣影響，但會受到多徑干擾問題影響，總體來說對環境的適應性高，單獨或者組合應用對2D/3D目標檢測非常有優勢，同時還可以提供高精度的目標高度和速度信息，可以有助于ADS的預測規劃性能提升。

圖：4D Radar，Camera，LiDAR點云的3D目標檢測識別對比案例 (Paek, 2022) ?

遮擋場景問題

ADS感知層的主要應用場景包括高速公路，城郊與市區道路；十字路口，交通環島，潮汐公路；隧道，停車場等，其主要任務是基于多模的2D/3D人車物目標識別，動態目標跟蹤與速度識別，交通標志識別，車道線識別，紅綠燈識別，路面可行駛區域語義分割，路面障礙檢測，盲區檢測，交通事件檢測，司機打瞌睡檢測等。與此對應的核心產品特性包括：碰撞預警，緊急剎車，車道偏離預警，傳感部分失效預警；車道變道，車道并道，路口通行，行為預測，軌跡預測，軌跡規劃；車速控制，轉向控制等等。 ? ADS感知層的一個挑戰是目標遮擋即感知盲區的挑戰。單純依賴AVs自身360全方位近距感知和遠距感知，很難能夠讓ADS從理論上完全超越人類的駕駛水平，通過預測預警達到更低的交通事故率和提供更好的人身安全。如圖9所示的典型前方遮擋場景，Camera畫面相對影響較小，LiDAR前方有大片區域由于遮擋出現空白，嚴重影響感知決策。一個可行的策略是利用這類3D陰影特性進行障礙目標檢測，即將陰影與遮擋目標關聯，通過這種先驗假定來降低目標漏檢率(Haul, 2022)。 ?

圖9：近場目標遮擋場景（Haul, 2022) ? 如圖10所示的對比案例，可以看出車路協同可以有效解決盲區與上述所說的長距感知的挑戰，但對應的缺點也不言而喻，部署的成本與長期可靠運營費用以及如何防網絡攻擊問題，這決定了對鄉村和偏遠地區的場景，需要尋求AVs自身的多模感知認知決策能力提升。 ?

圖10：獨立感知與車路協同感知對比案例(Mao, 2022)

目標可感知和小目標的問題

ADS感知層的一個挑戰是可感知目標距離的挑戰。遠距離(250-300米)小目標感知任務對高速行駛AVs的安全響應速度是至關重要的。對3D目標識別等視覺任務可說，隨著感知距離增加，抽取高密度特征的AI主干網絡的計算復雜度會按照二次元速度增加，對算力需求也加速度增加。從圖12的對比還可以看出，采用長距LIDAR可以提升感知距離，特征點可以覆蓋更大的區域但更稀疏，同時也會產生”Centre Feature Missing(CFM)”即點云空心化或者叫黑洞的問題，極端場景包括近距離的超大車輛的中心特征缺失。解決CFM挑戰問題的一般方法是在BEV特征空間依賴卷積操作通過特征發散來提供中心區域的感知場，或者通過點云中非空的區域來預測中間空心區目標，代價是目標預測誤差和不確定性的輸出結果，或者通過連通域打標簽CCL進行Instance Point Group進行插值和濾波，以及整個點云的超分變率Super-Resolution來改善性能。 ?

圖12：短距LIDAR點云(紅色，75米)與長距LIDAR點云(藍色，200米)對比案例 (Fan, 2022)

立體盲Stereoblindness的問題

人類是通過雙目視差來進行2D/3D目標的識別與定位，純視覺感知設計，通過跨攝像頭部署或者希望通過單目視頻信息進行3D目標識別，總體性能在實際駕駛環境中有產品應用體驗。立體盲的問題，可以對比參考一下這些場景分析來定義，如圖13所示的兩個事故案例：純視覺感知算法錯把2D宣傳畫當成真實的3D目標，不停地針對假想的在前方飛奔的行人進行緊急剎車，徹底是一種邏輯混亂狀態，嚴重的話也會因為采取了錯誤決策導致車禍。設想一下，如果類似宣傳畫、交通障礙標志(宣傳畫或者實際物品)在行駛車輛上，也許通過點云來識別目標是否運動，純粹靠單目或跨攝像頭融合感知3D或者所謂活體目標，困難重重。一種解決的思路是采用Few-shot Learning-based的方法來消除立體盲問題帶來的致命安全威脅。如圖14所示，EyeDAS案例是對檢測到的目標摳圖進行四種屬性的非監督概率估測，通過一個宏分類器來決策是否是2D/3D目標。類似這樣的實現策略，相信如果有足夠的數據，一個DNN網絡同樣可以基于單目做很好的活體或者3D目標識別，可以見到類似的這樣設計，但立體盲問題需要重點評估。 ?

圖14：EyeDAS 后處理算法案例(Levy 2022) ? ADS的感知算法不確定性 ? 從UN的統計數據可以看到，全球每年道路交通事故都約有5000萬人傷，125萬人亡，經濟損失可以高達約1.85萬億美元，而94%交通事故均來自可以避免的人為因素，且90%發生在中低收入的國家。研究表明，將有效預警提前1.9秒，事故率可下降90%，而提前2.7秒，事故率可下降95%，所以AI算法的感知認知領域的技術進展推動了輔助ADAS以及自動駕駛ADS技術的行業落地也是勢在必然的。2021年統計數據表明，一個US司機在自然駕駛環境NDE下每英里的車禍發生平均概率約在百萬分之一的水平。而2021年US加州自動駕駛車輛AVs最好的disengagement rate也只能做到十萬分之一。由于篇幅原因，本文不準備全面展開討論感知算法中眾多不確定性問題。只重點討論1-2個大家比較關注的技術難點。

稀缺目標檢測的問題

“長尾問題”沒有一個很明確的定義，一般指AVs即使經歷了交通公路百萬公里數的路況測試，對每個AI算法模塊而言，包括感知層和決策層(預測+規劃)，仍不能完全覆蓋各種各樣的低概率安全至關重要的復合駕駛場景，即所謂的“Curse of Rarity(CoR)稀缺問題”。業界對如何實現一個通用的任意目標種類的檢測器或者是一個通用的運動目標檢測器，依舊是一個未解的技術難題。如何定義和分析這些稀有場景，也可以有助于更好理解目標檢測識別語義理解預測決策算法性能的提升，從而加速安全可靠的ADS解決方案的開發與部署。 ? 如同圖15和本文開頭所提到的交通事故原因分析所述，CoR問題中稀有(小樣本)目標的場景比比皆是，這里簡短羅列一些供大家參考：

Traffic Cone，Traffic Barrels, Traffic Warning Triangles未能被準確識別導致的二次車禍場景

不容易被檢測到的公路上飄逸的塑料袋

山體滑坡導致公路路面障礙物

公路上行走的各類動物

車前方正常行駛交通車輛，如果裝載了交通交通標志物體如何有效檢測和決策

有一定坡度的路面如何有效進行2D/3D物體檢測

圖16：ADS中CoR問題的呈現圖 (Khan, 2022) ? 如圖16所示，CoR稀缺問題總體有很多中解決方法，但在機器人、ADS領域的一個關鍵挑戰是系統安全性能的保證。一個解決的思路是采用仿真來產生上述所提的大量稀少的安全事件場景，但仍然遠遠不夠，原因在于多數仿真環境采用手工設計的規則很難模仿現實駕駛場景的高復雜性與不確定性，安全相關的真實事件數據非常難以采集，實際路況中人車交互和車車交互也很難建模，安全度量和評估也同樣異常艱難。從AI算法角度，可以在仿真數據基礎上繼續結合Importance Sampling和Importance Splitting方法，Importance Sampling方法可以根據輸入的概率分布來對輸出的Likelihood Ratio釋然比進行加權來產生無偏置的估計，這只適合簡單的場景。Importance Splitting方法強激勵的通道可以繼續分解，可以將稀有事件的估計分解成條件概率分布序列從而減少估計方差，但人工設置的閾值選取是一個挑戰，也很難評估Policy空間的性能敏感性，尤其是針對near-miss事件和交通事故等各類不確定性。 ?

涉及交通安全的事件場景數據是非常稀缺的。假定上億英里里程數可能碰到一次AVs的致命事件，需要上萬億英里的里程數估計才能積累足夠的數據。從工程實踐來看是非常不現實的，雖然2022已有幾個國家先后開通了ADS L4車輛上路的法規，但這個僵局嚴重影響了AVs安全性能的提升和部署進程。一個可行的方案是通過收集人駕駛的車輛數據，例如US交通部的統計，每年全國有3萬億英里的里程數累計，其中包括6百萬次車禍，2百萬人受傷，3萬人致命傷亡事件。避開數據采集的隱私問題不談，這類自然駕駛環境NDE海量車輛軌跡數據，可以有助于建立高保真NDE模型，從而通過仿真環境來構建大量合成數據，這樣的思路在過去對其它行業感知類視覺任務已經證明是非常行之有效的。

? 業界第二種思路是將這類涉及交通安全事件的發生概率降低到人類可以接受或者可以忽略的水平。如圖11所示，解決問題的途徑包括協同CAV技術，即通過對道路基礎設施部署大量的多模傳感設備(Camera, LIDAR, Radar)，通過 V2V，V2I(例如路邊邊緣計算設備RSD)和V2X通信技術來提供車車或者車路協同來實現知識與信息共享，有效解決單個AVs由于遮擋和有限視野問題產生的難決策的僵局。相對而言，單AV的多攝像頭、多模融合感知多任務共享，以及CAV(V2V,V2I)之間跨攝像頭、跨模感知融合技術目前已經有非常明顯的進展。

目標檢測置信度問題

對目標檢測任務而言，一個主要的發展趨勢，是從CNN(Compute-bound)向Transformer (memory-bound)演進。CNN目標檢測方法包括常用的Two-Stage Candidate-based常規檢測方法(Faster-RCNN)和One-Stage Regression-based 快速檢測方法(YOLO, SSD, RetinaNet, CentreNet)。Transformer目標檢測方法包括DETR, ViT, ?Swin Transformer, Detection Transformer (如Error! Reference source not found.所示)等等。兩者之間的主要差別是目標感知場的尺寸，前者是局部視野，側重目標紋理，后者是全局視野，從全局特征中進行學習，側重目標形狀。 ? 對于這些目標檢測識別的SOTA深度學習DL模型而言，采用Softmax或者Sigmoid層做預測輸出，一個常見的問題是，由于遮擋等多因素原因，會導致網絡層產生過高的置信度預測，會遠偏離實際的概率分布score，如圖17所示。而且DNN網絡越深，神經元越多，這種叫做Overconfidence的交叉效應也越明顯。對應感知輸出結果會極大影響ADS決策甚至會產生錯誤決策。一種可行的技術策略是在DNN中添加一個基于貝葉斯最大似然率ML或最大后驗概率MAP的推理層，這種基于目標識別的概率特性可解釋性強，更值得信賴。 ?

圖17：Softmax過高置信度分布VS概率密度分布的案例(Melotti 2022) ? ADS算法設計的一個艱巨任務是如何減少Overconfidence預測，如何捕獲這種預測的不確定性。然而這類不確定性估計和對應基于安全的設計是一個很大的挑戰，不確定性與采用的算法形態(模塊化的或者端到端的；多模態實現；深度融合或者部分模塊聯合建模的策略)、數據規模、不確定性的量化表征(熵、交互信息、KL Divergence、預測方差)、多智能體的交互狀態和行為都非常相關，也不容易建模，所以有改善，仍待從理論的角度進行提高，這也是當前學術研究的一個最大熱點，即如何有效對ADS系統進行概率估計，確保AVs車輛在行駛中保持在一個安全狀態。一些有效的嘗試包括采用Generalized Polynomial Chaos(GPC)混沌學GPC模型來取代感知模型中的復雜度感知分量，并用來評估加入不安全狀態的狀態分布或者是概率，評估的準確度很接近Monte Carlo仿真，并有幾倍計算速度提升。 ?

ADS感知的數據驅動DDM模型，其安全可信某種程度上其實是來自與訓練數據中隱含的行為定義，這對實現ADS安全至上的感知帶來了大挑戰。實際行駛應用中(可以認為是隨機的、部分可觀察的交互環境)可以通過對當前運行狀態的不確定性進行估計，進而調整系統隨后的行為，和基于這些估計決定AVs的安全距離控制。

編輯：黃飛