圍繞自動駕駛車輛新技術應用的一個重要問題，是哪種類型的傳感器或傳感器組合能夠提供最佳的價格和性能。

這個問題很復雜，因為只有在用于控制車輛的系統能力得到表征之后，才能按要求選擇用于執行特定任務的傳感器。自動駕駛車輛按定義可以包括三種主要系統組件。

第一種，負責感知車輛周圍的環境；

第二種，測繪車輛周圍的環境，然后使其能夠在任何時間確定其位置；

第三種，在各種行車場景下負責自動駕駛車輛的決策能力。根據當前主要汽車廠商和眾多第三方供應商所進行的研究，業界似乎已經達成某種共識，即自動駕駛汽車需要應用多種類型的傳感器，以感知并測繪車輛周圍的環境。Robert Bosch（羅伯特·博世）、Aptiv（安波福，拆分自德爾福）和Continental（大陸）的工程師都認為自動駕駛汽車需要利用雷達、攝像頭以及激光雷達（LiDAR）系統來捕獲數據。這些傳感器技術可以相互補充，在白天和夜晚、雨、霧或雪等天氣中提供最佳的可靠性。

事實上，Ford（福特）、General Motors（通用汽車）、Volkswagen（大眾）和Nissan（日產）等主要汽車廠商的開發人員似乎也都對此表示認可，因為它們都相繼展示了采用各種類型傳感器的自動駕駛汽車。

大多數廠商的自動駕駛試驗車輛均采用了包括攝像頭、雷達和LiDAR在內的多種傳感器技術

攝像頭、雷達和LiDAR

自動駕駛汽車傳感器市場預測數據來源：《自動駕駛汽車傳感器-2018版》

據麥姆斯咨詢報道，2022年預計自動駕駛汽車市場應用的激光雷達市場營收將達到16億美元，雷達市場營收將達到4400萬美元，攝像頭市場營收將達到6億美元。通常，攝像頭構成了大多數汽車傳感系統的核心，它們能夠捕捉車輛周圍環境360°視場（FOV）的完整圖像。當然，也可以使用24GHz短程雷達（SRR），以及77GHz頻段的遠程雷達（LRR）系統。

另一方面，LiDAR系統可提供最遠300米、360°視場范圍內，垂直和水平分辨率高達0.1°的實時3D數據。裝配在車輛中使用時，LiDAR系統可以從車輛周圍固定和移動的物體捕捉密集的3D點云數據。而發射和接收無線電波而非激光的雷達系統，可以與LiDAR系統互補，因為它們可以用于提供低反射率物體的速度和方位數據。遠程雷達傳感器可以跟蹤高速物體（例如迎面駛來的車輛），而短程雷達傳感器則可以提供車輛附近的移動物體的豐富信息。另一方面，攝像頭則可以測量物體反射或發射的光，進一步增強車輛周圍物體本身的細節。

自動駕駛車輛如果包含所有上述類型的傳感器，可以確保其中一種傳感器的固有技術局限，能夠被一個或多個其他傳感器的優勢所補償。然而，如果采用這種方案，那么問題就在于必須開發一種車載處理模型，來處理由各種傳感器捕獲的大量數據。數據融合處理這一難題的一種方案，是將來自車輛上的多個傳感器源的數據，在處理之前在空間上、幾何上和時間上進行對準融合，這會帶來一個龐大的單個傳感系統。

這種方案可以使一個或多個車載處理器，在某個傳感器探測不夠準確時，估算自動駕駛車輛的狀態。另一種方案，是設計多個獨立的傳感器處理系統，每個系統都可以自行支持完全自動駕駛。然而，無論采用哪種方案，都需要具備多功能、冗余和失效運行的系統架構，來實現自動駕駛。

博世的工程師正在開發一種自動駕駛車輛網絡，該網絡可以將來自車輛中所有傳感器的數據在一種被稱為“傳感器融合”的過程中進行整合。這些傳感器數據由車輛中的電子控制單元評估，以規劃車輛的行駛路徑。為了實現安全性和可靠性最大化，必要的計算工作由許多并行工作的處理器共同完成。不過，Intel（英特爾）/Mobileye的工程師則正在開發一種不同的方案，來努力攻克他們認為不能擴展，因而成本很高的一種自動駕駛車輛控制系統。

英特爾/Mobileye提出了一種完整的數學模型，以確保自動駕駛汽車以安全的方式運行。這種被稱為“Responsibility-Sensitive Safety（RSS）”的模型，為人類的責任和謹慎概念提供了具體且可衡量的參數，并定義了一種“安全狀態”，旨在無論其他車輛采取何種反應和行為，防止自動駕駛車輛成為事故的誘因。多傳感系統他們已經展示了一種僅配備攝像頭的自動駕駛汽車，作為其策略的一部分，將包括在公司構建的所謂的“真正冗余”的系統中。現在，他們打算構建一個由多個獨立設計的傳感系統組成的傳感系統，以補充基于攝像頭的系統，其中也包括了雷達和LiDAR。來自攝像頭的數據融合將用于定位車輛，來自雷達和LiDAR的數據融合將在規劃車輛軌跡的后期使用。

與最初融合來自攝像頭、雷達/LiDAR的原始數據相比，每個系統都能夠自行支持完全自動駕駛。除了感測車輛周圍的環境之外，安裝在自動駕駛車輛上的傳感器套件還將負責周圍環境的測繪，使車輛能夠在任何時間確定其所在的位置。目前已經采用的一種方案，是記錄由LiDAR先前捕獲的3D點云以創建地圖，然后通過將車輛LiDAR行駛中獲得的3D點云與地圖上的3D點進行比較，來定位車輛的位置。另一種方案，也就是英特爾/Mobileye所支持的方案，是充分利用已配備攝像頭和特定軟件的大量車輛，其軟件可以檢測車輛周圍有意義的物體。

這種方案將帶來基于眾包的地圖創建，然后將其上傳到云端。然后，所有自動駕駛車輛可以通過蜂窩網絡等現有通信平臺接收這些地圖數據。由眾多傳感器捕獲的如此大量的數據，將需要新的車載計算基礎設施，來實現大規模數據的車輛內傳輸。據ABI Research自動駕駛高級分析師James Hodgson稱，由攝像頭、雷達、LiDAR以及超聲波傳感系統等多種傳感器產生的數據量，每8小時可達到32TB。

為了定義可以處理如此高數據速率的基礎設施，Aquantia、博世、大陸、NVIDIA（英偉達）和大眾汽車建立了自動駕駛汽車網絡（Networking for Autonomous Vehicles, NAV）聯盟。通過合作，這些公司計劃在自動駕駛汽車內部搭建數千兆位的以太網，同時解決與噪音和抗擾、功耗、可靠性以及安全標準相關的挑戰。

車載數據處理系統最后，為了安全進行驗證和認證，車輛計算架構中的車載系統，存在如何處理來自傳感器的數據，以使車輛能夠在各種駕駛場景下恰當運行的問題。車輛僅能夠感知其環境并實現定位是不夠的，它還必須能夠基于所獲取的數據進行路徑規劃并執行。不用說，在這方面人工智能（AI）系統的作用將變得越來越普遍，人工智能將使車輛能夠獲得可能發生的眾多潛在交通狀況的完整認知。

這種在交通狀況中學習的系統過程被稱為“深度學習”，并從中得出自己的推論，從而提供一系列行動方案。然而，由于這種人工智能系統的運行概率問題，因此業界擔心它們的可靠性可能不夠。為此，Mobileye等公司正在人工智能決策解決方案之上，增加一個單獨的、確定性的軟件層。

Mobileye的RSS模型將人類安全駕駛的理念，形式化為具有邏輯上可證明的可驗證模型，定義恰當的響應，并確保自動駕駛車輛僅做出安全的決策。其模型本身負責基于來自路徑規劃系統的結果來驗證車輛的軌跡，路徑規劃系統則基于車輛傳感器獲取的數據創建行動計劃。安全驗證和認證顯然，無論在自動駕駛車輛中使用何種軟件，都需要進行驗證和認證，以確保自動駕駛車輛做出的決策是安全的。

事實上，自動駕駛車輛可能會遇到各種各樣的潛在行駛狀況，在這種車輛中驗證所使用的軟件采用何種適當的安全等級所涉及的挑戰，可能是工程師面臨的最大挑戰之一。特別是考慮到所使用的許多人工智能軟件系統本質上是非確定性的，因此測試很困難。因此，雖然一些供應商可能會認為創造真正的自動駕駛汽車的技術挑戰已經解決，但自動駕駛功能仍然依賴于廣泛的軟件驗證，更不用說監管部門的批準了。直到這些問題也被解決，完全自動駕駛車輛本身，可能還需要幾年時間。