攝像頭是ADAS核心傳感器，相比毫米波雷達和激光雷達，最大優勢在于識別（物體是車還是人、標志牌是什么顏色）。汽車行業價格敏感，攝像頭硬件成本相對低廉，因為近幾年計算機視覺發展迅速，從攝像頭角度切入ADAS感知的創業公司數量也非常可觀。

　　這些創業公司可以統稱為視覺方案提供商。他們掌握核心的視覺傳感器算法，向下游客戶提供車載攝像頭模組，芯片以及軟件算法在內的整套方案。前裝模式下，視覺方案提供商扮演二級供應商的角色，與Tier1配合為OEM定義產品。后裝模式里，除了提供整套設備，也存在售賣算法的模式。本文中將對視覺ADAS功能、硬件需求、評價標準等進行解析，并將參考Mobileye對國內11家供應商的產品進行詳細解讀。

　　一、視覺ADAS可實現功能

　　因為安全記錄、停車等需要，攝像頭在車上的大量應用是行車記錄儀、倒車影像等輔助功能。一般通過安裝在車身各個位置的廣角攝像頭采集影像，經過標定和算法處理，生成影像或拼接形成視圖補充駕駛員視覺盲區，不用涉及整車控制，因此更加注重視頻處理，技術已經成熟并逐漸普及。

　　目前在行車輔助功能中，攝像頭可用來單獨實現很多功能，并且按照自動駕駛發展規律逐漸演進。

　　這些功能更加強調對輸入圖像的處理，從拍攝的視頻流中提取有效目標運動信息做進一步分析，給出預警信息或直接調動控制機構。相比視頻輸出類功能，強調高速下的實時性，這部分技術正處在發展上升期。

　　二、視覺ADAS軟硬需求

　　視覺系ADAS產品由軟硬件組成，主要包括攝像頭模組、核心算法芯片以及軟件算法。硬件方面考慮行車環境（震動、高低溫等），大前提是要符合車規級要求。

　　（一）車載ADAS攝像頭模組

　　車載ADAS攝像頭模組需要定制化開發。為了適應車輛全天候全天時的需要，一般要滿足在明暗反差過大的場合（進出隧道），很好平衡圖像中過亮或太暗部分（寬動態）；對光線比較靈敏（高感光），避免給芯片帶來太大壓力（并不是一昧追逐高像素）。

　　攝像頭模組是基礎。好比一張底子不錯的照片才有修飾美化的余地，保證拍攝圖像夠用的基礎上，算法才能更好地發揮效力。

　　另外在參數上，ADAS與行車記錄儀對攝像頭的需求不同。用于行車記錄儀的攝像頭需要看清車頭周圍盡可能多的環境信息（后視鏡位置看向兩個前輪，水平視角約要110度）。ADAS的攝像頭更講究為行車時預留更多判斷時間，需要看得更遠。類似相機鏡頭廣角和長焦，兩項參數不能兼得，ADAS在硬件選取時只能取其平衡。

　　（二）核心算法芯片

　　圖像相關算法對計算資源有很高的要求，因此芯片性能講究。如果在算法上疊加深度學習來幫助識別率提升，對硬件性能的要求只增不減，主要考慮的性能指標是運算速度、功耗、以及成本。

　　目前用于ADAS攝像頭的芯片多數被國外壟斷，主要供應商有瑞薩電子（Renesas Electronics）、意法半導體（ST）、飛思卡爾（Free scale）、亞德諾（ADI）、德州儀器（TI）、恩智浦（NXP）、富士通（Fujitsu）、賽靈思（Xilinx）、英偉達（NVIDIA）等，提供包括ARM、DSP、ASIC、MCU、SOC、FPGA、GPU等芯片方案 。

　　ARM、DSP、ASIC、MCU、SOC是軟件編程的嵌入式方案，FPGA因為對硬件直接編程，和嵌入式相比處理速度更快。

　　GPU和FPGA并行處理能力強。圖片這樣的文本，尤其在使用深度學習算法需要多個像素點同時計算，FPGA和GPU會更有優勢。兩類芯片的設計思路類似，都是為了處理大量簡單重復的運算。GPU的性能更強但耗能也更高，FPGA因為編程和優化都是直接在硬件層面進行的，能耗會低很多。

　　因此在平衡算法和處理速度，尤其是用于前裝并且算法穩定時，FPGA被視為一個熱門方案。FPGA是個好選擇。但同時，FPGA對技術要求也很高。原因在于計算機視覺算法是C語言，FPGA硬件語言是verilog，兩種語言不同，將算法移植到FPGA的人既要有軟件背景，又要有硬件背景。在人才最貴的今天，是筆不小的成本。

　　現階段可用于傳統計算機視覺算法的車規級芯片有多種選擇，但是適用于傳統算法疊加深度學習算法的低功耗高性能芯片，還沒有真正出現。

　　（三）算法

　　ADAS視覺算法的源頭是計算機視覺。

　　傳統的計算機視覺識別物體大致可以分為圖像輸入、預處理、特征提取、特征分類、匹配、完成識別幾個步驟。

　　有兩處尤其依賴專業經驗：第一是特征提取。在識別障礙時可用特征很多，特征設計尤其關鍵。判斷前方障礙物是不是車，參考特征可能是車尾燈，也可能車輛底盤投在地面的陰影等。第二是預處理和后處理，預處理包括對輸入圖像噪聲的平滑、對比度的增強和邊緣檢測等。后處理是指對分類識別結果候選進行再處理。

　　科研中的計算機視覺算法模型運用到實際環境中，不一定就能表現得很好。因為科研得出的算法會增加諸如天氣、道路復雜情況在內的條件限制，現實世界里除了關注復雜環境的算法表現，還要考慮各種環境下算法的魯棒性（是否穩定）。

　　算法上比較重要的一個變化是深度學習的滲透。

　　深度學習讓計算機模擬人類思考的神經網絡，可以自己學習判斷。通過直接向計算機輸入標定后的原始數據，比如挑選一堆異形車圖片，然后丟給計算機讓它自己學習什么是一輛車。這樣就可以免去計算視覺特征提取、預處理等步驟，感知過程可以簡化為輸入圖片-輸出結果兩步。

　　業內比較一致的觀點認為，在感知方面，深度學習將會彎道超車傳統視覺算法。目前深度學習的算法模型已經開源，而且算法種類不多，因此有降低門檻大量優秀結果涌現的可能。但是受限于沒有合適的車端平臺，離產品化還有一段距離。

　　業內對深度學習在ADAS應用的看法都比較客觀冷靜。不少觀點認為深度學習算法是一個黑箱（Blackbox）算法，類似人感性決策的過程，可以很快輸出一個結果，很難在發生事故后反查原因，因此在使用深度學習時要加入理性決策部分，并且分區塊設計。

　　也有觀點認為傳統計算機視覺算法比我們想象的“智能”，在不斷尋找車輛圖片共性和差異的過程中，也能檢測出一些異形車輛。并且在疊加深度學習算法后，傳統計算機視覺算法也可以幫助減少深度學習神經網絡的層數，簡化算法。

　　可以肯定的是，無論哪種算法，數據都是用來訓練測試的寶貴資源，而且不是單純的越多越好，而是越有效越好（符合實際用車環境并保證多樣化）。

　　（四）不同攝像頭平臺

　　1、單目和雙目

　　視覺方案要完成ADAS任務，一般要實現測距（本車與前方障礙物距離）和識別（障礙物是什么）兩項工作。按照車載攝像頭模組的不同，目前主流ADAS攝像頭可以分為單目和雙目兩種技術路線。

　　單目攝像頭的算法思路是先識別后測距：首先通過圖像匹配進行識別，然后根據圖像大小和高度進一步估算障礙與本車時間。在識別和估算階段，都需要和建立的樣本數據庫進行比較。想要識別各種車，就要建立車型數據庫，想要識別麋鹿，就要建立麋鹿數據庫。

　　雙目攝像頭的算法思路是先測距后識別：首先利用視差直接測量物體與車的距離，原理和人眼類似。兩只眼睛看同一個物體時，會存在視差，也就是分別閉上左右眼睛看物體時，會發現感官上的位移。這種位移大小可以進一步測量出目標物體的遠近。然后在識別階段，雙目仍然要利用單目一樣的特征提取和深度學習等算法，進一步識別障礙物到底是什么。

　　因為視差越遠越小的緣故，業內有觀點認為，雙目在20米內有明顯的測距優勢，在20米距離外，視差減小測距存在難度，可以用高像素攝像頭和更優秀的算法來提升測距性能，該處是難點也是核心競爭力。

　　雙目鏡頭間距和測距是兩個此消彼長的參數，鏡頭間距越小，檢測距離越近，鏡頭間距越大，檢測距離越遠。考慮車內美觀和ADAS需要，小尺寸遠距離雙目產品更受歡迎。

　　因為增加了一個鏡頭，帶來更多運算量，整個攝像頭模組的性能要求和成本都更高了。而且在兩者都有的標定工作上，雙目要比單目更加復雜。

　　而且選擇雙目方案切入市場并不能完全繞開單目方案的難點，在第二個階段，你依然要需要一個龐大的數據庫，依然需要打磨算法。

　　三、視覺系ADAS產品測試與評價

　　目前沒有統一的ADAS測試評價標準。常規的測試一般分為兩個階段：

　　在算法庫測試，庫中包含了各類工況下收集的行車場景視頻，通過用庫中的場景視頻跑分，測試算法識別率。目前測試庫由各家自采自測，因為采集所用的傳感器不同，不同企業間的測試單看結果沒有可比性。

　　由德國卡爾斯魯厄理工學院和芝加哥豐田技術研究所聯合創辦的KITTI，是國際上權威性較高的機動車輔助駕駛應用技術評估的算法評測平臺。目前有部分公司在該網站測試算法，結果公開可查。不同公司跑分的用時存在差異，因此在看結果排名時，也不能忽略多個參數比較。

　　在實車測試階段，將產品DEMO安裝到車上測試，根據漏報、誤報判斷算法可靠性，對發現問題進行反復調試。現階段高質量的實車測試大多由主機廠和零部件供應商掌握，準確測量需要借助激光雷達等設備，在相互校驗的過程中完成測量，成本略高，檢測周期也略長。

　　業內人士表示，測試產品能力70-90分的區分更多使用算法庫測試，區別90-95分，甚至是95-98分時，必須進行實車定量測試。而目前ADAS各家拉開差距正是在于將90分提高到99分。想做到這點必須要通過大量的實際道路測試打底，并對算法的準確性和魯棒性不斷打磨。因此從某種程度上來說，經歷過主機廠Tier1嚴苛訓練的方案提供商，產品可靠性更高，前裝經驗會成為下一次合作洽談的資本。

　　目前企業對外宣稱衡量算法能力的“識別率”指標不能說完全沒有參考價值。前提是談論所謂的識別率要把產品放在不同復雜場景下評估，并且單獨講識別率指標沒有意義，需要把它和其他指標放在一起考量。產品必須確保在不同的路況、天氣、車型，對不同姿態的人、不同的車道線，算法都能穩定工作（魯棒性）。



　　四、一哥Mobileye

　　講視覺系ADAS不得不提一家以色列公司Mobileye，1999年成立，2007年推出首款產品，2014年8月1號在紐交所上市。公司主要從事汽車工業的計算機視覺算法和駕駛輔助系統芯片技術的研究。Mobileye的產品覆蓋了全球50個國家，據官方資料顯示，截至2015年底，Mobileye在全球有1000萬的裝載量，到2016年底會有273款車的SOP的合同。

　　（一）公司定位

　　前裝業務中，這家以色列公司作為二級零部件供應商向Tier1提供產品，涉及車輛應用的部分會和主機廠配合。通過一級供應商提供集成、個性化開發以及測試工作。后裝采取代理銷售的方式。

　　（二）產品功能

　　目前可用安裝在后視鏡后的單顆彩色攝像頭（非標準RGB Sensor）對目標物進行檢測、識別和分類，同時還會對物體的運動軌跡進行跟蹤、分析，并分析道路狀況。實現功能包括車道檢測、車輛檢測、行人檢測、動物檢測、交通標志識別、紅綠燈識別、燈光控制。

　　Mobileye具有自主研發設計的芯片EyeQ系列，由意法半導體公司生產供應。現在已經量產的芯片型號有EyeQ1、Eye Q2、EyeQ3，EyeQ4正在開發進行中，預計將于2018年推出，其工程樣本有望在2016年第四季度發布。2016年5月Mobileye宣布將與意法聯手合作研發下一代將用于自動駕駛的EyeQ5芯片，2018年開始提供工程樣品。

　　目前Mobileye后裝產品的終端售價約為8000元左右，前裝價格會低很多。

　　Mobileye不同芯片可以實現不同的ADAS功能。其中EYEQ2支持產品級的AEB，EyeQ3是支持full AEB。EyeQ2等級只能做到ASIL-B，EyeQ3可以做到ASIL-D等級。（ASIL，Automotive Safety Integration Level，汽車安全完整性等級，是ISO26262中的系統危害風險等級指標，從A到D產品的安全等級依次增加。）

　　2007年在沃爾沃上實現了攝像頭+雷達集成防撞預警的功能。（EyeQ1）

　　2008年在寶馬上實現了單攝像頭車道偏離預警、交通標志識別等功能。（EyeQ1）

　　2010年在沃爾沃上做到了行人防撞檢測，首個行人檢測AEB。（EyeQ2）

　　在寶馬、通用、歐寶上，用單攝像頭實現了擁堵情況下車道內跟車行駛。（EyeQ2）

　　2013年在寶馬和尼桑上用一個攝像頭實現AEB功能（部分） 。（EyeQ2）

　　利用EYEQ2實現了寶馬量產的基于攝像頭的自適應巡航（ACC）和交通擁堵輔助（Traffic Jam Assistant）。（EyeQ2）

　　2015年在奧迪上實現了基于攝像頭的全AEB功能。（EyeQ3）

　　在特斯拉車型上實現了交通等檢測、利用深度神經網路判斷自由空間和路徑規劃。（EyeQ3）

　　在Mobileye的過往演講和介紹中，提到了一些前車識別算法上的細節：

　　從前車識別來看，一般單目有兩種算法來進行預估，一種是THW（Time Headway），一種是TTC（Time to Collision）。THW計算公式中時間t=兩車距離/本車速度；TTC公式中時間t‘=輛車距離/兩車相對速度。TTC對于計算要求也更高一些，因為除了本車速度之外，還要實時測算出前車的速度，計算方法是通過兩車之間的距離變化以及本身速度進行估算。

　　Mobileye將兩種算法用在不同場景。

　　前向碰撞檢測（FCW）方面采用TTC，尤其是高速行駛前車急剎的情況，可以很明顯發現，TTC的算法更符合實際情況。Mobileye檢測規劃路徑中會遇到的前車后（不僅僅是識別本車道車輛）用圖像的變化快慢來做TTC，以此判斷碰撞可能，采取干預、控制、剎車操控。

　　目前 Mobileye 的后裝產品 TTC時間設定為 2.7 秒，官方給出的FCW精準度大約在99.99%。前裝方面，對離本車最近的本車道車輛來計算TTC做AEB，AEB一般在1秒上下的區間里起作用。

　　Mobileye采用THW算法，未來加上控制，可以做到用單個攝像頭做ACC或低速Traffic Jam Assistant。目前市面上這兩個功能都是毫米波雷達來實現，如果用攝像頭完成，可以融合視覺檢測到的車道、靜止障礙物、車輛橫向運動、限速牌，匯總多個信息來做ACC決策，控制會更精準。

　　Mobileye后裝產品THW時間設置可以從2.5秒到0.1秒。

　（三）自動駕駛規劃

　　關于自動駕駛如何實現，Mobileye一共會涉及三個方面：感知、地圖與駕駛策略。

　　感知方面，根據Mobileye的規劃，單用攝像頭方案實現自動駕駛功能且不考慮冗余的情況下，需要8個攝像頭來滿足360度全方位感知的需要。2015年Mobileye發布了三路攝像頭做ADAS功能。三個攝像頭分工不同：中間的主攝像頭可以實現大部分功能，檢測距離可以達到150米，檢測到之后跟蹤距離可以達到250米。另有一枚小角度攝像頭探測更遠距離，一枚廣角鏡頭探測更寬視野。

　　算法上主要實現四項內容，并且對深度學習的要求逐項增加：

　　1.識別道路上移動/固定的物體；

　　2.識別出道路分割線以及其他交通標識；

　　3.在道路上沒有分割線或者分割線不清晰的情況下，分辨出哪些是可以通過的空間，并勾勒出可通過空間與其他部分的隔離線；

　　4.可駕駛的路徑：在識別出可通過空間之后，找到一條可供于駕駛的路線。

　　地圖方面是對感知系統的冗余設計，包含Roadbook、高精度定位、可行駛路徑三個方面。Mobileye打算用具備深度學習功能的圖像識別體系制作高精度地圖。數據采集上會與車企合作，用眾包方式獲得和更新數據。

　　駕駛策略方面，車企可以通過提供的SDK訪問Mobileye預先訓練的網絡應用層，讓控制單元很快計算并得出可通行的路徑方案。車企在其提供的算法基礎之上，再以自身在車輛控制上的經驗進行優化或者再次開發。這一功能會基于Eye實現。

　　Mobileye計劃2016年推出半自動汽車技術，準備研發的系統可以讓汽車閱讀交通、街道各類信號，從而與其它車輛保持適當車距。大眾、寶馬和通用購買了2018 年生產的系統，該系統可使車輛在高速上自動行駛。2016年5月Mobileye與兩家保密車企已經達成協議，將在2019年為后者提供全自動駕駛汽車系統。

　　在2016年7月，Mobileye和寶馬、英特爾共同開發無人駕駛汽車技術。2016年8月宣布和德爾福汽車公司共同開發SAE（美國汽車工程協會）4/5級自動駕駛全套解決方案。

　　（四）團隊介紹

　　創始人之一是耶路撒冷希伯來大學計算機科學系教授阿姆農·沙書亞（Amnon Shashua）。Mobileye在美國、德國、日本、西班牙也有分部或研究部門，現在公司員工約600多人，研發人員占比為70%-80%。目前在中國僅有面向后裝的銷售團隊，辦公地點位于上海，沒有研發人員。

　　（五）投融資

　　2006年5月，獲得1500美金投資。

　　2007年10月，高盛投資的1億美金投資。

　　2013年7月Mobileye向5家獨立的金融投資方出售4億美元股份。投資方包括黑石、Fidelity、Wellinton、恩特租車公司以及中國投資公司賽領國際投資基金。這筆交易對Mobileye的除現金外估值達到15億美元。

　　國內11家視覺ADAS企業方案盤點
?