“車載攝像頭”本身是指代并不算明確的詞，因為如今的汽車搭載越來越多的攝像頭，而不同作用的攝像頭，其規格和標準又是不盡相同的。

Yole Developpement曾將車載攝像頭大致分成了ADAS攝像頭、視覺攝像頭（如環視、前視、盲點監測等）、車艙內攝像頭（如駕駛員監測、手勢UI、存在檢測等）、CMS（Camera Mirror System）、AV自動駕駛（前視、環視攝像頭等）。

這個分類似乎是有些交疊的，但大方向上車內與車外的攝像頭有差別，而讓人看的攝像頭與純粹用于數據分析的攝像頭又有差別。打個比方，手機攝像頭拍的照片要求拍得好看，是要發朋友圈的；而車載攝像頭要以“拍得到”為最高準則。

汽車上的攝像頭按照是否給人看，也可以分成兩大類。文首提到視覺攝像頭即視覺應用是需要給人看的，像是電子后視鏡、某些環視系統。還有一類是計算機視覺（機器視覺），應用于自動駕駛、自動泊車，這種攝像頭所攝畫面價值更不在于給人看，而是做數據分析。

本文要探討的是后一類車載攝像頭（以及與智慧交通相關話題的攝像頭）。ADAS與自動駕駛方向的許多攝像頭都屬于這一類，在這種情況下以人的視覺友好性為目的的圖像處理，就沒有價值了——計算機視覺（CV）就是指，以圖像或視頻為輸入，輸出的則是距離、色彩、形狀、對象分類、語義分割等屬性信息。計算機視覺所期望達成的是理解看到的世界（雖然當前的計算攝影實則也有一部分這種屬性）。

自2012年機器學習成為新的熱門，AI如今的發展變得如火如荼。機器學習是計算機視覺可應用的一種解決問題的方法。越來越多的神經網絡把一些傳統的計算機視覺方法按在地上摩擦。在計算機視覺領域，AI成為一個不得不談的話題：計算機視覺因此能夠實現更快速和準確的圖像分類、目標檢測、目標跟蹤、語義分割等。

所以本文嘗試談一談當車載攝像頭（主要是ADAS與AV相關的攝像頭）應用于計算機視覺時，圖像傳感器有了哪些新的發展方向和技術要求。而既然計算機視覺如今與AI又有著這么大的關聯，那么亦可理解為車載攝像頭采用AI技術時，圖像傳感器有了哪些新的發展。

車規級圖像質量規范

越來越多的圖像傳感器制造商，都愈發注重在AI時代下的發展。比較具有代表性的是安森美、思特威、意法半導體等圖像傳感器廠商普遍在宣傳自家的全局曝光CMOS圖像傳感器，并且將其作為機器視覺的必要技術。因為在拍攝高速運動的對象時，唯有全局快門（Global Shutter）才能確保將對象拍清楚，才能實現準確的計算機視覺分析。

雖然這些并非全部面向車載攝像頭，但也能管中窺豹地發現ADAS/AV攝像頭對于圖像傳感器而言意味著什么。今年的中國IC領袖峰會上，思特威副總經理歐陽堅發表題為“以CMOS圖像傳感器創機器智視芯格局”的主題演講，其中就提到了包括全局快門在內的多項新技術。

不過廠商從個體技術發展角度來談車載攝像頭的圖像傳感器技術要求，恐怕不夠全面。從更全面的角度來理解這個問題，應當看一看標準和規范。市面上已有的標準似乎還是很多的，不過當前比較知名的汽車相關的圖像質量規范，應該是IEEE P2020與ISO16505。從中應該可以部分發現，如今的車載圖像傳感器，到底有哪些技術要求。

ISO16505針對的主要是人眼視覺相關系統質量的規范，比如說電子后視鏡、環視系統等；不對人眼可見的機器視覺部分是非強制的。很早之前，Imatest創始人曾公開嘲笑過ISO16505，認為這是不熟悉圖像質量測試的人開發的（雖然這可能與Imatest實際參與IEEE P2020有關）。那么我們就來看看P2020。

IEEE P2020對于人眼視覺和機器視覺應用都有對應的規范，但這類規范推進的速度似乎還是比較緩慢。2018年9月發布的IEEE P2020 Automotive Imaging White Paper白皮書提到汽車攝像頭圖像質量尚未被完全定義好，諸多關鍵指標不明確；我們在IEEE官網看到，P2020目前似乎仍停留在這一步。不過這份白皮書列舉了現有的一些圖像質量規范，與車用攝像頭實際需求之間存在的差異。這其中的一部分對于圖像傳感器（以及整個攝像頭系統）而言就提出了新的思考，相比ISO16505也多出高動態范圍、veiling glare等的測試。

其中包括Tonal Response（動態范圍、SNR、低光照表現、Chroma shading）、Spatial Response（解析力、銳度、景深、紋理、運動模糊）、Temporal Response（Flicker/頻閃）、Spectral Response（光譜量子效率、演色性、交通相關色彩區分性）、光學偽像（鏡頭眩光、鬼影、veiling glare/雜光、鏡頭色差、雜散光）、噪聲、不均勻性（PRNU等）、熱性能（高溫下的SNR、分辨率等的變化）、功能表現（自動曝光、自動白平衡控制）、系統（多攝像頭系統）、其他（鏡頭畸變、HDR多重曝光等）。

與此同時，P2020明確包含7個工作組，還是多少能夠看到未來的趨勢。與本文探討的話題比較相關的有幾個。其一是工作組1研究LED flicker standards，也就是LED頻閃。歐陽堅在此前的演講中也提過，“交通領域會遇到LED燈，紅綠燈時高頻閃爍的LED燈，如果不對高頻閃爍的頻率做處理，抓拍的信息就是殘缺不全的。”人眼對于頻率高于90Hz的閃爍不會有所察覺，但對圖像傳感器而言，曝光時長與LED光源調制信號產生一些錯位時，就產生了頻閃信息捕捉不全的問題。

這一點實則也是思特威、OmniVision這類圖像傳感器廠商研究的重要課題之一，雖然可能并非單純面向車載領域。而P2020工作組1針對這種頻閃，所做的工作包括闡明flicker產生的原因和細節；列舉flicker出現的情況和潛在影響；定義flicker的測試方法和關鍵測試指標；定義flicker對人類視覺/機器視覺影響的客觀測試指標。

其二，P2020明確的工作組3研究針對計算機視覺的圖像質量（Image quality for computer vision）。其方向主要更偏系統級測試。相比EMVA1288這種更偏單個組件的測試，系統級測試對于實際應用是更有價值的。前面提到許多圖像質量規范，比如其中的一些光學偽像、多攝像頭系統就不只是攝像頭乃至后端計算，其中一個組件的問題。

車載圖像傳感器有哪些技術需求？

要將所有標準規范中提及的測試項悉數列出還是不現實的，所以我們根據圖像傳感器企業目前著力的宣傳點、新標準中針對車載攝像頭新出現的部分來嘗試總結ADAS/AV機器視覺對于圖像傳感器而言，提出了哪些要求，又有哪些新的發展方向。這里只討論圖像質量，不探討車規級本身對于電子元器件在溫度、天氣等方面的嚴苛要求。

2018年，Smithers曾撰寫過一份題為Autonomous Vehicle Image Sensors to 2023 – a State of the Art Report（到2023年自動駕駛汽車圖像傳感器 – 前沿報告）的報告。除了未來全自動駕駛將變得更依托于機器視覺，面向人類視覺的圖像增強要求越來越低之外，還提到了幾個趨勢：

（1）達到140dB的動態范圍，800萬像素單目分辨率、200萬像素立體視覺相機，超過60fps的幀率，高靈敏度；

（2）在0.001lux照度下，曝光時間不大于1/30秒的情況下，信噪比大于1；

（3）HDR高動態范圍的同時，要求運動偽像更少；

（4）LED flickering問題消除。

這幾點實則都不出意外，也是當代圖像傳感器廠商普遍在努力的方向，包括圖像傳感器自身的高動態范圍、更高的分辨率、幀率，以及低照度下的靈敏度和低噪聲。雖然報告中列舉的部分參數還有些超前，現在的圖像傳感器制造商在這些目標的實現上，卻都有自己的殺手锏。比如針對低光照環境，不少廠商在變革像素結構，同時開始采用雙增益轉換來兼顧白天和夜間場景。

這里比較值得一提的是趨勢中提到的后兩點。首先是HDR高動態范圍，以及要求更低的運動偽像。其中HDR是車載攝像頭所需實現的基本特性。畢竟當場景光比很大時，如果攝像頭拍攝的畫面有部分區域過曝或欠曝，計算機視覺分析工作就無法拿到對應的數據。從圖像傳感器的角度，實現HDR有多重曝光、雙增益、大小像素分離，以及提高像素阱容等方法。

時域多重曝光的HDR方案在成像領域很常見，但在ADAS/AV方向上的適用度正逐步降低——因為車載攝像頭要求畫面不能有運動偽像，且必須抑制LED頻閃。所以像思特威這樣的廠商，開始傾向于采用單幀空間域多曝光的方案，典型的方法像是隔行多曝光：圖像傳感器上每兩行為長曝光，兩行為短曝光。ISSCC曾收錄過思特威有關單幀HDR技術的論文。圖1，來源：思特威

另外抑制運動偽像一個重點就是全局曝光（或全局快門）。全局曝光也是現在幾乎所有圖像傳感器制造商都在爭奪的技術高地。傳統卷簾快門（rolling shutter）因為采用逐行曝光的方式，拍攝高速運動物體時會有果凍效應。全局快門是讓所有像素同時開始和結束曝光，也就規避了這種形式的影像失真。

索尼的Pregius全局快門傳感器比較知名——ISSCC曾收錄過索尼一篇每個像素都應用獨立ADC的論文（像素級互聯），這是快速讀出實現全局快門的技術之一；OmniVision也有類似的技術介紹。索尼今年發布的第四代全局快門圖像傳感器終于也用上了BSI背照式技術，減小了像素尺寸。此前思特威在宣傳中也提到，思特威是“全球為數不多率先將全局曝光和BSI技術融合的公司之一”。圖2，來源：IEEE P2020 Automotive Imaging White Paper

至于前文就提到的LED頻閃消除（圖2），這兩年思特威、OmniVision都在不遺余力地宣傳自家的圖像傳感器LED閃爍抑制技術。畢竟在自動駕駛、智慧交通領域，LED頻閃導致攝像頭捕捉到的交通標志、紅綠燈讀秒信息不全，會導致后端AI系統的誤判。

一般來說，LED頻閃抑制可以通過保持LED頻閃與圖像傳感器快門同步的方式，問題是不同LED規格不一致，所以這種理論上的方案是不可行的。另外也可以通過HDR，在捕捉LED燈的畫面時，確保能夠用更長的曝光時間來捕捉更全面的信息。圖像傳感器廠商應用的都是這個大思路，雖然在具體實施上存在差別，例如OmniVision應用的是大小分離像素。

機器視覺感知的未來

從更偏系統的角度來看，大概還有一些技術趨勢是值得一談的。比如在傳感器角度，車載領域各種傳感器的融合會是個趨勢，不僅是多攝系統，還可能是不同類別視覺傳感器的融合，比如LiDAR與攝像頭融合的傳感器；還有RGB-IR傳感器，為圖像傳感器融入紅外感知能力（如果把傳感器探討范圍擴展到IR傳感器，可能還涉及到近紅外響應增強等技術趨勢，SWIR紅外攝像頭等）。

從整個成像/視覺系統的角度看，圖像傳感器將融合部分邊緣算力，可能也會成為一個趨勢。比如索尼就將AI邊緣計算與圖像傳感器做了結合（IMX500）；SK hynix去年也在新聞稿中提到，基于先進半導體制造工藝，堆棧式傳感器中，將一個簡單的AI硬件引擎加入到傳感器下層的ISP中，已經是可行的了……雖然這些暫時還不是面向汽車市場的。

思特威前兩年推出AISENS傳感器芯片平臺，就是“感知與計算一體的通用AI傳感器芯片平臺”，此前思特威也提及以3D堆疊的方式將數據處理die與傳感器die封裝到一起。這個平臺如今似乎正趨于進一步的商用化。

去年Yole Developpement發布了一份題為《2019圖像信號處理器與視覺處理器市場與技術趨勢》的報告。該報告明確提到：“AI徹底改變了視覺系統中的硬件，對整個行業都造成了影響。”“圖像分析增加了很多價值。圖像傳感器供應商們開始對將軟件層集成到系統中感興趣。如今圖像傳感器必須跳出單純的捕獲圖像這一能力之外，再對圖像做分析。”

2019年，EE Times曾發表過一篇題為ADAS： Key Trends on ‘Perception’的文章。這篇文章從更偏系統的角度談了ADAS車載感知系統的發展趨勢，建議閱讀。

最后想簡單談談以Prophesee為代表的基于事件的視覺傳感器技術。下期《電子工程專輯》的精英訪談即是采訪Prophesee CEO Luca Verre，其中相對詳細地介紹了這類神經形態視覺技術。這種傳感器的特色在于不受幀率限制（可實現等效10000fps的幀率），以及僅在場景中的對象發生動態變化時，才記錄信息。

其優勢在于產生數據量少、反應速度快、可實現高動態范圍。而且這種技術天然地適用于機器視覺，Luca Verre在接受采訪時說：“在機器視覺領域，我們認為基于事件的視覺傳感器是可以替代傳統基于幀的圖像傳感器技術的。而在成像領域，傳統圖像傳感技術本身是沒有問題的。”機器視覺領域的變革，大概還會有一波全新的浪潮。

編輯：jq