根據世界衛生組織的最新調查，每年有大約125萬人死于道路交通事故，其中超過一半的人數是弱勢道路使用者（行人、騎車者、摩托車手）。盡管在夜間道路上的車輛較少，但是發生交通事故比例卻很高。

紅外夜視輔助系統應運而生

一個有效減少此類道路交通事故傷亡人數的策略是使用汽車夜視輔助駕駛系統，在危險的駕駛情況下給出預警或者幫助駕駛員做出決策。

當前汽車輔助駕駛系統應用基于雷達、激光測距雷達、攝像機以及超聲波等不同的傳感器系統，與其他技術相比，攝像機是減少道碰撞事故發生的重要手段。很多汽車廠商在他們生成的車輛上安裝了可見光攝像頭用于障礙物檢測，比如奧迪、大眾和豐田一些車型的泊車輔助系統。

由于可見光相機在夜間、霧天等能見度比較低的條件下對目標檢測的效果并不理想，為了克服可見光這方面的不足，對于紅外夜視輔助系統的研究越來越多，基于紅外傳感器的夜視系統有許多的優點，具體表現在以下幾個方面：

1.紅外夜視儀系統通過接收外界目標的紅外輻射成像，并不依賴場景的光照條件，凡是溫度高于絕對零度的物體，都會輻射紅外線。

2.相對于可見光相機，紅外熱像儀分辨率、成像效果以及性價比在不斷提高，越來越多的監控場景開始使用紅外相機。

3.紅外夜視儀具有全天候工作的能力，可顯著降低夜間駕駛風險，幫助其在全黑夜間、雨雪天氣、霧霾天氣以及對面車燈眩光等人眼能見度較低的情況下，輸出前方路況的清晰熱圖像，有效提升駕駛員視覺范圍，避免車輛、行人以及障礙物的碰撞，有效提升駕駛安全。

基于以上原因，車載紅外夜視技術受到了國內外各大汽車制造廠商和研究機構的高度重視，隨著技術的成熟，車載紅外夜視系統的應用逐漸推廣開來。

車載視覺的行人檢測受到廣泛關注

在車載輔助駕駛系統中行人檢測是一項核心的技術，其作用是通過安裝在車輛上的攝像機自動檢測行人，估計出潛在的危險以保護行人。

由于車載視覺系統面臨著一個開放的環境，針對行人檢測除了存在著行人姿態、尺度、遮擋等難題，根據實際的應用場景還要考慮系統的魯棒性、檢測的實時性以及攝像機的運動等因素。

針對以上存在的問題，車載視覺的行人檢測受到廣泛的關注。為了使研究者更好地了解和掌握技術的發展趨勢，有許多綜述文獻對行人檢測的技術進行了歸納總結。

較早的有賈慧星等對2000-2005年間車載輔助駕駛系統中行人感興趣區域生成和對象識別兩個方面主要的研究方法進行了分析和對比。許騰等同樣圍繞著這兩個環節對2005-2012年的主流車載行人檢測算法特征進行了詳細的研究。

車載行人檢測方法發展迅速，每年都有新的算法涌現，因此有必要對近些年的車載行人檢測算法進展進行分析，并進一步對用于紅外成像的行人檢測方法進行歸納梳理。

此外，車載紅外夜視系統中行人檢測算法運行時要有確保良好的魯棒性和實時性，所應用的硬件平臺就要有足夠的計算能力，但同時系統受到體積、功耗和成本等的限制，因此本文對目前適用于車載的硬件處理器的特性進行了簡單的對比分析。

車載紅外夜視技術相關發展狀況

1.夜視技術分類和對比

根據成像的原理，夜視系統主要分為主動夜視系統和被動夜視系統，其中微光和紅外成像是運用最廣的夜視技術。

微光是泛指夜間或者低照度條件下微弱的光，波長約在0.4~2um。微光夜視技術又稱為像增強技術，通過像增強器將微弱或者能量比較低的光轉化為增強的光學圖像，以實現直接觀察。

紅外夜視技術分為主動紅外夜視技術和被動紅外夜視技術。主動紅外夜視技術是通過紅外燈主動照射并利用目標反射回來的紅外光來實施觀察的紅外技術，對應裝備為主動夜視系統。

被動紅外夜視技術是借助于目標自身發射的紅外輻射來實現觀察的紅外技術，將人眼所不能直接看到的目標表面的溫度分布變成人眼可看到的代表溫度分布的熱圖像，其裝備為熱成像儀。

各成像技術優缺點對比

對于車載平臺的夜視技術，在考慮到夜視距離、惡劣天氣以及會車時強光照影響時，熱成像技術相對于其他兩種技術有著更好的適用特性，并且隨著非制冷紅外探測器的發展，其性價比在不斷提升，應用也越來越廣泛。

可見光和紅外成像效果對比

2.車載紅外夜視儀的發展狀況

過去的十幾年里，關于汽車夜視輔助駕駛系統的研究已經有了很大進展，并且相關研究表明車載紅外夜視儀在減少夜間行車事故中有很好的效果。其相應的產品需求量在迅速增長，促使了各大汽車廠商、紅外夜視相關產品的供應商加大了研究的力度。當前用于車載的紅外夜視儀主要有兩種：主動式和被動式。

車載夜視儀發展時間線

美國的通用汽車公司在2000年對旗下產品卡迪拉克轎車配備了夜視系統，是全世界第一款將夜視系統配備在汽車上的汽車品牌，該夜視系統使用的是紅外熱成像探測器，安裝在車輛的前部以便接收前方目標的紅外輻射，夜視距離在300m左右。

此后德國豪華車奔馳和寶馬在2005年分別推出了汽車夜視系統，寶馬7系車配備的是被動夜視系統，將熱成像儀添加了防撞層安裝在汽車前端，夜視距離可達300m左右，中等車速下水平視角達到24°，奔馳S550和E級車型上使用了主動夜視系統，系統由紅外線燈、紅外線攝像機和顯示器組成，最遠可探測距離達到150m。

與被動式夜視系統相比，該系統在價格上較便宜，但是在面對相向車輛的燈光照射時成像質量差。奧迪直到2010年開始夜視系統的配備，在應用效果上并不遜色。

隨著車載夜視系統的流行，國內眾多企業和研究機構開始相關方面的研究。在中國，夜視系統除了裝配在奔馳、奧迪、寶馬等豪華品牌的進口車型上，紅旗HQ3、比亞迪思銳等國產車型上也先后進行配備，打破了豪華車的壟斷，但是大多是采用主動式紅外夜視技術，產品的環境適應性和夜視距離受到了很大限制。

此外一些夜視儀的供應商對車載夜視技術的發展有很大的推動作用，國外的奧托立夫是主要的系統供應商，FLIR是最主要的紅外熱像儀供應商；國內有高德紅外、浙江大立科技以及保千里等夜視儀供應商。隨著技術的發展和夜視系統的成本降低，未來幾年車載夜視系統將會得到逐漸普及和應用。

車載紅外行人檢測算法

1.車載視覺行人檢測技術

傳統的車載視覺行人檢測是使用相當廣泛的基于滑動窗口的多尺度行人檢測框架。該框架的主要思想是：利用預先訓練好的分類器判別當前窗口內是否包含行人，然后對判別含有行人的窗口進行融合，從而給出行人在圖片中的位置。

傳統車載視覺行人檢測框架

現有的綜述文獻大多是圍繞該框架從感興趣區域分割方法、特征提取和分類器構造等方面進行展開，根據所用信息的不同采取不同的感興趣區域分割算法，然后利用梯度方向直方圖、局部二值模式等特征的改進或者融合，使用支持向量機或者Boosting等分類器的改進形式訓練特征。

車載行人檢測系統對魯棒性和實時性都有很高的要求，傳統的檢測框架在圖像的多尺度金字塔進行搜索可以提高檢測精度，但是多尺度遍歷的方法對算法的檢測速度有很大的制約。

為了能夠在精確提取特征的同時又不明顯犧牲算法的實時性，2009年Dollar等提出了CHNFTRS（通道特征）的方法，利用積分圖像快速計算圖像的顏色、梯度幅值以及梯度方向等通道特征，CHNFTRS方法在檢測精度和效率上超過HOG特征，是當時最優的檢測算法。

隨后Dollar又以CHNFTRS方法為核心進行了改進，采用鄰近尺度特征估計的方法，在不降低檢測性能的前提下加速了行人檢測，對于640x480像素分辨率的圖像，每秒可以處理6幀左右。

Benenson等使用CHNFTRS的特征，提出了多尺度訓練模型框架VeryFast，將檢測時間從檢測階段轉移到了訓練階段，在使用GPU處理器加速的條件下實現了100 fps的檢測速度。

后來Dollar本人在2014年又結合快速特征金字塔計算特征通道的方法，提出了ACF（聚合通道特征）檢測框架，ACF框架能夠在保證實時性的同時，檢測效果的魯棒性在當前特征統計學習的算法中也處于領先水平。

此外，近幾年隨著GPU處理器在圖像處理上廣泛應用，深度學習發展趨勢迅速，尤其是在圖像目標檢測和分類領域卷積神經網絡算法相對傳統的檢測算法性能提升顯著。

首先是Ross Girshick將傳統計算機視覺領域的方法選擇性搜索與CNN結合，先后提出了R-CNN、FastR-CNN、Faster R-CNN等框架，基于區提名的R-CNN系列的算法在檢測精度上有了很大的提升，但是檢測的速度較慢，針對這個問題出現了端到端目標檢測方法，比如SDD以及Redmon等人提出YOLO系列，在檢測速度上做到了實時。

Liliang Zhang等基于可見光行人數據庫訓練了專用于行人檢測的深度學習網絡，其實驗結果與其他主流的檢測算法相比有了極大的提升。最后針對上述總結按時間順序列出了2009年來具有代表性的一些算法。

近10年以來主流行人檢測算法比較

2.車載紅外行人檢測算法應用現狀

上一小節主要針對可見光領域的行人檢測算法的概括，雖然可見光和紅外圖像存在著很多差異，主要表現在紅外圖像沒有豐富的顏色特征、紋理特征，但可見光的一些處理算法對于紅外圖像有很好的指導意義，紅外圖像的行人檢測技術進展與上一節分析的行人檢測技術發展路線是相對應的。

紅外行人檢測的傳統框架主要包括ROIs提取、分類器識別等階段。由于紅外圖像中行人相對于背景往往有較高的亮度，因此在ROIs區域分離的時候，通常采取的手段有閾值分割、區域生長和關鍵點提取的方法。閾值分割的方法是通過檢測圖像中的熱點區域，可以采用靜態閾值或動態閾值的方法分割出可能包含行人的區域。

此外針對紅外圖像背景較為簡單的特性，可以通過提取關鍵點來生成ROIs，例如文獻中使用旋轉和尺度不變的SURF特征分割ROIs區域；另外還有結合距離信息的方法，主要實現手段有雷達測距和立體視覺，其中基于立體視覺的ROIs分割技術應用較為廣泛。

它通過獲取的3D圖像估計地平面位置，結合行人身高先驗知識估計可能包含人體的區域。用于紅外行人檢測的特征描述子有上述提及的HOG特征、LBP特征及其改進和融合特征，此外還有強度自相似性特征，其中Brehar等使用自適應閾值分割提取ROIs，使用梯度方向、亮度、梯度值特征，使用快速金字塔構建的方法，針對640x480像素分辨率的紅外圖像，實現了30 fps的檢測幀率。

受車載平臺的計算資源限制，傳統的滑動串口的檢測框架會先對ROIs提取，但是要獲取準確的ROIs一般要增加額外的傳感器設備，這使得系統的成本和復雜性提升。針對單目紅外夜視儀，傳統的檢測框架的實時性和精度很難滿足需求；Dollar的ACF檢測方法由于檢測精度和算法的實時性都有很大的提升，越來越多的研究者將該方法應用于紅外行人檢測。

Brehar等在分割出的ROIs基礎上，使用紅外圖像的亮度值、梯度值和梯度方向等特征訓練ACF分類器，獲得了較高的檢測精度并且實現了30 fps的檢測幀率。Hwang等改進的ACF的特征，在可見光和紅外的多光譜的行人數據集上，針對紅外行人提出了T+THOG的特征組合方式，其檢測精度比原有算法有所提高。此外深度學習網絡在紅外行人檢測上一樣取得了當前相對其他算法的最好的檢測效果。

系統硬件平臺

車載視覺行人檢測系統對于系統的魯棒性和實時性都有很高的要求，要滿足實際的應用需求主要從行人檢測算法的設計和系統的硬件平臺的選取著手。

目前很多文獻中提出的算法都是在桌面計算機實現的，很少考慮在嵌入式平臺實時運行，因此在實際應用時要根據所選的處理器的特性進行移植優化。當前由于數字處理器的快速發展，用于車載平臺的處理器種類也比較多，主流的計算平臺主要有以下幾類：

1.DSP處理器

數字信號處理器專門用于處理復雜的、數學密集型的應用場景，被廣泛的用于圖像、語音等信號處理。DSP處理器在架構和指令集上不同于傳統的CPU處理器，通過使用乘加指令之類的專用操作實現比傳統處理器更快的執行效率，軟件編程簡單，在算法評估和實現階段可以大大縮短項目開發的周期，DSP在汽車行業中的地位非常突出，并且廣泛應用于車載系統。

例如美國德州儀器TI的針對輔助駕駛系統ADAS的TDAx系列的處理器集成了多核DSP、通用處理器GPP以及嵌入式視覺引擎等模塊，具有低功耗、高性能特性，并且支持多傳感器信息融合，非常適用于車載平臺算法處理。

2.FPGA處理器

現場可編程邏輯門陣列（FPGA）由可編程邏輯組件和可編程互連組成，可用于創建高性能并行流水線數據處理結構，因為沒有類似DSP或CPU的指令獲取或等待的操作，因此執行速度更快。

FPGA用于圖像處理具有可重構、低功耗和低成本等的優勢，因此很多行人檢測系統使用FPGA保證實時性，基于FPGA實現的行人檢測系統缺點在于開發難度大、項目周期長，但是隨著相應的開發工具的改進和支持，這一現狀會逐漸得到改善。

例如FPGA解決方案供應廠商Xilinx基于新的硬件平臺zynq處理器以及7系列處理器提供了高層次綜合工具，使得復雜算法開發可以使用C、C++語言實現，極大降低了算法實現的復雜度。

3.GPU處理器

GPU圖形處理單元有大量的處理內核組成，支持大規模的并行計算，尤其適合計算密集型的任務，深度學習網絡的發展帶來了GPU的廣泛應用。

起初GPU主要以顯卡的形式應用于圖形處理，隨著更多通用計算庫的出現，它們在科學計算中的應用也迅速擴大，例如NVIDIA的CUDA庫有助于快速開發算法。基于GPU的處理方案在可見光以及紅外圖像的行人檢測中都實現了實時處理，尤其是基于深度學習的方法在GPU的加速下行人檢測的精度和速度能達到實際應用的需求。

盡管GPU處理器性能高效，但許多GPU的功耗過高不適合車載平臺，文獻中使用NVIDIA GeForce GPU實現了30 fps的行人檢測和姿態識別的幀率功耗（大約在244瓦）。隨著汽車平臺的GPU處理器的技術發展，新型的GPU架構帶來了更強的計算能力和更低的功耗，未來車載系統中GPU將會大展身手。

此外，還有其他的一些處理平臺可用于車載行人檢測系統。針對現有的平臺，在進行硬件系統設計的時候要綜合考慮處理器的功耗、成本以及計算能力，結合不同的處理器各自的特性進行選擇。

總結與展望

本文介紹了車載夜視儀相關技術的進展狀況，首先對車載夜視技術進行了闡述，對車載紅外夜視儀的應用發展進行了分析，然后歸納總結了2009年以來的主流紅外行人檢測算法，最后對比分析了車載夜視儀不同的硬件平臺的特點。

隨著紅外探測器的價格下降、成像分辨率增高，車載夜視儀今后會有很大的市場需求。然而研發基于紅外的車載夜視輔助系統需要應對以下挑戰：

1.系統要能夠應對復雜的道路場景，需要在全天候條件工作；

2.車載移動平臺下，紅外成像中行人的尺度和外觀變化大，并且存在遮擋、姿態的變化，給檢測帶來了難度；

3.系統設計考慮低功耗、低成本，并且系統的檢測算法滿足高準確率以及運行的實時性。圍繞著以上存在的問題，筆者認為未來的研究重點主要在以下幾個方面：

①構建更為豐富的數據集

基于統計學習或者深度學習的方法都需要大量的訓練樣本，特別是對于特殊場景下的行人檢測，例如存在部分遮擋、分辨率較低、遠距離的行人需要建立相應的數據庫進行準確的標注，以提高行人檢測的準確率，降低虛警率。

②多傳感器融合

基于單目視覺紅外攝像機的行人檢測其可利用的信息相對較少，對多視角和遮擋問題很難解決。可以利用增加可見光相機或者多紅外相機獲取立體數據，立體視覺中的深度信息利于提升行人檢測系統的魯棒性。

此外激光雷達傳感器可以獲取目標的距離信息，能夠有效的分割ROIs區域。不同的傳感器有著各自的優缺點，將這些傳感器有機的結合起來，保證檢測系統在任何條件下都能魯棒的工作是一個熱點研究方向。

③設計自適應的分類器

目前大部分車載行人檢測系統使用的離線構建的通用行人分類器，該分類器是利用預先準備的大量樣本集進行訓練學習獲得的，且訓練之后不再更新。

由于所使用的初始樣本集不會涵蓋所有的情況（不同季節、不同場景），所以分類器不具備自適應特性，對于一些特殊場景下的行人檢測精度會降低。如何利用在線學習的算法，通過在線獲取樣本進行分類器的更新，使行人檢測系統通過自主學習提高檢測性能是未來的研究重點。