駕駛員監控系統（driver monitoring system，DMS）一般是對L2-L3級別的自動駕駛系統而言的，對L4級別是沒有意義的，除非系統仍然是需要安全員的測試環節。

監控的目的是發現駕駛員走神（distraction）、疲勞（fatigue）或者打瞌睡（drowsiness），甚至出現無法駕駛的意外情況，比如欺騙輔助駕駛系統用礦泉水代替雙手在方向盤上，或者與乘客爭吵打架等。另外，如果作為自動駕駛的研發階段，監控駕駛員可以提供駕駛行為的第一手數據，甚至用于仿真模擬系統中。

非侵入式（non-intrusive）方法是監測的首選方法，而基于視覺的系統更具有吸引力。主要的視覺線索包括面部特征、手特征或身體特征。許多檢測系統僅使用單個視覺線索，這種系統魯棒性差，比如出現遮擋或光照變化時，容易被干擾。所以將多種視覺線索組合才是關鍵，也是具有挑戰性的。

一個駕駛員面部監控系統是基于駕駛員面部圖像處理來研究駕駛員身心狀況的實時系統。可以從眼瞼閉合、眨眼、凝視方向、打哈欠和頭部運動等，檢測到駕駛員狀態。基本分成兩大類：

①. 僅從眼部區域檢測駕駛員；

②. 不僅可以從眼睛中檢測，還可以從臉部和頭部的其他區域檢測。

下圖是一個駕駛員臉部監控系統框圖：檢測人臉，還有眼睛和其他臉部特征，同時跟蹤變化，提取癥狀，實現疲勞和分心檢測。駕駛員面部監控系統的主要挑戰是：

①“如何測量疲勞？”第一個挑戰是如何準確定義疲勞以及如何測量疲勞; 疲勞與體溫，皮膚電阻，眼球運動，呼吸頻率，心率和大腦活動之間存在關系;第一個也是最重要的疲勞跡象會在眼睛中出現。

②“如何測量注意力？”第二個挑戰是測量駕駛員對道路的注意力；可以從駕駛員頭部和注視方向（gaze direction）估計駕駛員的注意力。

人臉檢測方法可參照一般目標檢測的方法，現在深度學習也已經在這個領域展示“肌肉”。人臉檢測是一個老問題，人臉檢測挑戰的情況有以下一些：

面內旋轉;

面外旋轉;

化妝品，胡須和眼鏡的存在;

表情（快樂，哭泣等）;

照明條件;

臉部遮擋;

實時處理要求。

眼部區域總是先被用于駕駛員癥狀提取，因為最重要的心理活動與眼睛活動有關。

眼睛檢測的兩大類：

1) 基于紅外光譜成像的方法；

2) 基于視覺的方法；

除了眼睛，還可以檢測其他面部成分：嘴巴，鼻子和臉部突出（Salient）點。

面部跟蹤是分析駕駛員心理活動的主要手段。這種跟蹤任務和一般單目標的跟蹤是相似的，主要挑戰包括：

從三維空間到二維空間的映射而讓一些信息丟失;

具有復雜的形狀或運動;

部分遮擋;

環境光線變化;

實時跟蹤要求。

與疲勞、分心和打瞌睡有關的癥狀提取包括：

與眼部區域有關的癥狀：閉眼、眼瞼之間的距離、眨眼速度快、凝視方向和跳躍運動；

與嘴巴區域有關的癥狀：開/閉；

與頭部有關的癥狀：點頭、頭部姿勢和頭固定不變；

與面部有關的癥狀：主要是表情。

下面分別舉幾個例子：

如圖是一個基于深度神經網絡（DNN）的駕駛員監控系統。

其基于臉部、雙目和嘴巴三個區域的檢測網絡結構如下：

而基于單目（左眼）區域加嘴巴區域的檢測網絡結構如下：

如圖是一個基于深度學習模型的人臉表情識別系統：輸入圖像檢測面部和特征，從面部成分提取時空特征，使用預訓練的分類器（圖像取自CK+數據集（d））確定表情。

而整個深度學習模型是CNN和LSTM結合，如下圖：

下圖一個身體姿勢（posture）識別駕駛員分心癥狀的系統。其癥狀類包括：喝酒，調整收音機，正確姿勢駕駛，擺弄頭發或化妝品，面向后面，與乘客交談，用左手打手機通話，用右手打手機通話，用左手發短信， 用右手發短信。

系統的算法框圖如圖：包括面部檢測器、手部檢測器和皮膚區域分割。對于每個輸出圖像（即皮膚，面部，手），訓練AlexNet和InceptionV3網絡（5個AlexNet和5個InceptionV3），最后識別是一個加權組合輸出。

審核編輯 ：李倩