困駕存在巨大的安全隱患。據(jù)美國(guó)國(guó)家公路交通安全管理局估計(jì)，2017 年，美國(guó)約有 90，000 起車禍由困駕司機(jī)所致，造成約 50，000 人受傷和 800 人死亡。雖然汽車制造商致力于研發(fā)自動(dòng)駕駛汽車，但他們尚不能將駕駛員從駕駛?cè)蝿?wù)中徹底解放出來(lái)。在這個(gè)不可預(yù)知的世界里，充斥著漫不經(jīng)心的行人、惡劣的天氣和糟糕的路況。在這種場(chǎng)景中導(dǎo)航車輛，即使最先進(jìn)的人工智能 （AI） 技術(shù)也會(huì)捉襟見(jiàn)肘。在可預(yù)見(jiàn)的未來(lái)，大多數(shù)車輛都不會(huì)超越 3 級(jí)自動(dòng)駕駛水平，這就要求駕駛員時(shí)刻保持警覺(jué)并在車輛發(fā)出請(qǐng)求時(shí)立即接管。困駕一直是個(gè)問(wèn)題。汽車必須確定駕駛員的意識(shí)狀態(tài)。對(duì)此，潛在的解決方案不盡相同。一些解決方案是利用系統(tǒng)跟蹤駕駛員的眼皮，但這些系統(tǒng)在某些照明條件下或當(dāng)駕駛員轉(zhuǎn)頭看向別處時(shí)會(huì)出現(xiàn)問(wèn)題。另一些解決方案是評(píng)估駕駛員的駕駛動(dòng)作，例如轉(zhuǎn)動(dòng)方向盤。但是，在自動(dòng)駕駛汽車中，當(dāng)駕駛員沒(méi)有轉(zhuǎn)動(dòng)方向盤時(shí)，這種評(píng)估則不起作用。不過(guò)，格拉茨科技大學(xué)的一項(xiàng)新研究發(fā)現(xiàn)了一種新方法，可通過(guò)巧妙應(yīng)用人工智能從心臟電活動(dòng)中確定犯困情況。

數(shù)據(jù)中的模式

訓(xùn)練強(qiáng)大的機(jī)器學(xué)習(xí)分類算法需要大量經(jīng)過(guò)標(biāo)注的示例。為了生成經(jīng)過(guò)標(biāo)注的訓(xùn)練示例，奧地利團(tuán)隊(duì)使用了定制的駕駛模擬器。這可不是某種電子游戲或您在電子游戲廳內(nèi)看到的賽車座椅。格拉茨自動(dòng)駕駛模擬器 （ADSG） 基于的是 MINI Countryman 整車。八個(gè)液晶面板將駕駛員環(huán)繞，音響系統(tǒng)發(fā)出風(fēng)噪和發(fā)動(dòng)機(jī)噪音，低音揚(yáng)聲器使整個(gè)裝置都在振動(dòng)。格拉茨科技大學(xué)工程系教授兼團(tuán)隊(duì)負(fù)責(zé)人 Arno Eichberger 說(shuō)道，“這個(gè)想法非常切實(shí)可行。這對(duì)于文中提及的困駕專項(xiàng)研究尤為適用，因?yàn)檫@種單調(diào)的駕駛場(chǎng)景仿真起來(lái)沒(méi)那么難。”他們于是重現(xiàn)了夜間在無(wú)任何其他車輛的高速公路上駕駛的場(chǎng)景。“對(duì)于一些司機(jī)來(lái)說(shuō)，他們獲得了完整的微睡眠，”他說(shuō)道。該團(tuán)隊(duì)收集了 92 位司機(jī)的數(shù)據(jù)。每位參與測(cè)試的司機(jī)要來(lái)實(shí)驗(yàn)室兩次：一次是在充分休息后，一次是在感覺(jué)疲勞時(shí)。在疲勞狀態(tài)下受試時(shí)，他們至少需要有 16 個(gè)小時(shí)處于清醒狀態(tài)，或者他們前一天晚上的睡眠時(shí)間不超過(guò) 4 個(gè)小時(shí)。每次前來(lái)受試時(shí)，他們都參與了手動(dòng)駕駛和自動(dòng)駕駛兩種場(chǎng)景。“我們的基本想法是建立一個(gè)獨(dú)一無(wú)二的困駕司機(jī)大型數(shù)據(jù)庫(kù)，該數(shù)據(jù)庫(kù)也可以供公眾使用，”Eichberger 表示。雖然研究人員收集了駕駛員的各種數(shù)據(jù)，包括眼球運(yùn)動(dòng)、呼吸、出汗、注視方向和瞳孔擴(kuò)張情況，但這項(xiàng)研究完全依賴于通過(guò)心電圖 （ECG） 電極測(cè)量的心臟活動(dòng)。客觀地衡量犯困程度仍然是一項(xiàng)研究挑戰(zhàn)。但格拉茨科技大學(xué)的研究人員在進(jìn)行相關(guān)研究時(shí)，邀請(qǐng)交通心理學(xué)家觀看駕駛員的錄像，并根據(jù)駕駛員打哈欠、打瞌睡和長(zhǎng)時(shí)間眨眼給出他們的最佳評(píng)估，從而創(chuàng)建了真實(shí)值標(biāo)簽。這些心理學(xué)家提供了以下四個(gè)標(biāo)簽之一：警覺(jué)、中度犯困、極度犯困和入睡。這項(xiàng)研究將后兩者合并為極度犯困。Eichberger 表示，應(yīng)至少有三個(gè)類別的犯困程度，因?yàn)槿绻挥袃蓚€(gè)類別（警覺(jué)和極度犯困），則當(dāng)汽車發(fā)出警告，提醒您處于極度犯困狀態(tài)時(shí)，您已經(jīng)處于危險(xiǎn)之中了。

深度睡眠

Eichberger 團(tuán)隊(duì)使用了一種稱為深度學(xué)習(xí)的機(jī)器學(xué)習(xí)方法。該方法涉及多層神經(jīng)網(wǎng)絡(luò)。他們構(gòu)建了卷積神經(jīng)網(wǎng)絡(luò)，這是一個(gè)專用于處理空間輸入的網(wǎng)絡(luò)。這類算法可用來(lái)查看貓的照片，辨別其中復(fù)雜的模式，并將該圖像識(shí)別為貓。以往的困意檢測(cè)方法使用手動(dòng)編碼規(guī)則來(lái)處理 ECG 信號(hào)，這些信號(hào)以復(fù)雜的波形形式傳播而來(lái)。每次心臟跳動(dòng)時(shí)，心電圖中就會(huì)生成波形 R 峰。程序員以編程方式讓軟件尋找這些 R 峰，測(cè)量它們之間的時(shí)間長(zhǎng)度，并計(jì)算這些時(shí)間跨度的變化程度，從而生成與困意相關(guān)的心率變異性統(tǒng)計(jì)數(shù)據(jù)。但這些方法可能會(huì)遺漏隱藏在 ECG 信號(hào)中的其他重要信息，而研究人員并不知道要尋找這些信息。深度學(xué)習(xí)的強(qiáng)大之處在于，它能夠找到那些微妙的模式，這是人類憑經(jīng)驗(yàn)產(chǎn)生直覺(jué)的方式。那么，如何將專為圖像設(shè)計(jì)的卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于只是一系列電振幅的 ECG 信號(hào)呢？為什么要這樣做呢？第一個(gè)問(wèn)題的答案是，將波轉(zhuǎn)換為圖像。Sadegh Arefnezhad 以第一作者的身份在 Energies 上發(fā)表過(guò)一篇有關(guān)該新方法的論文。他使用 MATLAB 中的 Wavelet Toolbox 創(chuàng)建了小波尺度圖。時(shí)間序列數(shù)據(jù)可以被視為許多不同頻率的短時(shí)“小波”的總和。MATLAB 將波分解成這些更簡(jiǎn)單的小波。x 軸表示時(shí)間，y 軸表示頻率。在小波尺度圖中，每個(gè)點(diǎn)的亮度代表該頻率的小波當(dāng)時(shí)的振幅。為什么要在將波饋送入神經(jīng)網(wǎng)絡(luò)之前將其轉(zhuǎn)換為著色圖像？MathWorks 首席軟件工程師 Wayne King 說(shuō)道，“這一思路是，信號(hào)的時(shí)頻視圖可以使相關(guān)特性比原始時(shí)域數(shù)據(jù)更明顯。重要的是，通過(guò)創(chuàng)建圖像，研究人員能夠充分利用卷積神經(jīng)網(wǎng)絡(luò)，這是計(jì)算機(jī)科學(xué)家們多年來(lái)精心打磨的成果。”Arefnezhad 將這些圖像連同真實(shí)值困意標(biāo)簽一同饋送入一個(gè)神經(jīng)網(wǎng)絡(luò)中。該神經(jīng)網(wǎng)絡(luò)是他在 MATLAB 中使用 Deep Learning Toolbox 構(gòu)建的。Arefnezhad 表示，“這款工具使用起來(lái)非常方便。我可以添加不同類型的層，并輕松創(chuàng)建自己的神經(jīng)網(wǎng)絡(luò)。”他訓(xùn)練該神經(jīng)網(wǎng)絡(luò)將 ECG 信號(hào)分類為警覺(jué)、中度犯困或極度犯困。該網(wǎng)絡(luò)會(huì)根據(jù)對(duì)錯(cuò)進(jìn)行自我調(diào)整。

夜晚，一位參與者坐在測(cè)試車內(nèi)，佩戴著 ECG 和其他設(shè)備，正接受心臟活動(dòng)、眼球運(yùn)動(dòng)、注視方向和瞳孔擴(kuò)張情況監(jiān)測(cè)。（圖片所有權(quán)：Eichberger et al.，格拉茨科技大學(xué)）

三張圖顯示 ECG 信號(hào)頻率如何隨著受試者逐漸犯困而增加。對(duì)于警覺(jué)的駕駛員，其頻率為 0.5 赫茲或更低，而對(duì)于極度犯困的駕駛員，其頻率則達(dá)到 1 赫茲。例如，在處于 （a） 警覺(jué)、（b） 中度犯困以及 （c） 極度犯困這三種狀態(tài)下，駕駛員的 ECG 信號(hào)片段及其相應(yīng)的小波。（圖片所有權(quán)：Arefnezhad et al.，格拉茨科技大學(xué)）

使不均衡的數(shù)據(jù)均衡

網(wǎng)絡(luò)的末端是一個(gè)重要層，它會(huì)考慮到數(shù)據(jù)不均衡這一現(xiàn)實(shí)問(wèn)題。例如，在人工駕駛測(cè)試中，只有 6% 的樣本來(lái)自極度犯困的駕駛員。如果算法只是猜測(cè)其他兩個(gè)標(biāo)簽，那么它幾乎每次都是正確的。因此，Arefnezhad 增加了一個(gè)層，以在訓(xùn)練過(guò)程中對(duì)極度犯困的樣本給予更多的關(guān)注。他說(shuō)道，其他一些研究人員饋送的算法數(shù)據(jù)是在犯困和不犯困之間平均分配的數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)包含由定義虛擬神經(jīng)元之間的連接強(qiáng)度的參數(shù)。這些參數(shù)在訓(xùn)練過(guò)程中會(huì)發(fā)生變化。研究人員還在訓(xùn)練期間使用了超參數(shù)。他們?cè)O(shè)置這些值來(lái)控制學(xué)習(xí)率（參數(shù)為響應(yīng)反饋而發(fā)生變化的程度）以及在訓(xùn)練期間添加的噪音量（這會(huì)影響網(wǎng)絡(luò)的穩(wěn)健性）。有些人憑經(jīng)驗(yàn)選擇超參數(shù)，有些人則使用窮舉搜索法來(lái)進(jìn)行多次嘗試。Arefnezhad 采用了貝葉斯優(yōu)化。這種優(yōu)化方法運(yùn)用概率論隨著時(shí)間的推移縮小搜索范圍。該團(tuán)隊(duì)基于前所未見(jiàn)的圖像測(cè)試了該網(wǎng)絡(luò)，并將其表現(xiàn)與其他兩種機(jī)器學(xué)習(xí)方法進(jìn)行了比較，這兩種方法都依賴于從 ECG 數(shù)據(jù)中手動(dòng)提取的特征。首先，他們收集了 R 峰之間的所有區(qū)間。然后，他們計(jì)算了 11 個(gè)值，如一組區(qū)間內(nèi)的標(biāo)準(zhǔn)差。他們將這些值饋送到以下兩個(gè)分類器之一：k 最近鄰 （KNN） 模型和隨機(jī)森林。在這些基線方法中，最佳的方法莫過(guò)于隨機(jī)森林。采用該方法在手動(dòng)和自動(dòng)駕駛模式下對(duì)困意進(jìn)行分類時(shí)，其精度分別達(dá)到了 62% 和 64%。深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)又比該方法略勝一籌。其精度分別達(dá)到了 77% 和 79%。讓 Arefnezhad 感到驚訝的是，它竟然能夠在尺度圖中找到正確的線索。他看著這些圖像說(shuō)道，“您看不出警覺(jué)的司機(jī)和中度犯困的司機(jī)之間有太大區(qū)別，但神經(jīng)網(wǎng)絡(luò)很容易識(shí)別出來(lái)”。

使用 ECG 信號(hào)對(duì)駕駛員犯困程度進(jìn)行分類的兩種不同方法：小波尺度圖或衍生的心率變異性特征。使用貝葉斯優(yōu)化方法對(duì) KNN、隨機(jī)森林和 CNN 模型的超參數(shù)進(jìn)行了優(yōu)化。（圖片所有權(quán)：Arefnezhad et al.，格拉茨科技大學(xué)）

展望前路

Eichberger 和 Arefnezhad 期待未來(lái)有許多方法可用于此項(xiàng)研究。在實(shí)際應(yīng)用中遇到的明顯障礙是，他們使用胸部電極收集 ECG 數(shù)據(jù)，但駕駛員日常并不會(huì)佩戴這種電極。其他傳感器，例如智能手表，可能會(huì)取代胸部電極。研究人員還在開(kāi)發(fā)能夠從膚色變化中檢測(cè)出脈沖的攝像系統(tǒng)。Eichberger 說(shuō)道，“研發(fā)推向市場(chǎng)的解決方案并非我們的本意。我們旨在證明，可行技術(shù)使我們以目前所知的方法無(wú)法企及的方式對(duì)駕駛員犯困程度進(jìn)行更有效的分類成為了可能。”他們還希望將得到的 ECG 數(shù)據(jù)與其他數(shù)據(jù)相結(jié)合，使整個(gè)系統(tǒng)更加穩(wěn)健，以防其中一個(gè)信號(hào)失效。他們想要?jiǎng)?chuàng)建個(gè)性化的分類器，因?yàn)樾盘?hào)可能因人而異。如果對(duì)分類器進(jìn)行微調(diào)，則駕駛員可能需要在模擬器中花些時(shí)間提供數(shù)據(jù)。Eichberger 和 Arefnezhad 計(jì)劃從固定模擬器轉(zhuǎn)向測(cè)試軌道。這樣做可能有助于他們解決另一個(gè)問(wèn)題：“目前，應(yīng)該如何設(shè)計(jì)車輛發(fā)生故障時(shí)啟動(dòng)的接管程序尚不得而知，”Eichberger 說(shuō)道。“它該如何告知駕駛員接管車輛？它應(yīng)該允許駕駛員在多長(zhǎng)時(shí)間內(nèi)做出響應(yīng)？”如果汽車能使駕駛員遠(yuǎn)離中度犯困的狀態(tài)，則接管車輛會(huì)順利得多。Eichberger 說(shuō)道，“因此，知道駕駛員何時(shí)剛進(jìn)入中度犯困狀態(tài)，甚至在此之前可能就已知道，這不啻為巨大的進(jìn)步。”

編輯：黃飛