描述

1. 問題陳述

許多人意識到溫室氣體排放對環(huán)境有害，但對道路車輛、發(fā)動機聲音、動力傳動系統(tǒng)、排氣、輪胎、剎車、風噪聲等引起的噪音污染知之甚少。想象一個車載監(jiān)控系統(tǒng)，它可以繪制出駕駛行為和通過聽排氣、輪胎、風噪聲的污染程度。不僅將這些信息提供給駕駛員，以提醒駕駛員如何溫和的駕駛行為會降低噪音污染，而且還可以預測輪胎、動力傳動系統(tǒng)等的磨損程度。除此之外，該車載監(jiān)控系統(tǒng)還提供噪音污染等級評分，供地方當局或保險機構（如果駕駛員同意）給予折扣/獎勵以降低噪音，因為駕駛員可以通過選擇電動汽車，使用較低的噪音輪胎，更好的維護車輛狀況，最關鍵的駕駛行為。有了這個系統(tǒng)，司機可以共同做出貢獻，以盡量減少對環(huán)境的噪音污染以及道路上的風險。

2. 范圍和假設

這里有幾個過程要實現(xiàn)：

• 識別聲音以確定是什么事件
• 根據(jù)識別結果對事件進行評分
• 預測時間序列識別中的已知失敗

由于多種原因，本項目的范圍有限，例如：

• 數(shù)據(jù)集僅限于一種類型的車輛（實際上只有一種車輛）
• 僅當出于安全考慮車輛不移動時才收集數(shù)據(jù)集，因為無法同時駕駛車輛和管理項目。
• 感官輸入（音頻）僅針對排氣聲。
• 機器學習管道僅運行 M4 核心。
• 由于社區(qū)帳戶，SensiML 知識包的分類輸出有限。
• 由于參與者開發(fā)前端應用程序的知識有限，SensiML 開放網關將用作 GUI。

鑒于上述定義的范圍，假設這是作為原型研究而不是實際用例部署，旨在使參與者能夠探索在邊緣設備上使用機器學習技術。

1. 提出的解決方案

該原型由幾個組件組成，如圖 1 所示。

• QuickLogic 的 QuickFeather
• NodeMCU的ESP32
• 鋰離子電池 18650

下面還有其他幾個軟件包。

• QuickLogic 的 QORC-SDK
• 樂鑫的 ESP-IDF
• 數(shù)據(jù)采集??實驗室、Analytics Studio、SensiML 的開放式網關

圖 1：原型

?

QuickFeather 和 ESP32 之間的連接使用 UART，其簡單示意圖如圖 2 所示。

圖 2：連接

?

計劃安裝點盡量靠近排氣口，不讓樣機暴露在排氣、水濺等熱源中，如圖3所示。

圖 3：安裝點

?

3.1 帶有測試數(shù)據(jù)集的概念驗證

在構建項目之前，需要大量閱讀數(shù)據(jù)表、repo、論壇等內容，考慮到在完全不同平臺上的新體驗，這個過程并非沒有挑戰(zhàn)。首先，建立一個概念驗證項目，其簡單目標是識別人聲，區(qū)分字符“A”、“B”、C”、“D”和不說話。音頻數(shù)據(jù)集在 DCL 中收集并手動分割，長度大小固定為 8000 個數(shù)據(jù)點，字符作為標簽。此外，在 Analytic Studio 中，該項目使用窗口大小為 400 的 AutoML 管道和 20 個特征級聯(lián)的滑動來組裝。最推薦的語音識別功能（基于互聯(lián)網和論壇的研究和調查）將是梅爾頻率倒譜系數(shù)（MFCC）。所以，在 AutoML 設置中選擇了頻率功能。訓練結果令人印象深刻，準確率和靈敏度均達到 99%。該管道生成4個特征，即MFCC、主頻、譜熵和峰值頻率。特征選擇器是使用信息增益（IG）根據(jù)類之間的差異來選擇特征。在特征向量最小最大尺度變換之后，管道以分層 K 折交叉驗證結束。最后，下載知識包并在 QF_SSI_AI_APP 中編譯并刷入 QuickFeather。特征選擇器是使用信息增益（IG）根據(jù)類之間的差異來選擇特征。在特征向量最小最大尺度變換之后，管道以分層 K 折交叉驗證結束。最后，下載知識包并在 QF_SSI_AI_APP 中編譯并刷入 QuickFeather。特征選擇器是使用信息增益（IG）根據(jù)類之間的差異來選擇特征。在特征向量最小最大尺度變換之后，管道以分層 K 折交叉驗證結束。最后，下載知識包并在 QF_SSI_AI_APP 中編譯并刷入 QuickFeather。

使用 SensiML 開放網關驗證結果如圖 4 所示。識別結果，但實際上不如訓練結果。靈敏度很好，而準確度大概在 50% 到 80% 之間。這有幾個可能的原因，背景聲音/噪聲影響識別，數(shù)據(jù)集欠擬合/過擬合，模型未優(yōu)化，以及許多其他事情可能出錯。其中一個疑點是，當一個字符長時間發(fā)音時，音頻波形可能會呈現(xiàn)出相似的形狀、模式和頻率，例如“B”和“D”。也許有一些更好的技術可以捕捉到這一點，這將是未來 KIV 研究的主題。

圖 4：概念驗證測試

?

備注：由于社區(qū)賬號，分類輸出限制為每上電1000個輸出。音頻傳感器配置為 16 kHz，滑動窗口大小為 8000 個數(shù)據(jù)點，僅需 500 秒即可達到最大輸出限制。

3.2 真實數(shù)據(jù)集的實際運行

真實數(shù)據(jù)集被分割并使用表 2 中列出的以下條件進行標記。

表 2：分類

?

類似的方法用于構建此管道。窗口大小設置為 400 和 10 個特征級聯(lián)，并選擇頻率作為 AutoML 管道中的特征生成器。盡管數(shù)據(jù)集中存在一些異常值，但訓練結果似乎可以接受，如圖 5 所示。

圖 5：訓練結果

?

一些類之間存在一些混淆，“EngIdle_AC_OFF”、“Eng1k”和“Ramp_DOWN”。此外，“Ramp_DOWN”和“Ramp_UP”也存在精度較低的問題，如圖 6 所示。

圖 6：混淆矩陣

?

該管道使用 MFCC 和 Spectral Entropy 作為特征生成器，使用 IG 作為特征選擇器，其中在將其輸入模型之前將應用 Min Max Scale 變換。該模型使用模式匹配引擎 (PME) 分類器，并通過層次聚類和神經元優(yōu)化進行優(yōu)化，如圖 7 所示。

圖 7：模型摘要

?

最后，知識包使用 QF_SSI_AI_APP 編譯并加載到 QuickFeather 并通過 ESP32 流式傳輸?shù)介_放網關。原型的位置如圖 3 所示，分類結果正在通過穩(wěn)定的腳控制油門踏板傳輸?shù)今{駛座的筆記本電腦。分類輸出主要顯示如圖 8 所示發(fā)動機怠速（約 800 rpm）時的“EngIDL_AC_OFF”和“Eng1K”。可能的原因之一是 800 rpm 和 1000 rpm 之間的排氣聲音非常相似。

圖 8：發(fā)動機怠速時的分類

?

盡管如此，發(fā)動機轉速高于 1000 rpm 的分類令人印象深刻，如圖 9 所示。當發(fā)動機以恒定轉速懸停時，它可以識別正確的發(fā)動機轉速。這展示了使用 SensiML 知識包閃爍的邊緣設備 (QuickFeather) 的功能。最好的是，知識包是由 AutoML 管道構建的，沒有太多的代碼破解或數(shù)據(jù)科學方面的密集知識。

圖 9：發(fā)動機在恒定轉速下的分類

?

發(fā)動機加速或減速時的識別是非常隨機的。這可能與數(shù)據(jù)集有關。數(shù)據(jù)集是在車庫環(huán)境中收集的，如果有更好的資源和環(huán)境，例如由 ECU 控制的發(fā)動機以執(zhí)行預設的速度曲線，數(shù)據(jù)集將非常干凈并顯著改進模型。

4。結論

該項目是一個半成品，因為它只實現(xiàn)了部分目標，即識別道路車輛引起的噪聲污染并向用戶提供反饋。盡管范圍沒有最初計劃那么大，但識別部分已經完成，還檢測動力傳動系統(tǒng)、風噪聲等。它需要多學科的技能和資源，如電子設計、腳本編碼等來完成整個項目，這是一個寫作時的時間和知識方面的限制。因此，該項目正在結束，以記錄整個過程中的所有努力和研究。最后，盡管學習曲線陡峭，但這個項目非常有趣，真正令人興奮的是，QuickFeather 和 SensiML 的存在為業(yè)余愛好者和