描述

1.團(tuán)隊(duì)成員

林振陽（zl89）

益海龍（yl215）

劉正桐 (zl92)

博城灣 (bw31)

2.介紹

我們的團(tuán)隊(duì) MissingPort 由林振陽、劉正彤、龍一海、萬博成四人組成。我們的項(xiàng)目是構(gòu)建一個(gè)能夠識(shí)別一小段語音輸入的語音識(shí)別設(shè)備。我們使用 TensorFlow 訓(xùn)練語音識(shí)別模型，然后將簡化模型加載到我們的設(shè)備 Arduino Nano 33 BLE 中。因此，我們的設(shè)備可以接受語音輸入并通過閃爍不同的燈來顯示預(yù)測的識(shí)別結(jié)果。在我們的項(xiàng)目中，我們使用了Pete Warden 和 Daniel Situnayake在 Arduino 和超低功耗微控制器上使用 TensorFlow Lite 的機(jī)器學(xué)習(xí)作為我們的項(xiàng)目指南。我們的這個(gè)項(xiàng)目的過程顯示在 Schematics 塊中。

3.模型訓(xùn)練

首先，我們需要為我們的設(shè)備提供語音模型。因此，我們將使用機(jī)器學(xué)習(xí)從我們的語音樣本中生成模型。根據(jù) Warden 書中的說明，我們項(xiàng)目中使用的主要工具是 Python、TensorFlow 和 Google 的 Collaboratory。我們可以將我們的訓(xùn)練分為七個(gè)不同的階段。在第一階段，我們需要獲得一個(gè)簡單的數(shù)據(jù)集。在第二階段，我們訓(xùn)練了深度學(xué)習(xí)模型。然后在第三階段，我們評(píng)估了模型的性能。在第四階段，我們轉(zhuǎn)換了模型，使其可以在我們的設(shè)備上運(yùn)行。接下來，在第五階段，我們創(chuàng)建了代碼來執(zhí)行設(shè)備上的推理。在第六階段，我們將代碼構(gòu)建成二進(jìn)制。在最后階段，我們將二進(jìn)制文件部署到我們的微處理器中。

在模型訓(xùn)練中，我們嘗試了很多單詞對的組合，比如 cat-dog、stop-go、on-off 和原始的 yes-no。每對的訓(xùn)練過程最多需要兩個(gè)小時(shí)。

圖 2：培訓(xùn)信息

?

圖 3：測試結(jié)果

?

從測試結(jié)果可以看出，準(zhǔn)確率接近90%，每對單詞的準(zhǔn)確率接近90%。如果準(zhǔn)確率不在 90% 左右，我們將增加訓(xùn)練步驟以提高準(zhǔn)確率。

4.模型部署

我們使用的設(shè)備是 Arduino Nano 33 BLE Sense。當(dāng)我們部署模型時(shí)，需要修改原始文件夾中的三個(gè)文件，“Micro_features_model.cpp”、“arduino_command_responder.cpp”和“micro_features_micro_model_settings.cpp”。修改后，我們上傳了程序，做了幾次測試。

圖 4：部署完成

?

5.遇到的問題

圖 5：不期望的預(yù)測結(jié)果

?

在嘗試將我們的模型部署到設(shè)備時(shí)，我們遇到了一個(gè)非常奇怪的問題。除了“是，否”對之外的訓(xùn)練模型表現(xiàn)不佳。例如，左右對模型無法很好地區(qū)分背景噪音和語音。雖然增加了訓(xùn)練步數(shù)，但問題依然存在。對于其他模型，模型很容易預(yù)測第一個(gè)詞，但很難預(yù)測第二個(gè)詞。但是，對于“是-否”配對模型，一切都按預(yù)期進(jìn)行。我們調(diào)查了原始語音數(shù)據(jù)源，發(fā)現(xiàn)有幾個(gè)數(shù)據(jù)點(diǎn)被錯(cuò)誤地標(biāo)記。例如，在貓和狗數(shù)據(jù)文件夾中，幾個(gè)“是”或“否”數(shù)據(jù)點(diǎn)被標(biāo)記為“貓”或“狗”。我們確實(shí)相信這些錯(cuò)誤標(biāo)記的數(shù)據(jù)點(diǎn)會(huì)導(dǎo)致我們訓(xùn)練的模型不準(zhǔn)確。我們?yōu)槲覀冇?xùn)練的其他幾對附加了我們的模型。為了解決這個(gè)問題，必須徹底檢查原始數(shù)據(jù)集，以確保所有數(shù)據(jù)點(diǎn)都有正確的標(biāo)簽。

?

?