電子發(fā)燒友網(wǎng)>電子資料下載>電子資料>使用TinyML和Arduino Nano 33 BLE計(jì)算閱讀時(shí)間

使用TinyML和Arduino Nano 33 BLE計(jì)算閱讀時(shí)間

2076311 2022-10-28 | zip | 0.10 MB | 次下載 | 2積分

普通下載普通下載

資料介紹

描述

使用 TinyML 和 Arduino Nano BLE 33 計(jì)算剩余閱讀時(shí)間

作為一個(gè) 70 年代出生的作家，我當(dāng)然喜歡紙質(zhì)書，但在使用 Kindle 多年后，我已經(jīng)習(xí)慣了一些我不想失去的功能。

有什么特點(diǎn)？例如剩余的閱讀時(shí)間。紙質(zhì)書可以實(shí)現(xiàn)這樣的功能嗎？如何？

第一個(gè)想法（最壞的想法）是在每頁翻頁時(shí)添加一個(gè)按鈕。

它會(huì)起作用嗎？當(dāng)然，但從工程的角度來看，這會(huì)有點(diǎn)煩人，而且一點(diǎn)也不有趣。

用音頻代替呢？你能教 Arduino 翻頁聽起來應(yīng)該是怎樣的嗎？

當(dāng)然。借助一點(diǎn)機(jī)器學(xué)習(xí)的幫助。

這個(gè)項(xiàng)目你需要什么？

Arduino BLE 33 Sense （具有板載麥克風(fēng)和強(qiáng)大的 Nina B3 芯片）
Edge Impulse 免費(fèi)帳戶，這是一個(gè)簡化機(jī)器學(xué)習(xí)任務(wù)的平臺(tái)。
一個(gè) Adafruit Oled 128x32 屏幕（顯示閱讀時(shí)間）
一個(gè)電位器（設(shè)置書頁）

電路

Oled 屏幕 VCC 轉(zhuǎn) Arduino 3.3v，GND 轉(zhuǎn) Arduino GND，SDA 轉(zhuǎn) A4，SCL 轉(zhuǎn) A5

電位器連接到 VIN、GND 和 A0

圓環(huán)

帶有邊緣脈沖的 TinyML

創(chuàng)建免費(fèi)的 Edge Impulse 帳戶后，轉(zhuǎn)到數(shù)據(jù)采集、收集數(shù)據(jù)、使用您的計(jì)算機(jī)。允許瀏覽器權(quán)限并在每次翻頁之間間隔 2 秒保存至少 5 分鐘。完成后，音頻將被上傳，一個(gè)臨時(shí)彈出窗口會(huì)在準(zhǔn)備就緒時(shí)通知您。然后您將能夠在訓(xùn)練數(shù)據(jù)中看到數(shù)據(jù)。做同樣的事情，但現(xiàn)在記錄房間噪音。

數(shù)據(jù)采集

現(xiàn)在，單擊 1 分鐘收集的數(shù)據(jù)音頻中第一個(gè)右側(cè)的 3 個(gè)點(diǎn)，然后拆分樣本。對所有樣本執(zhí)行相同的操作。

重新平衡儀表板中的數(shù)據(jù)集，以便您可以有 80% 的訓(xùn)練和 20% 的測試。

現(xiàn)在用 MFCC 設(shè)計(jì)您的 Impulse，2000ms 窗口大小，1000ms 窗口增加。節(jié)省。轉(zhuǎn)到 MFCC Generate Features 并確認(rèn) Window size 為 101。然后轉(zhuǎn)到 NN Classifier，300 個(gè)訓(xùn)練周期，0.05 學(xué)習(xí)率，0.80 置信度，Noise high，Mask time band low 和 mask freq none。最后，開始訓(xùn)練。

現(xiàn)在您可以轉(zhuǎn)到模型測試并檢查全局準(zhǔn)確性。如果你得到一個(gè)很好的百分比，你就可以將模型部署到 Arduino。轉(zhuǎn)到部署，Arduino 庫。保存文件并使用 Arduino IDE、Include Library、Add Zip library 添加 zip。

然后您可以加載示例 nanoble33 麥克風(fēng)并測試模型。

然后，您可以在Github 閱讀時(shí)間下載此項(xiàng)目的完整代碼。您應(yīng)該更改包含行 #include 以使用 nanoble33microphone 示例中指示的 same.h。

那是... 119小時(shí)，那好吧

閱讀時(shí)間計(jì)算

假設(shè)這本書有 100 頁。如果我每分鐘讀了 2 頁，而我還有 50 頁要讀，我會(huì)在 50/2 x 1 分鐘內(nèi)結(jié)束這本書。那是25分鐘。

這是進(jìn)行該計(jì)算的代碼

int remainingMinutes=(elapsedTime/pagesCounter)*(pages-pagesCounter)/1000/60;

注意：1000 從毫秒轉(zhuǎn)換為秒，然后 60 用于分鐘轉(zhuǎn)換。

如果我們使用響亮的聲音檢測來避免所有機(jī)器學(xué)習(xí)的麻煩怎么辦？

這種方法有兩個(gè)問題。第一個(gè)問題是任何響亮的聲音（例如關(guān)門聲或電話）都會(huì)被計(jì)算在內(nèi)，第二個(gè)問題是這樣做一點(diǎn)也不好玩。在下面的視頻示例中，您可以驗(yàn)證是否僅檢測到翻頁聲音。

3d打印案例

使用Fusion 360 ，我制作了一個(gè)簡約的外殼支架。

您可以在 Thingiverse 找到該文件。它只是一件，無需支撐即可打印。

融合 360 設(shè)計(jì)

演示視頻

一些故障排除

串口監(jiān)視器問題：您可能需要在端口 5 和端口 6 之間切換以進(jìn)行上傳和串口監(jiān)視器。

Windows 10 編譯問題：由于文件名太長的問題，我確實(shí)在根目錄下創(chuàng)建了一個(gè)臨時(shí)文件夾，并在首選項(xiàng)文件 Users/Your User/AppData/Local/Arduino15/Preferences 中添加了 build.path

Edge Impulse 版本：如果您要導(dǎo)出新版本，您可能必須從 Documents/Arduino/Libraries 中刪除舊版本，或者可以使用 previous.h 文件。