描述

我五歲的孩子剛剛開始學習拼寫，用字母組成單詞并讀出單詞。

以下是我如何進行此操作的總體摘要：

1. 找到一個經過訓練的模型，該模型可以識別類似于數字數字的 mnist 模型的書面英文字母。

2. 我找不到那個模型（D'oh！），所以我必須建立自己的模型。破解 Colab！

3. 下載Kaggle AZ 數據集，這樣我至少有一個數據集可以開始。

4. 開發、訓練模型并將其保存為 Tensorflow Lite 模型（參見 github 中的 Jupiter notebook）。我也量化了模型，但 tflite 模型已經足夠小了。

5. 開始在我的 Jetson Nano 開發套件（帶有 RPi 攝像頭和音頻帽）上編碼。

6. 大量的試錯測試！

請查看我的github以獲取完整的源代碼。這很有趣，因為我通常在預訓練模型上進行遷移學習。這是我第一次使用 Colab 從頭開始??生成新模型。

我花在編碼上的時間是一個很好的練習，可以確保輸入數據與模型數據具有相同的維度（和相同的格式）。

我最初的模型運行并不令人印象深刻。事實證明，這是因為模型數據假定黑色背景和白色文本，而我在白色背景上傳遞深色文本。在將圖像傳遞給模型之前，我必須反轉圖像的顏色。還要確保你正在縮放！

我通過過濾輸入圖像的像素值進一步提高了模型的性能。如果像素值小于某個強度（我選擇了 160），那么這意味著它可能是背景，而不是字母的一部分。我將該值設置為 0（黑色），在字母和背景之間提供了很好的對比。

我的原始輸入圖像格式，黑色字體和較淺的背景（糟糕！！！）

?

輸入圖像顏色反轉，背景變為黑色（好！）

?

下一步

所以現在我的工作很好，我想擴展數據集以包含更多的對象/動物讓我的孩子拼出。我也想讓它更便攜。現在我的 Jetson Nano 通過 HDMI 連接到我的顯示器。我要么得到一個小型 HDMI 顯示器，要么將它移植回我的 Raspberry Pi 4（我開始使用 RPi，但轉移到了 Jetson Nano）并可能使用我擁有的 Adafruit 機器學習 HAT（附帶一個小顯示器）。另外，你可以看到我不是 UI/UX 人。我拼湊一些東西讓它工作。如果您對如何在 OpenCV 中創建漂亮的 UI 有任何建議，請告訴我！

如果您有任何想法或問題，請隨時與我們聯系！謝謝！