描述

設(shè)置

電路板設(shè)置

• 將 MaaXBoard 攝像頭插入音頻插孔旁邊的 MIPI-CSA 攝像頭連接器。
• 將顯示器插入電路板背面的 MIPI-DSI 連接器
• 將 MCU 鏈路插入 JTAG 連接器。如圖所示，將接地、TXD 和 RXD 引腳連接到 MaaXBoard RT 上的 Pi 接頭。將 MCU 鏈接的另一端插入主機(jī) PC 的 USB 端口。
• 將 5V、3A 電源連接到 MaaXBoard 上的 USB-C 端口為其供電。

我建議為您的 MIPI 相機(jī)創(chuàng)建一個支架，以便輕松定位以識別物體。我的是用 OpenBeam 做的，但你可以用木頭、冰棒棍和電工膠帶，或者你周圍的任何東西。

軟件設(shè)置

• 在您的計算機(jī)上下載并安裝最新版本的MCUXpresso IDE 。您需要一個恩智浦帳戶。他們有適用于 Windows、Mac 和 Linux 的二進(jìn)制文件。
• 登錄NXP SDK Builder ，點(diǎn)擊“Select Development Board”，搜索 RT1170 以找到i.MX RT 1170 SDK 。注意：MaaXBoard RT 自定義 SDK 即將發(fā)布。
• 通過將 SDK 拖放到 MCUXPresso 的“已安裝的 SDK”部分來安裝 SDK
• 下載這個項(xiàng)目的代碼（在代碼部分找到它）
• 點(diǎn)擊 MCUXpresso 中的“import project(s) from file system”，導(dǎo)入剛剛下載的壓縮文件
• 選擇項(xiàng)目，點(diǎn)擊“下一步”，點(diǎn)擊“完成”即可導(dǎo)入剛剛下載的項(xiàng)目

測試示例代碼

• 選擇“調(diào)試”以構(gòu)建代碼并將其加載到您的板上。
• 如果這是您第一次調(diào)試項(xiàng)目，則必須從找到的調(diào)試探針列表中選擇“啟動配置”。選擇調(diào)試探針并且用戶單擊“確定”后，IDE 將自動為該調(diào)試探針創(chuàng)建默認(rèn)啟動配置文件。
• 選擇“運(yùn)行”。您應(yīng)該會在 LCD 上看到攝像頭圖像。嘗試將物體放在相機(jī)前，看看您的模型是否會檢測到它們。您可以在MaaX_v2_tensorflow_lite_micro_label_image_cm7 > doc > labels.txt下查看可檢測對象的完整列表。有些物品可能很難找到（例如，我碰巧沒有歐洲火蠑螈）。然而，橙子在名單上，它們似乎工作正常。

包含的模型是 i.MX SDK eIQ 示例中包含的 Mobilenet v.1 的默認(rèn)版本。雖然快速且輕巧，但它不是很準(zhǔn)確。您會看到它通常無法識別圖像中的任何內(nèi)容：

Inference time: 172 ms

Detected: No label detected (0%)

這里列出了一個有用的 Tensorflow Lite 圖像分類模型列表，以及它們的準(zhǔn)確性、速度（以四核 CPU 為基準(zhǔn)）和大小。我們使用的默認(rèn)模型與列表中的第一個模型最相似。它的 top-1 準(zhǔn)確率為 39.5%，這意味著模型的最高預(yù)測只有大約 39.5% 的時間是正確的標(biāo)簽。

選擇新模型和/或數(shù)據(jù)集

在這里，我們的任務(wù)是圖像分類，所以我們只考慮圖像分類模型。I.MX RT 板有幾種不同的模型類型示例：

根據(jù)您的圖像分類需求，您可能需要具有一定準(zhǔn)確性或速度的模型。確定特定模型是否可以在特定設(shè)備上運(yùn)行基于：

• 推理運(yùn)行需要多長時間？相同的模型在功能較弱的設(shè)備上運(yùn)行需要更長的時間。
• 是否有足夠的非易失性內(nèi)存來存儲權(quán)重、模型本身和推理引擎？
• 是否有足夠的 RAM 來跟蹤模型的中間計算和輸出？您可能需要增加堆大小以提高性能。

盡管 MaaXBoard RT 有一個浮點(diǎn)單元并且能夠運(yùn)行浮點(diǎn)模型，但最好對模型進(jìn)行量化以考慮大小和速度。

大小：MaaXBoard 配備 256 Mb 超閃存。Tensorflow Lite 標(biāo)簽圖像項(xiàng)目為 35.4Mb，其中 5.5 個是模型本身。

我可以從 Tensorflow Lite 模型列表中看到，量化 MobileNet v2 比 V1 準(zhǔn)確得多，同時仍然相當(dāng)小且速度快：

• 通過單擊tflite&pb從Tensorflow 托管模型頁面下載模型
• 您應(yīng)該得到一個壓縮文件：mobilenet_v2_1.0_224_quant.tgz，然后您可以解壓縮以訪問 tflite 模型。

重新訓(xùn)練您的模型（可選）

您可以按原樣使用該模型，或者如果您希望在自定義數(shù)據(jù)集上對其進(jìn)行訓(xùn)練，您可以使用遷移學(xué)習(xí)來重新訓(xùn)練您的模型。

遷移學(xué)習(xí)的完整說明在此處的恩智浦遷移學(xué)習(xí)實(shí)驗(yàn)室中，您可以在此處找到與遷移學(xué)習(xí)實(shí)驗(yàn)室相關(guān)的更多信息，了解如何收集或選擇數(shù)據(jù)集。您需要一個帶標(biāo)簽的圖像數(shù)據(jù)集進(jìn)行訓(xùn)練（最好使用 MaaXBoard RT 相機(jī)收集的數(shù)據(jù)進(jìn)行訓(xùn)練），并且您還需要在您的 PC 上安裝正確版本的 Python 和 Tensorflow。

轉(zhuǎn)換您的模型以在 MCUXpresso 中使用

在這一步中，我們將把我們的模型轉(zhuǎn)換為 C 頭文件，這些頭文件可以添加到 MCUXpresso 中的項(xiàng)目中，然后加載到 MaaXBoard RT 上。這其實(shí)很簡單。它只需要 Vim，如果你在 Mac 或 Linux 上應(yīng)該已經(jīng)可用。

如果在 Windows 上，請安裝Vim 8.1 ：在該軟件包內(nèi)有一個名為 xxd.exe 的二進(jìn)制轉(zhuǎn)換程序，需要名為 xxd。xxd 是一個 hexdump 實(shí)用程序，可用于在文件的十六進(jìn)制轉(zhuǎn)儲和二進(jìn)制形式之間來回轉(zhuǎn)換。在這種情況下，該實(shí)用程序用于將 tflite 二進(jìn)制文件轉(zhuǎn)換為可添加到 eIQ 項(xiàng)目的 C/C++ 頭文件。

• 安裝后，將 vim 添加到您的可執(zhí)行 PATH（如果還沒有的話）：

• 通過打開 Windows 命令提示符并在命令提示符中鍵入“xxd -v”來驗(yàn)證 PATH 設(shè)置是否正確。您不應(yīng)收到有關(guān)無法識別的命令的任何錯誤。
• 使用 xxd 實(shí)用程序?qū)?.tflite 二進(jìn)制文件轉(zhuǎn)換為可導(dǎo)入嵌入式項(xiàng)目的 C 數(shù)組。

如果使用 Windows 命令提示符：

xxd -i mobilenet_v2_1.0_224_quant.tflite > model_data.h

如果使用 Windows Powershell：

xxd -i mobilenet_v2_1.0_224_quant.tflite | out-file -encoding ASCII mobilenet_v2_1.0_224_quant.h

• 該模型需要稍作修改以將其集成到 MCUXpresso SDK 中。打開model_data.h文件并對文件頂部進(jìn)行以下更改。還要記下數(shù)組名稱，因?yàn)樗鼘⒃谙乱还?jié)中使用：

#include

#define MODEL_NAME "mobilenet_v1_0.25_128_quant_int8"

#define MODEL_INPUT_MEAN 127.5f

#define MODEL_INPUT_STD 127.5f

const char model_data[] __ALIGNED(16) = {

更改后應(yīng)如下所示：

轉(zhuǎn)換您的標(biāo)簽

如果您使用的是現(xiàn)有模型，它應(yīng)該帶有一個labels.txt文件（在 mobilenet 的情況下，它被稱為 mobilenet_labels.txt）。附加的 python 腳本，replace_label_text.py，應(yīng)該將一個正常的行分隔的labels.txt文件轉(zhuǎn)換為與 C++ 一起工作的文件。將您的文件命名為“ labels.h ”

轉(zhuǎn)換后，它應(yīng)該如下所示：

修改示例項(xiàng)目

最后一步是采用TensorFlow Lite Label Image示例并對其進(jìn)行修改以使用新重新訓(xùn)練的模型。

將模型和標(biāo)簽文件導(dǎo)入 MCUXpresso

我們需要將上一節(jié)中生成的模型文件model_data.h和標(biāo)簽文件labels.h都導(dǎo)入到這個項(xiàng)目中。

• 通過右鍵單擊項(xiàng)目名稱找到此示例復(fù)制到的目錄位置，然后選擇Properties 。在出現(xiàn)的對話框中，單擊圖標(biāo)以在 Windows 資源管理器中打開該目錄。
• 轉(zhuǎn)到剛剛打開的MaaX_v2 _ tensorflow_lite_micro_label_image_cm7文件夾中的“源”目錄。它應(yīng)該類似于：C:\Users\nxp_training\MCUXpressoIDE_11.3.0_0522\workspace\MaaX_v2 _ tensorflow_lite_micro_label_image_cm7\source\model
• 在該模型目錄中，復(fù)制上一節(jié)中生成的model_data.h文件和labels.h文件。這些文件將替換現(xiàn)有的 model_data.h 和 labels.h 文件。完成后目錄應(yīng)如下所示：

修改示例源代碼

雙擊項(xiàng)目視圖中“source\model”文件夾下的model.cpp文件將其打開。

第 15 和 16 行應(yīng)該引入模型和您的新模型 model_data.h：

在第 26 行左右，更改 API 調(diào)用以加載默認(rèn)模型，并將其替換為新頭文件中的新模型名稱 (model_data) 和模型長度 (model_data_len)。它可能與下面列出的名稱略有不同。它應(yīng)該與 model_data.h 中的數(shù)組名稱和長度相匹配( const char model_data[] __ALIGNED(16) = {)：

為了減小項(xiàng)目的大小，Label Image示例僅支持默認(rèn) Mobilenet 模型所需的特定操作數(shù)。我們重新訓(xùn)練的模型使用了一些新的操作數(shù)。這些特定的操作數(shù)可以通過使用名為netron的應(yīng)用程序分析模型來確定，然后手動添加操作數(shù)，如 eIQ TensorFlow Lite 庫用戶指南第 7.1 節(jié)所述。或者，可以使用 BuiltinOpResolver 方法在項(xiàng)目中支持所有 TFLite 操作數(shù)。對于本實(shí)驗(yàn)，我們將使用后一種方法，以提供與其他模型的最大兼容性。在model.cpp的第 33 或 34 行附近，注釋掉原來的解析器行。然后添加一個新行

tflite::AllOpsResolver micro_op_resolver;

這就是您需要進(jìn)行的所有修改！該應(yīng)用程序現(xiàn)在可以運(yùn)行了。

運(yùn)行演示

在 MCUXpresso 中，確保超閃存驅(qū)動程序MaaXBoard_S26KS256.cfx位于Project Explorer下的 xip 文件夾中。然后，單擊“編輯項(xiàng)目設(shè)置”，導(dǎo)航到 MCU 設(shè)置，并確保在兩個位置都選擇了超閃存驅(qū)動程序作為閃存驅(qū)動程序。

我選擇了Debug ，因?yàn)檫@一步即可構(gòu)建和調(diào)試項(xiàng)目。幾乎立即（哇，有 HyperFlash！）我能夠在 LCD 上看到相機(jī)的輸出。

我收集了label.h 中命名的東西的列表，例如橙子和一杯葡萄酒（下一次我將訓(xùn)練一個識別雞尾酒類型的模型，因?yàn)檫@將使測試步驟更加愉快）。

當(dāng)控制臺以 115200 波特打開時，我可以看到它打印每個對象的標(biāo)簽，因?yàn)槲覍⑺e到相機(jī)上，并且模型識別了它：

Inference time: 2537 ms

Detected: orange (61%)

----------------------------------------

Inference time: 2536 ms

Detected: red wine (54%)

----------------------------------------

雖然它比示例項(xiàng)目中提供的 MobileNet 模型慢了一點(diǎn)，但它的準(zhǔn)確度要高得多，而且速度仍然足夠快，可以派上用場。在這個令人難以置信的微控制器上準(zhǔn)備和運(yùn)行模型的簡單程度給我留下了深刻的印象。