描述

問題

有許多項目專注于邊緣 AI/ML 的硬件。但在實際場景中，并沒有在產品之上的軟件側學習細節的顯著實踐來展現，本文彌補了這一不足。

同時，該項目在一個廉價的邊緣人工智能硬件上提供了完整的、可重現的EdgeML/TinyML動物識別工作流程，這在已知的現有項目中是很少見的。

硬件

SenseCAP K1100 套件中的 Wio 終端和 Grove Vision AI 模塊

?

該項目的硬件是Seeed SenseCAP K1100/A1100中的 Grove Vision AI 模塊。官方商店有單機版的Grove Vision AI Module 。

Vision AI Module有一顆芯片：Himax HX6537-A。芯片上的mcu基于消費者比較陌生的ARC架構。主頻是400Mhz，也不高。但最有趣的是 HX6537-A，具有快速XY SDRAM 內存架構來加速 TinyML，如 tensorflow lite 模型推理。我們稍后會看到這款芯片的性能。

工作流程

TinyAnimal 的工作流程

?

上面的工作流程很常見，也很清晰。我們只討論一些有趣的需求：

• 該數據集是具有 9.6GB 圖像的公共數據集。

這避免了樣本太少或代表性不足的常見問題。

• 培訓在當地完成。

這避免了樣本太少或代表性不足的常見問題。

• 數據收集和實時分析是通過邊緣數據庫JoinBase完成的。

與 PostgreSQL 或 TimescaleDB 等常見數據庫不同，JoinBase 直接接受 MQTT 消息。與云服務不同，JoinBase支持運行在邊緣，可以在沒有網絡的環境下使用。最后，JoinBase 可免費用于商業用途，這也有利于邊緣平臺的進一步發展。

準備數據集

“animals-80”數據集的整體

?

目前，針對野生動物或動物的工作邊緣 AI 的公開研究并不多。使用了少數公開可用的動物數據集之一——來自 Kaggle 的動物檢測圖像數據集（稱為“animals-80”數據集）。它包含 9.6GB 圖像中的 80 只動物，對于常見的動物識別任務應該足夠了。

準備訓練數據

animals-80 數據集的好處是它已經被標記了。但是原始標簽格式不是Yolov5標簽格式。已經進行了準備工作。核心部分就是上圖的預處理函數。請稍后的代碼回購以獲得更多信息。

火車

因為我們沒有足夠的資源來對完整的 9.6GB 訓練進行完整的訓練。因此，選擇了animals-80數據集的一個子集。

• 15-動物子集訓練

?

?

?

?

1 / 2 ? 15-動物子集訓練

?

我們使用 24c/48T Xeon Platinum 8260 處理器使用上面從官方示例中獲得的命令進行訓練。

python3 train.py --img 192 --batch 32 --epochs 200 --data data/animal.yaml --cfg yolov5n6-xiao.yaml --weights yolov5n6-xiao.pt --name animals --cache --project runs/train2

然而，兩個小時后（是的，再次證明Don't use CPU to train even is a top Xeon SP），發現最后的識別效果很差。

主要指標非常低：精度為 0.6，召回率和 mAP_0.5 都在 0.3 左右。

事實上，這個結果接近于不起作用。

• 4-動物子集訓練

讓我們將可識別的動物種類減少為四種：蜘蛛、鴨子、喜鵲和蝴蝶，這當然是郊區野外最常見的動物。

注意，重新運行準備腳本以生成正確的data/animal.yaml.

?

?

?

?

1 / 2 ? 4-動物子集訓練

?

主要指標變得更好：精度約為 0.81，召回率和 mAP_0.5 約為 0.6。

我們將在后期推理試驗和評估中回顧該模型的性能。可以只進行二元分類：一種動物和一種動物。但在這個項目中，我更期待在更復雜的場景下評估識別效果。

• YoLov5官方預訓練模型的 4 動物子集訓練

以上訓練均由Seeed官方文檔推薦完成。預訓練模型yolov5n6-xiao可能缺乏良好的泛化能力。在這個項目中，我們嘗試了一個 YoLOv5 官方最小的預訓練模型yolov5n6，看看是否有一些差異。

使用官方 yolov5n6 模型進行 4 動物子集訓練

?

上面的結果是從官方yolov5n6模型中得到的epochs=150.結果很好。因為，

主要指標：precision、recall 和 mAP_0, 5 均大于 0.9。在 ML 中，mAP_0.5 在 0.6 和 0.9 之間的差異在現實世界的檢測中是巨大而巨大的。

不幸的是，基于官方訓練的最終模型yolov5n6接近4MB，而Grove AI模塊的約束模型大小不超過1MB。因此，我們不能使用任何此類更大的模型（已嘗試）。一些建議將在最后一節中討論。 推論

仿真中檢測的三個例子

?

經過以上訓練，我們進行圖片仿真，初步評估模型的效果。讓我們看例子。

以上是 Grove AI 模塊的輸出。分類指數在中間，置信度在旁邊。對應指標的動物名稱可以在上面的訓練圖中看到。

第一次和第二次檢測是正確的，第三次檢測是錯誤的。第三張圖是一只喜鵲在天上飛，推理結果是蝴蝶。我們只是在后面的real-wprld評估中看到這個分類模型的影響。

真實世界評估

現實世界中的推理比實驗室中的推理更具挑戰性。因為測試時所處的環境或測試者或被測對象的狀態都會對結果產生很大的影響。這就是我們在工作流程部分進行規劃的原因。

我們通過TinyWild 項目中的郊野公園野生動物調查進行了真實世界的評估。執行兩種類型的檢測：

• 基于動態視口（移動相機）的檢測

整個調查的分類統計（置信度>75）

?

上圖是整個調查的分類統計（置信度>75）。相機移動的時間很長。因此，這是一個基于動態視口（移動相機）的檢測。源于軟件邏輯的“未知”和空動物已被排除在外。

基本結論是，對于個體識別來說，不是特別理想，但是收集到的定性信息是有效的。

Bufferfly在統計上相對突出，但沒有在公園里見過很多次的Magpie。

這似乎是喜鵲被識別為緩沖蠅，如上面推理部分的分析所示。它們的共同點是，它們經常在空中飛行。三個真實世界的因素：移動的相機、移動的物體和低分辨率，對識別結果有很大的影響。

• 基于靜態視口（靜態相機）的檢測

為減少移動因素的影響，還在湖邊開展了野鴨（野鴨）專項觀測。

在上面的第一個捕獲中，我們前端 UI 中鴨子的數量（其中一個有趣的地方是 UI 中的動態表是由 SQL 查詢驅動的，請參閱我們未來項目中的更多信息）。突然，兩個鴨子游入鏡頭范圍。鴨子的數量已經增加到13。考慮到原來的鴨子是被數過的，13是當時精確的數。發現Grove AI 對附近的動物檢測非常有效，就像我們在湖邊所做的那樣：當三只鴨子突然以相對靜態定位游入相機范圍時，我們得到了三個計數。（注：在TinyWild項目中，我們說有四項計數，但根據我們的錄音應該更正為三項計數。）

建議

基于以上實踐，我們針對廉價邊緣人工智能硬件上的 EdgeML 或 TinyML給出以下建議：

• 嘗試靜態觀察

即觀察者不做大動作。

• 檢測盡可能少的物體

例如，只做二元分類：人或沒有人，猴子或沒有猴子，鳥或沒有鳥。

• 使模型的主要指標盡可能大

例如，precision > 0.8，recall 和 mAP_0.5 > 0.6。

• 盡可能提高識別準確率（比如，更長的訓練時間）

廉價的邊緣 ML 硬件通常資源有限，例如 Grove AI 模塊的約束模型大小不超過 1MB，低于 yolov5 官方 yolov5n 預訓練網絡訓練的模型大小。發現較小的模型會顯著影響模型的主要指標。