描述

情況

在現代農業和林業方面，植物病理學研究對于作物改良非常重要。每年，巨大的作物因病原體的侵襲而受損。在大多數情況下，農民和普通人由于嚴重的病原侵染而遭受巨大損失。對于作物改良，首要的關鍵點是病害識別。正確識別疾病后，我們將能夠治療疾病。大多數案例以實驗室為導向的研究是耗時且非常消耗性的，但使用現代技術即時識別植物病害及其致病生物是最合適、成本有效且真實的。這種類型識別方法將幫助我們通過適當的控制措施識別疾病。

根據維基百科，農藥的影響包括農藥對非目標物種的影響。農藥是用于殺死真菌或動物害蟲的化學制劑。超過98%的噴灑殺蟲劑和 95% 的除草劑到達目標物種以外的目的地，因為它們被噴灑或散布在整個農田。徑流可以將殺蟲劑帶入水生環境，而風可以將它們帶到其他田地、放牧區、人類住區和未開發地區，可能影響其他物種。其他問題源于不良的生產、運輸和儲存做法。隨著時間的推移，重復施用會增加害蟲的抵抗力，而它對其他物種的影響會促進害蟲的死灰復燃。

每種殺蟲劑或殺蟲劑類別都有一組特定的環境問題。這種不良影響導致許多殺蟲劑被禁用，而法規限制和/或減少了其他殺蟲劑的使用。農藥使用的全球傳播，包括使用在某些司法管轄區已被禁止的舊/過時農藥，總體上有所增加。

因此，我們可以得出結論，盡管殺蟲劑和殺蟲劑非常有用，但現在正相反，即危害性正在迅速增加。

主意

所以重點出現了——“我們可以做些什么來控制農藥的使用？”。

在這里，我們應該記住一件事，我們需要建立一個可以降低甚至可能追蹤農藥使用的系統，因為出于一些明顯的原因，我們無法將其降低以維持農業工業。

理論

在我們的項目中，我們將使用稱為體溫調節的溫血哺乳動物的特征和特征。這是一張顯示體溫調節存在并由紅外掃描儀相機掃描的圖像 -

所以基本上我們將使用 balenaFin 使用 AMG8833 傳感器攝像頭進行掃描，它會顯示那里是否存在害蟲。然后它會告訴我們在哪里準確噴灑殺蟲劑或殺蟲劑，在哪里不應該噴灑。

硬件

balena鰭

balenaFin 的設計考慮了現場部署。它是 Raspberry Compute Module 3 和 3+ Lite (CM3L/CM3+L) 的載板，可以運行 Raspberry Pi 可以運行的所有軟件，并針對現場部署用例進行了強化。

樹莓派計算模塊

balenaFin 支持 Raspberry Pi 計算模塊 3 和 3+ lite (CM3L/CM3+L)。

貯存

balenaFin 上的存儲基于工業級 eMMC 存儲，提供 8GB、16GB、32GB 和 64GB 選項。

力量

balenaFin 具有寬輸入電壓范圍 (6V-24V)，特別適用于通常無法提供可靠 5V 的應用。

協處理器

balenaFin 包括一個支持藍牙的低功耗協處理器（32 位 ARM? Cortex M4）。協處理器可以單獨運行或并行運行，并允許以編程方式打開和關閉主處理器。這在需要低功耗或實時處理的應用中特別有用。

連接性

balenaFin 的無線芯片支持 802.11ac/a/b/g/n WiFI 和藍牙 4.2（包括 SMART 功能）。板上包含一個雙頻嵌入式天線和一個用于改善信號覆蓋范圍的外部天線連接器。

輸入輸出

balenaFin 上的 Mini PCI Express 端口為許多不同的模塊帶來了無縫連接。第三方模塊可用于 LTE、Zigbee、LoRA 和 CANBus，并且可以通過利用 mini PCI Express 連接器上的 USB 接口來實現額外的存儲（這可能需要定制設計）。balenaFin HAT 接頭可用于連接任何 Raspberry Pi HAT 兼容模塊（PoE、RS232、ZWave 等）。一個較小的 18 針接頭暴露了協處理器的模擬和時間敏感 I/O。V1.1 包括一個額外的 4 針 USB 接頭，允許無線設計應用，例如附加存儲、輔助以太網端口、多媒體閱讀器、附加無線電接口等。

樹莓派計算模塊 3+ Lite

CM3+ 計算模塊包含 Raspberry Pi 3 Model B+（BCM2837 處理器和 1GB RAM）以及可選的 8GB、16GB 或 32GB 的 eMMC 閃存設備（相當于 Pi 中的 SD 卡）。

所有這些都集成到一個小型 (67.6mm × 31mm) 板上，該板適合標準 DDR2 SODIMM 連接器。閃存直接連接到板上的處理器，但其余處理器接口可通過連接器引腳供用戶使用。您可以獲得 BCM2837 SoC 的全部靈活性（這意味著比標準 Raspberry Pi 提供更多的 GPIO 和接口），并且將模塊設計到自定義系統中應該相對簡單，因為我們已經將所有棘手的部分都放到了模塊本身。這需要與balenaFin連接。

Adafruit AMG8833 紅外攝像機分線模塊

Panasonic 的這款傳感器是 8x8 紅外熱傳感器陣列。當連接到您的微控制器（或 Raspberry Pi）時，它將通過 I2C 返回一組 64 個單獨的紅外溫度讀數。它就像那些花哨的熱像儀，但足夠緊湊和簡單，易于集成。

該部件將測量范圍從 0°C 到 80°C（32°F 到 176°F）的溫度，精度為 +- 2.5°C (4.5°F)。它可以在最遠 7 米 (23) 英尺的距離內檢測到人。最大幀速率為 10Hz，非常適合創建自己的人體探測器或迷你熱像儀。我們有在 Arduino 或兼容設備（傳感器通過 I2C 通信）或在帶有 Python 的 Raspberry Pi 上使用此分線器的代碼。在 Pi 上，借助 SciPy python 庫的一些圖像處理幫助，我們能夠插入 8x8 網格并獲得一些非常好的結果！

AMG8833 是 Panasonic 的下一代 8x8 熱紅外傳感器，提供比其前身 AMG8831 更高的性能。該傳感器僅支持 I2C，并且具有可配置的中斷引腳，當任何單個像素高于或低于您設置的閾值時，該引腳可以觸發。

英特爾神經計算棒 2

英特爾神經計算棒 2 由英特爾 Movidius X VPU 提供支持，可提供行業領先的性能、功率和功率。NEURAL COMPUTE 支持 OpenVINO，這是一個加速解決方案開發和簡化部署的工具包。神經計算棒 2 提供即插即用的簡單性，支持通用框架和開箱即用的示例應用程序。使用任何帶有 USB 端口的平臺進行原型設計和操作，無需依賴云計算。與前幾代產品相比，英特爾 NCS 2 每秒可提供 4 萬億次操作，性能提升 8 倍。

它能做什么：

借助英特爾 NCS 2 的增強功能，可以輕松將計算機視覺和人工智能引入物聯網 (IoT) 和邊緣設備原型。對于開發智能相機、無人機、工業機器人或下一個必備智能設備的開發人員而言家用設備，英特爾 NCS 2 提供更快、更智能的原型制作所需。

看起來像標準 USB 拇指驅動器的東西隱藏在里面。英特爾 NCS 2 由最新一代的英特爾 VPU——英特爾 Movidius Myriad X VPU 提供支持。這是第一個具有神經計算引擎的產品——專用硬件神經網絡推理加速器可提供額外的性能。結合支持更多網絡的英特爾分發版 OpenVINO 工具套件，英特爾 NCS 2 為開發人員提供了更大的原型設計靈活性。此外，多虧了英特爾 AI：在生產生態系統中，開發人員現在可以將他們的英特爾 NCS 2 原型移植到其他外形尺寸并產品化他們的設計。

這個怎么運作：

借助筆記本電腦和英特爾 NCS 2，開發人員可以在幾分鐘內啟動并運行他們的 AI 和計算機視覺應用程序。英特爾 NCS 2 在標準 USB 3.0 端口上運行，不需要額外的硬件，使用戶能夠無縫轉換 PC 訓練模型，然后將其本地部署到各種設備，無需互聯網或云連接。

第一代英特爾 NCS 于 2017 年 7 月推出，已為數以萬計的開發人員社區提供了動力，已在 700 多個開發人員視頻中進行了專題介紹，并已在數十篇研究論文中得到使用。現在，憑借 NCS 2 的更高性能，英特爾正在幫助 AI 社區創建更雄心勃勃的應用程序。

特征：

提高生產力：

• 以低成本減少對具有多功能硬件處理能力的神經網絡進行原型設計或調整的時間。
• 與原始英特爾 Movidius 神經計算棒相比，增強的硬件處理能力。
• 利用 16 個內核而不是 12 個內核以及一個神經計算引擎，一個專用的深度神經網絡加速器。
• 深度神經網絡推理的性能提升高達 8 倍，具體取決于網絡。
• 可負擔性加速了深度神經網絡的應用。
• 改變 AI 開發工具包體驗。
• 即插即用的簡單性。
• 實惠的價格點。
• 支持通用框架，包括開箱即用和快速開發。

發現效率：

• 卓越的每瓦性能將機器視覺帶到了新的領域。
• 在不依賴云計算連接的情況下“在邊緣”運行。
• 深度學習原型現在可以在筆記本電腦、單板計算機或任何帶有 USB 端口的平臺上使用。
• 易于使用且價格合理——利用更高的每瓦性能和高效的無風扇設計。
• 結合英特爾? Movidius? Myriad? X VPU 的硬件優化性能和英特爾? Distribution of OpenVINO”工具包，加速基于深度神經網絡的應用程序。
• 在同類產品中率先采用神經計算引擎——一個專用的硬件加速器。
• 16 個強大的處理內核（稱為 SHAVE 內核）和超高吞吐量智能內存結構共同使英特爾 Movidius Myriad X VPU 成為設備上深度神經網絡和計算機視覺應用的行業領導者。
• 在芯片上具有全新的深度神經網絡 (DNN) 推理引擎。

原型設計更簡單的多功能性：

• 英特爾分發的 OpenVINO 工具套件簡化了開發體驗。
• 在英特爾神經計算棒 2 上制作原型，然后將您的深度神經網絡部署到基于英特爾 Movidius Myriad X VPU 的嵌入式設備上。
• 簡化工作原型的路徑。
• 跨英特爾硬件擴展工作負載并最大化性能。
• 強大的英特爾 Distribution of OpenVINO 工具套件可簡化模擬人類視覺的應用程序和解決方案的移植和部署。
• 英特爾發布的 OpenVINO 工具套件簡化了多平臺計算機視覺解決方案的開發——提高了深度學習性能。
• 現在，跨英特爾加速技術套件開發異構執行應用程序變得更加容易。一次開發并在英特爾 CPU、VPU、集成顯卡或 FPGA 上進行部署。
• 如果需要，用戶可以實現自己的自定義層并在 CPU 上執行這些層，而模型的其余部分在 VPU 上運行。

軟件

Raspbian（目前為 Raspberry Pi 操作系統）

它是基金會官方支持的操作系統。

Raspberry Pi OS 預裝了大量用于教育、編程和一般用途的軟件。它有 Python、Scratch、Sonic Pi、Java 等等。

ZIP 存檔中包含的帶有桌面映像的 Raspberry Pi OS 大小超過 4GB，這意味著這些存檔使用某些平臺上的舊解壓縮工具不支持的功能。

注意：這里我們必須使用專門為 balenaFin 設計的 Raspbian Image。從這里下載。

balena蝕刻機

balenaEtcher 是一個免費的開源實用程序，用于將圖像文件（如 .iso 和 .img 文件）以及壓縮文件夾寫入存儲介質以創建實時 SD 卡和 USB 閃存驅動器。它由 balena 開發，并在 Apache License 2.0 下獲得許可。從這里下載。

OpenVINO

OpenVINO 工具包是一個免費工具包，可促進從框架優化深度學習模型，并使用推理引擎將其部署到英特爾硬件上。它是用 Python 和 C++ 編寫的。

解釋與工作

所以這里是我們項目的基本演示，在一段中解釋。因此，首先將 AMG8833 相機傳感器板連接到 balenaFin，并且英特爾神經計算棒 2 需要連接到 Pi 以提高模型的性能并使用英特爾的 OpenVino 對其進行訓練。下面通過 GIF 解釋了傳感器的使用。

現在，由 Fin 組成的完整設備將放置在金屬棒的底部（例如金屬探測器中的一個），如下所示。

評估

如果像巢這樣的大型熱源不明顯，敏感的熱像儀可能能夠檢測到不規則的熱模式、水分和其他表明存在害蟲的損壞跡象，例如缺少絕緣層或墻壁上的孔表明存在害蟲。入口點。了解要查找的模式需要培訓和練習，因為很容易錯誤地解釋圖像。

以下是嘗試定位以下常見入侵者時要尋找的一些指標：

白蟻

白蟻巢穴可能作為熱點可見（左），而白蟻隧道的水分含量很高，可以通過熱成像（右）檢測到。

通過尋找巢穴、水分來源和墻壁損壞的證據可以找到白蟻。當白蟻進入家中時，它們會以二氧化碳的形式從消化系統中釋放熱量，并建造含水量高的泥管，從而在墻壁、天花板和地板的表面形成不規則的熱量模式。

嚙齒動物

嚙齒動物（如左側的負鼠）或它們的巢穴可能是可見的，或者野生動物活動可能會留下諸如缺少絕緣材料（右）之類的線索。

嚙齒動物和其他野生動物可能會形成可以被檢測到的巢穴，或者可能已經損壞了墻壁或移動了絕緣層，并產生了可以在熱環境中看到的冷點。夜間出現的夜間動物也可以通過熱成像進行追蹤，該熱成像在完全黑暗的環境中工作。

大黃蜂和其他社會昆蟲

大黃蜂巢顯示為熱的熱點。

昆蟲是冷血動物，但它們確實會產生熱量。黃蜂巢、蜂巢或其他大型群居昆蟲的熱量通常會產生足夠的熱量，從而被熱像儀檢測到。

1)使用以下電路連接將 AMG8833 IR Camera Sensor Breakout 連接到 Raspberry Pi -

balenaFin AMG8833 IR Camera

3V3 VIN

GND GND

GPIO 2 SDA

GPIO 3 SCL

GPIO 4 INT

2)從此鏈接安裝 Intel OpenVino Toolkit 。

3)按照本教程下載并在連接英特爾 Movidius 神經計算棒 2 的 balenaFin 上運行演示。

4)或者，如果您想在英特爾 PC 上部署它，請按照我制作的指南進行操作。

5)從 Internet 上可用的各種資源中收集熱數據，例如。或者，您可以在使用紅外攝像機時收集您自己的自定義圖像數據。

6)您可以在 OpenVino SDK 本身中訓練您的模型，也可以使用Google Colab或Jupyter Notebooks來訓練。

7)然后您可以使用 OpenVino 團隊的本教程和指南將此數據導出到 OpenVino SDK 開發平臺。

訓練模型

第 1 部分 - 區分豆娘和蝴蝶

我們正在使用Google 的 Teachable Machine來訓練能夠在豆娘和蝴蝶之間進行分類的模型。

第1 步 -首先從我們的 Google Drive 下載蝴蝶和豆娘的熱圖像。

蝴蝶數據集

豆娘數據集

第 2 步 -并按照以下步驟開始訓練數據。

第 3 步 -單擊 Image Project，然后在 Class 1 和 Class 2 框中分別將它們命名為 Damselfly 和 Butterfly，如下所示。

第 4 步 -通過我們 Google Drive 中提供的圖像訓練數據。您可以從文件上傳，也可以使用網絡攝像頭，然后通過顯示來自手機的圖像進行訓練，如下所示。

第 5 步 -然后單擊屏幕中間的訓練模型按鈕。等待一段時間，然后它將開始訓練模型。

對數據進行分類

成功訓練后，它將彈出并打開您的網絡攝像頭進行實時分類，如下所示。

然后單擊屏幕頂部的導出模型選項。點擊后會顯示如下畫面。

然后點擊 TensorFlow Lite 選項，如下圖所示。

恭喜！您已在網絡上成功訓練和分類模型。現在是時候在硬件上運行它了。

在硬件上運行

在這里，我們正在測試兩種情況：

使用 Google Coral USB 加速器在 balenaFin 上運行

Coral USB 加速器使用 Coral Edge TPU ，因此在 TensorFlow Lite 環境中運行時增加了模型。

步驟1

按照Coral 的官方說明安裝 edgetpu 庫

第2步

pip 像這樣安裝以下軟件包：

pip3 install Pillow opencv-python opencv-contrib-python

第 3 步

從 TM2 下載模型

第4步

使用我們存儲庫中的此代碼來運行模型

使用英特爾神經計算棒在 balenaFin 上運行

由于硬件和軟件的限制，未完成:(

制作這個項目時面臨的限制

在閱讀了這個項目帖子后，你們中的大多數人會詢問我們在 NCS 2 上運行的部分。好吧，我們在開發這個項目時遇到了一些嚴峻的情況。以下是一些 -

1）我們沒有人在家里有熱敏/紅外相機。我們通過為我們收集一些圖像數據在許多地方尋求幫助。沒有一個論壇或地方這樣做。所以我（Arijit）必須閱讀 2 篇完整的研究論文才能獲得一些豆娘和蝴蝶的熱圖像數據。我們只得到了 2 種類型的熱圖像，然后我們降低了它的亮度，然后把它變成了大約 650 張圖像來訓練模型。

2)包括 David W 和 Sahaj Sarup 在內的我們都沒有 NCS 。最后，我們得到了 David Tischler 的幫助，他慷慨地提供了與 Movidius 棒 (NCS 1) 連接的 Pi 4。

3）我們確實制作了我們甚至測試過的模型，它運行得非常快，然后模型被轉換為 TensorFlow Lite 模型。

4）我們幾乎沒有時間花在樹莓派上，而且由于我們來自不同的時區，我們在進行一些討論和談話方面也遇到了困難。

5）自從我們獲得對 Pi 的訪問權限以來，我們連續嘗試了 2 天。但是我們無法使模型轉換為 OpenVINO 并使其啟動并運行:(

分步說明

1. 作為第一步，我們將掃描并通過將 AMG8833 攝像頭傳感器分線板連接到鰭來獲取數據。

2. 使用 Intel 的 OpenVino 軟件進行所需的分析，它會得到加速，即 fps（每秒幀數）速度會逐漸提高。

3. 然后對該區域進行全面掃描，然后鰭將引導農民將殺蟲劑放置在哪里以便更好地使用。

演示視頻

您還可以在這里查看并試用我們托管在 Teachable Machine 網站上的模型。

特征

1、成本低，使用方便。

2. 無需技術背景即可使用此設備

3. 能夠在農業中正確使用化學品。

4. 預防因噴灑不需要的化學物質而引起的有害疾病。

未來的工作

為了進一步發展，我們正在考慮使用一些高功率相機，即使它們正在飛行，它們甚至能夠跟蹤和分類害蟲。我們正在考慮降低成本，甚至試圖讓我們的模型在廉價的安卓手機上運行，??并連接一個廉價的熱像儀，這將幫助貧困農民輕松購買和使用這項技術來改善人類生活。

-X-

感謝您查看我們的項目。如果您有任何疑問，請不要忘記下拉任何關于查詢或任何問題的評論。我們將嘗試肯定地回答他們:)

?