描述

靈感

最近，我一直在嘗試使用 Edge Impulse 在圖像數(shù)據(jù)集上訓(xùn)練 TensorFlow 模型。因此，在考慮萬(wàn)圣節(jié)時(shí)，幾乎每個(gè)人都會(huì)遇到一個(gè)常見(jiàn)問(wèn)題。為什么整理和整理所有糖果需要這么長(zhǎng)時(shí)間？因?yàn)閱为?dú)拾起每一塊并將其放入各自的堆中會(huì)耗費(fèi)太多精力，所以我想利用機(jī)器學(xué)習(xí)的力量來(lái)自動(dòng)化這個(gè)過(guò)程。

工作原理

該理論如下：用戶首先將一塊糖果放在平臺(tái)上，然后由相機(jī)對(duì)其進(jìn)行掃描。該圖像被一個(gè)模型分類，該模型產(chǎn)生一個(gè)它認(rèn)為糖果是什么的標(biāo)簽。根據(jù)結(jié)果??，選擇一堆，然后平臺(tái)移動(dòng)到該位置。一旦它到達(dá)，某種推動(dòng)機(jī)構(gòu)將糖果推入堆中，然后平臺(tái)返回并重新設(shè)置循環(huán)。

設(shè)置邊緣脈沖

為了收集訓(xùn)練數(shù)據(jù)并生成 TensorFlow 模型，我選擇了 Edge Impulse。我首先創(chuàng)建了一個(gè)名為“candySorter”的新項(xiàng)目，然后前往設(shè)備頁(yè)面。Edge Impulse 有一個(gè)不錯(cuò)的功能，您可以導(dǎo)入多種類型的數(shù)據(jù)并僅根據(jù)文件名自動(dòng)推斷其標(biāo)簽，因此我編寫(xiě)了一個(gè)簡(jiǎn)單的 Python 腳本，該腳本使用 Pi 的相機(jī)拍照并在按下按鈕時(shí)將其保存為所需的標(biāo)簽被按下。

?

?

?

?

1 / 2

?

訓(xùn)練和部署模型

現(xiàn)在有大量的圖像數(shù)據(jù)，是時(shí)候在其上訓(xùn)練一個(gè) TensorFlow 模型了。對(duì)于輸入，我使用了一個(gè)將原始圖像縮放為 96x96 像素大的圖像塊。處理塊只是將顏色深度設(shè)置為 RGB 而不是單色，訓(xùn)練塊利用 MobileNetV2 模型的遷移學(xué)習(xí)。輸出是以下標(biāo)簽之一：kitkat、sour patch、twizzler或reeses。

?

訓(xùn)練完成后，我將模型部署為獨(dú)立的 Web 程序集庫(kù)，可以從 Node.js 源文件外部調(diào)用。

?

處理圖像

該系統(tǒng)使用 Raspberry Pi 4 使用 Raspberry Pi 相機(jī)模塊捕獲圖像，但分類器無(wú)法理解該格式，它需要一個(gè)特定大小的像素值數(shù)組。因此，捕獲被保存到BytesIO流中并調(diào)整為 96x96 像素大。然后將其轉(zhuǎn)換為一串扁平像素值，該字符串接受一個(gè) RGB 值元組并將其轉(zhuǎn)換為單個(gè)十六進(jìn)制值并將其附加到列表中。

?

?

?

?

1 / 2

?

分類對(duì)象

該subprocess.run()函數(shù)調(diào)用 Node.js 源文件，并將顏色數(shù)據(jù)字符串作為參數(shù)傳遞給程序，然后在程序中對(duì)其進(jìn)行解析并提供給模型。在模型提出它認(rèn)為的對(duì)象后，會(huì)通過(guò)標(biāo)準(zhǔn)輸出輸出 JSON 字符串，然后將其通過(guò)管道傳輸?shù)?Python 變量并解析為字典對(duì)象。最后，找到最大值并提取相關(guān)標(biāo)簽并用于確定應(yīng)將糖果放入哪個(gè)箱中。然后通過(guò) USB 將此 bin 編號(hào)發(fā)送到等待的 Arduino Mega 2560。

?

硬件

首先是 x 軸滾輪，它由單個(gè) NEMA17 步進(jìn)電機(jī)移動(dòng)到位，該步進(jìn)電機(jī)由 DRV8825 步進(jìn)電機(jī)驅(qū)動(dòng)器模塊驅(qū)動(dòng)。

我的 3D 打印機(jī)壞了，所以我不得不用木頭做這個(gè)：/

?

當(dāng) Arduino Mega 2560 啟動(dòng)時(shí)，它會(huì)通過(guò)緩慢滑動(dòng)滾輪來(lái)使軸歸位，直到它碰到限位開(kāi)關(guān)，此時(shí)它為 0。當(dāng)有新的串行數(shù)據(jù)時(shí)，它被讀取并解析為一個(gè)整數(shù)，表示 bin糖果應(yīng)放入。箱子間隔 10 厘米，所以這個(gè)數(shù)字乘以 100 毫米，步進(jìn)器移動(dòng)相應(yīng)的步數(shù)。到達(dá)目的地后，頂部的螺線管會(huì)啟動(dòng)并快速推動(dòng)下方的糖果。

?

?

?

?

1 / 2

?

將糖果分揀成堆

將 ML 模型加載到 Pi 上后，我將所有東西都插入。實(shí)際的排序機(jī)制自動(dòng)運(yùn)轉(zhuǎn)起來(lái)，并且 Pi 開(kāi)始顯示它所看到的預(yù)覽。從那里，我簡(jiǎn)單地把一塊糖果放在平臺(tái)上，然后按下按鈕給它拍照。該圖像被調(diào)整大小并發(fā)送到模型，模型決定了它的標(biāo)簽。最后，將箱號(hào)發(fā)送過(guò)來(lái)，并將糖果存放到正確的位置。將來(lái)，我想通過(guò)添加一個(gè)漏斗來(lái)進(jìn)一步自動(dòng)化這一過(guò)程，該漏斗可以將糖果倒在頂部，然后隨著時(shí)間的推移單獨(dú)存放每一塊。

?

?