描述

一家商店可能會因為產(chǎn)品缺貨或在大商店貨架上的擺放位置不正確而導(dǎo)致銷售額下降。工作人員進(jìn)行目視檢查，以發(fā)現(xiàn)貨架上缺貨和錯放的產(chǎn)品。

我們正在嘗試使視覺檢查過程自動化，其中計算機(jī)視覺充當(dāng)另一組眼睛，監(jiān)視商店中的每個貨架。經(jīng)過訓(xùn)練的 FOMO 模型可以識別商店庫存中的產(chǎn)品，并在需要補(bǔ)貨時提醒員工。FOMO 模型經(jīng)過訓(xùn)練可以識別商店中的所有產(chǎn)品。該模型可以識別和計算貨架上可用物品的數(shù)量。當(dāng)計數(shù)低于閾值時，工作人員會立即收到警報，從而確保產(chǎn)品的適當(dāng)供應(yīng)。

人工智能支持的庫存控制還使管理人員能夠跟蹤產(chǎn)品趨勢并更輕松地下新產(chǎn)品訂單以滿足未來需求。

優(yōu)點(diǎn)

• 對店內(nèi)商品進(jìn)行實(shí)時檢測和統(tǒng)計
• 庫存不足時立即發(fā)出警報
• 可升級系統(tǒng)監(jiān)控進(jìn)出庫時間，幫助管理者追蹤產(chǎn)品動向
• 可以分析用戶行為以修改商店中產(chǎn)品的對齊方式
• 管理商店所需的員工數(shù)量減少。
• 員工無干擾的環(huán)境為客戶提供了更多的探索空間。

它是如何工作的？

該系統(tǒng)的關(guān)鍵部件是智能相機(jī)。智能相機(jī)由一個 Raspberry Pi 4 和一個兼容的相機(jī)模塊組成，在其中運(yùn)行一個物體檢測模型。對象檢測模型計算貨架上的產(chǎn)品數(shù)量，當(dāng)數(shù)量低于閾值時，會在 Web 界面中生成警報。

?

硬件要求

• 樹莓派 4B
• 5MP 攝像頭模組
• 兼容電源

軟件要求

• 邊緣脈沖 Python SDK
• Python 3.x
• HTML、CSS、JS

硬件設(shè)置

當(dāng)前的硬件設(shè)置非常少。該設(shè)置包括使用 15 針帶狀電纜連接到 Raspberry Pi 4B 的 5 MP 攝像頭模塊。

?

軟件設(shè)置

如果您是新手，還沒有為 EdgeImpulse 設(shè)置 Raspberry Pi，請按照此快速教程將設(shè)備連接到 EdgeImpulse 儀表板。

成功連接設(shè)備后，您應(yīng)該會在“設(shè)備”選項卡中看到類似這樣的內(nèi)容。

?

構(gòu)建 TinyML 模型

1. 數(shù)據(jù)采集與標(biāo)注

在初步的軟件和硬件設(shè)置之后，現(xiàn)在是構(gòu)建對象檢測模型的時候了。讓我們從收集一些數(shù)據(jù)開始。我們可以使用兩種方法來收集數(shù)據(jù)。我們可以使用連接的設(shè)備直接收集數(shù)據(jù)，也可以使用 Uploader 上傳現(xiàn)有數(shù)據(jù)。在這個項目中，我們使用前一種方法。

?

上傳數(shù)據(jù)后，我們可以從標(biāo)記隊列中標(biāo)記未標(biāo)記的圖像。這里我們有兩個類，因此有兩個標(biāo)簽 - Drink 和 Biscuit 。

2. 沖動設(shè)計

由于我們的案例是實(shí)時檢測和計數(shù)，因此我們需要一個性能更快且準(zhǔn)確度可靠的模型。所以我們使用 FOMO 來生成一個輕量級、更快的模型。由于 FOMO 在 96x96 圖像上表現(xiàn)更好，我們將圖像尺寸設(shè)置為 96px。保持調(diào)整大小模式以適合最短軸，向脈沖添加圖像處理塊和對象檢測（圖像）學(xué)習(xí)塊。

?

轉(zhuǎn)到“圖像”選項卡，選擇顏色深度并保存用于生成特征的參數(shù)。我們選擇RGB作為顏色深度。生成特征后，繼續(xù)訓(xùn)練模型。

?

3.模型訓(xùn)練

現(xiàn)在我們已經(jīng)設(shè)計了沖動，讓我們繼續(xù)訓(xùn)練模型。我們用于模型訓(xùn)練的設(shè)置如圖所示。您可以調(diào)整模型訓(xùn)練設(shè)置，使訓(xùn)練后的模型表現(xiàn)出更高的準(zhǔn)確性，但要注意不要過度擬合。

?

我們使用FOMO (MobileNet V2 0.35)作為神經(jīng)網(wǎng)絡(luò)。讓我們使用默認(rèn)訓(xùn)練設(shè)置訓(xùn)練模型，看看輸出模型的準(zhǔn)確性。

?

通過大量的訓(xùn)練數(shù)據(jù)，我們使用默認(rèn)訓(xùn)練設(shè)置本身達(dá)到了 98.9% 的非常好的準(zhǔn)確率。現(xiàn)在讓我們看看模型在測試數(shù)據(jù)上的表現(xiàn)如何。為此，請繼續(xù)進(jìn)行模型測試和全部分類。

?

該模型在測試數(shù)據(jù)上也表現(xiàn)出色。現(xiàn)在是測試最后階段或更確切地說是模擬部署的時候了。轉(zhuǎn)到“部署”選項卡并直接在您的手機(jī)上運(yùn)行 Impulse 。現(xiàn)在將手機(jī)放在您的產(chǎn)品前面，看看模型在現(xiàn)實(shí)世界中的表現(xiàn)如何。

?

該模型在現(xiàn)實(shí)世界中表現(xiàn)非常好。那么，讓我們繼續(xù)部署。

Firebase 實(shí)時數(shù)據(jù)庫

對于我們的項目，我們使用了 Firebase 實(shí)時數(shù)據(jù)庫，它使我們無需等待即可快速上傳和檢索數(shù)據(jù)。在這種情況下，我們利用了 Pyrebase 包，它是 Firebase 的 Python 包裝器。

要安裝 Pyrebase，

pip install pyrebase

在數(shù)據(jù)庫中，按照給定的步驟操作。

• 創(chuàng)建一個項目。
• 然后導(dǎo)航到構(gòu)建部分并創(chuàng)建一個實(shí)時數(shù)據(jù)庫。
• 以測試模式啟動，因此我們可以在不進(jìn)行任何身份驗證的情況下更新數(shù)據(jù)
• 從項目設(shè)置中，復(fù)制配置。

現(xiàn)在通過替換配置詳細(xì)信息將這段代碼添加到您的 python 文件中以從 firebase 訪問數(shù)據(jù)。

import pyrebase
config = {
"apiKey": "apiKey",
"authDomain": "projectId.firebaseapp.com",
"databaseURL": "https://databaseName.firebaseio.com",
"storageBucket": "projectId.appspot.com"
}
firebase = pyrebase.initialize_app(config)

網(wǎng)絡(luò)界面

我們正在使用使用 HTML、CSS 和 JS 創(chuàng)建的網(wǎng)頁來實(shí)時顯示缺陷。Firebase Realtime Database 中更新的數(shù)據(jù)在網(wǎng)頁上實(shí)時更新。該網(wǎng)頁顯示商店中每種產(chǎn)品的當(dāng)前數(shù)量。如果計數(shù)小于前綴閾值，它會在 Web 界面中顯示警報。

?

?

?

項目演示

?

?