周浩 1，唐昀超 2，鄒湘軍 1，王紅軍 1，陳明猷 1，黃釗豐 1

（1.華南農(nóng)業(yè)大學(xué) 工程學(xué)院，廣東 廣州 510630；2.仲愷農(nóng)業(yè)工程學(xué)院 城鄉(xiāng)建設(shè)學(xué)院，廣東 廣州 510080）

摘要：為了提高移動(dòng)采摘機(jī)器人在復(fù)雜野外環(huán)境下檢測(cè)油茶果的速度和魯棒性，在 YOLOv4?tiny 網(wǎng)絡(luò)的基礎(chǔ)上提出YOLO?Oleifera 網(wǎng)絡(luò)。首先將兩個(gè) 1×1和 3×3的卷積核分別添加至 YOLOv4?tiny網(wǎng)絡(luò)的第 2個(gè)和第 3個(gè) CSPBlock模塊之后，以有助于學(xué)習(xí)油茶果的特征信息和減少計(jì)算復(fù)雜度；接著使用 K?means++先驗(yàn)框聚類算法代替 YOLOv4?tiny 網(wǎng)絡(luò)使用的 K?means先驗(yàn)框聚類算法，以獲得滿足油茶果尺寸的聚類結(jié)果。消融實(shí)驗(yàn)證明了網(wǎng)絡(luò)改進(jìn)的有效性。分別測(cè)試光照和陰影環(huán)境下的油茶果圖像，實(shí)驗(yàn)表明 YOLO?Oleifera網(wǎng)絡(luò)在不同光照條件下檢測(cè)油茶果具有魯棒性。此外，對(duì)比實(shí)驗(yàn)表明被遮擋的油茶果因?yàn)檎Z(yǔ)義信息的缺失而導(dǎo)致 Precision 和 Recall降低。將 YOLO?Oleifera 網(wǎng)絡(luò)的測(cè)試結(jié)果與 YOLOv5?s、YOLOv3?tiny和 YOLOv4?tiny 網(wǎng)絡(luò)進(jìn)行比較，結(jié)果顯示 YOLO?Oleifera 網(wǎng)絡(luò)的 AP 最高，而且 YOLO?Oleifera 網(wǎng)絡(luò)占用硬件資源最小。此外，YOLO?Oleifera 網(wǎng)絡(luò)檢測(cè)圖像平均花費(fèi) 31 ms，能夠滿足移動(dòng)采摘機(jī)器人的實(shí)時(shí)檢測(cè)需求。因此，提出的 YOLO?Oleifera 網(wǎng)絡(luò)更加適合搭載在移動(dòng)采摘機(jī)器人上進(jìn)行檢測(cè)任務(wù)。

0 引 言

隨著人工智能技術(shù)和傳感器的發(fā)展，許多工作可以被智能機(jī)器人代替。在農(nóng)業(yè)中，采集果實(shí)的生長(zhǎng)信息是智慧農(nóng)業(yè)中的一個(gè)重要環(huán)節(jié)，在果實(shí)生長(zhǎng)過(guò)程中檢測(cè)和分析果實(shí)數(shù)量可以幫助記錄落果規(guī)律、預(yù)估產(chǎn)量和規(guī)劃市場(chǎng)[1]。因此，機(jī)器視覺及其相關(guān)算法應(yīng)運(yùn)而生，它的應(yīng)用提高了復(fù)雜農(nóng)業(yè)環(huán)境中作業(yè)機(jī)器人的效率、功能、智能和遠(yuǎn)程交互性[2]。

自然環(huán)境下的果實(shí)生長(zhǎng)環(huán)境復(fù)雜，所以檢測(cè)果實(shí)成為了農(nóng)業(yè)工程研究領(lǐng)域的一個(gè)重要方向。在早期的研究中，普遍通過(guò)提取果實(shí)顏色、紋理、輪廓等特征的方法進(jìn)行檢測(cè)[3?7]。盡管這些方法非常適合其設(shè)計(jì)的數(shù)據(jù)集，但通常僅僅針對(duì)特定形態(tài)的果實(shí)[8]。因此，有必要找到一種通用的特征提取網(wǎng)絡(luò)，以克服傳統(tǒng)圖像檢測(cè)算法的局限性。

近年來(lái)，深度學(xué)習(xí)已成為人工智能領(lǐng)域的一項(xiàng)重要技術(shù)，它可以自主學(xué)習(xí)相似事物之間的差異，并通過(guò)訓(xùn)練非線性網(wǎng)絡(luò)將原始數(shù)據(jù)轉(zhuǎn)化為更高層次和更抽象的表達(dá)方式[9]。基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)分為單階段檢測(cè)網(wǎng)絡(luò)和兩階段檢測(cè)網(wǎng)絡(luò)。一些研究采用了最新的兩階段檢測(cè)網(wǎng)絡(luò)對(duì)果實(shí)進(jìn)行檢測(cè)，例如 Faster R?CNN 和Mask R?CNN[10?14]。然而，兩階段檢測(cè)網(wǎng)絡(luò)在提取目標(biāo)區(qū)域時(shí)需要消耗大量的計(jì)算機(jī)資源，檢測(cè)速度仍有局限性，無(wú)法應(yīng)用于果園現(xiàn)場(chǎng)實(shí)時(shí)檢測(cè)。與兩階段檢測(cè)算法不同，單階段檢測(cè)網(wǎng)絡(luò)可以直接預(yù)測(cè)最終的檢測(cè)結(jié)果，其中 YOLO 是最具代表性的實(shí)時(shí)目標(biāo)檢測(cè)算法，它將圖像分為稀疏的網(wǎng)格并對(duì)每個(gè)網(wǎng)格單元進(jìn)行多類別和多尺度的預(yù)測(cè)[15?21]。

以上的 YOLO 網(wǎng)絡(luò)雖然具有實(shí)時(shí)的檢測(cè)速度，但是它訓(xùn)練時(shí)需要功能強(qiáng)大的 GPU 和大量的內(nèi)存，大多數(shù)計(jì)算機(jī)面臨著硬件的挑戰(zhàn)。此外，訓(xùn)練完后的網(wǎng)絡(luò)往往因?yàn)檎加脙?nèi)存較大而對(duì)移動(dòng)設(shè)備提出了更高的硬件要求。YOLOv4?tiny 網(wǎng)絡(luò)是 YOLOv4 的輕量化版本，它擁有更少的層數(shù)和更快的檢測(cè)速度，可以應(yīng)用在便攜式設(shè)備上，并且訓(xùn)練時(shí)占用的 GPU 資源更少。根據(jù)以上分析，本研究基于 YOLOv4 ?tiny 網(wǎng)絡(luò)，提出了改進(jìn)后的YOLO?Oleifera 網(wǎng)絡(luò)用于解決復(fù)雜果園環(huán)境中的油茶果檢測(cè)問(wèn)題。在實(shí)驗(yàn)部分，本研究首先設(shè)計(jì)消融實(shí)驗(yàn)證明了網(wǎng)絡(luò)改進(jìn)的有效性；然后，為了表明 YOLO?Oleifera 網(wǎng)絡(luò)在不同光照條件下檢測(cè)油茶果具有魯棒性，本研究分別測(cè)試光照和陰影環(huán)境下的油茶果圖像；接著，本研究設(shè)計(jì)對(duì)比實(shí)驗(yàn)探究 YOLO?Oleifera 網(wǎng)絡(luò)對(duì)不同遮擋程度的油茶果的檢測(cè)效果；最后，本研究將 YOLO?Oleifera 網(wǎng)絡(luò)的測(cè)試結(jié)果與 YOLOv5? s、YOLOv3?tiny 和 YOLOv4?tiny 網(wǎng)絡(luò)進(jìn)行比較，并且根據(jù) AP 值、檢測(cè)速度和網(wǎng)絡(luò)大小來(lái)分析哪個(gè)網(wǎng)絡(luò)更適合搭載在移動(dòng)采摘機(jī)器人上。

1 材料與方法

1.1 圖像采集與擴(kuò)充

本文選擇在油茶果成熟的 10 月份采集圖像，采集地點(diǎn)位于中國(guó)廣東省清遠(yuǎn)市美林湖油茶果種植基地。采集圖像的設(shè)備為尼康 D5600 單反相機(jī)。在光照和陰影環(huán)境下使用尼康相機(jī)分別拍攝 500 張圖像，每張圖像包含 1~5 顆油茶果。拍攝的圖像包含以下情況：完整的油茶果和被遮擋的油茶果。根據(jù)遮擋程度，將油茶果分為輕微遮擋和嚴(yán)重遮擋；嚴(yán)重遮擋的情況包括油茶果被葉子、莖或其他油茶果遮擋超過(guò) 50%；其他的情況為輕微遮擋。部分油茶果圖像如圖 1所示。

將包含500 對(duì)1000 張圖像的整個(gè)數(shù)據(jù)集隨機(jī)分為訓(xùn)練集和測(cè)試集。其中，訓(xùn)練集由600 張圖像組成，其余 400張組成測(cè)試集。油茶果數(shù)據(jù)集分類如表1所示。

文獻(xiàn)[22]使用消融實(shí)驗(yàn)表明，更多的訓(xùn)練集可以提高基于深度學(xué)習(xí)的目標(biāo)檢測(cè)網(wǎng)絡(luò)的泛化能力和魯棒性。然而，本文的原始訓(xùn)練集僅有 600 張圖片。為了解決這一問(wèn)題，對(duì)訓(xùn)練集進(jìn)行擴(kuò)充。

首先，將圖片隨機(jī)縮放，隨機(jī)縮放因子的范圍在[1.1，1.2]。然后，在縮放圖片中隨機(jī)裁剪與原始圖像大小相同的圖片。接著，將原始圖片分別旋轉(zhuǎn) 90°和 270°。旋轉(zhuǎn)后的圖片能夠識(shí)別不同方向的油茶果，從而提高網(wǎng)絡(luò)的性能。通過(guò)以上方法將原始的訓(xùn)練集進(jìn)行 3 倍的擴(kuò) 充 ，因 此 訓(xùn) 練 集 從 原 始 的 600 張 圖 片 擴(kuò) 充 到 了1 800張。

1.2 YOLOv4?tiny網(wǎng)絡(luò)

近年來(lái)，基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)技術(shù)大大提高了圖像檢測(cè)算法的魯棒性。在本研究中，針對(duì)油茶果的檢測(cè)提出了改進(jìn)的 YOLOv4?tiny 網(wǎng)絡(luò)。YOLOv4?tiny網(wǎng)絡(luò)是在 YOLOv4 網(wǎng)絡(luò)的基礎(chǔ)上設(shè)計(jì)的，它具有更快的目標(biāo)檢測(cè)速度，其精度可以滿足實(shí)際應(yīng)用的需求，大大提高了在嵌入式系統(tǒng)或移動(dòng)設(shè)備上部署目標(biāo)檢測(cè)算法的可行性[23]。因此，YOLOv4?tiny 網(wǎng)絡(luò)更適合部署在采摘機(jī)器人上面。

YOLOv4?tiny 網(wǎng)絡(luò)使用 CSPDarknet53?tiny 網(wǎng)絡(luò)作為骨干網(wǎng)絡(luò)，CSPDarknet53?tiny網(wǎng)絡(luò)在跨階段部分的網(wǎng)絡(luò)中使用 CSPBlock模塊。與 YOLOv4 網(wǎng)絡(luò)的 ResBlock 模塊相比，CSPBlock 模塊可以增強(qiáng)卷積網(wǎng)絡(luò)的學(xué)習(xí)能力。為 了 進(jìn) 一 步 簡(jiǎn) 化 計(jì) 算 過(guò) 程，YOLOv4 ? tiny 使 用LeakyReLU函數(shù)作為 CSPDarknet53?tiny 網(wǎng)絡(luò)中的激活函數(shù)。在特征融合方面，YOLOv4?tiny 網(wǎng)絡(luò)使用特征金字塔網(wǎng)絡(luò)提取不同尺度的特征圖，進(jìn)而提高目標(biāo)檢測(cè)速度，而不使用 YOLOv4 網(wǎng)絡(luò)中的空間金字塔池和路徑聚合網(wǎng)絡(luò)。假設(shè)輸入的圖像大小為 416×416，其網(wǎng)絡(luò)結(jié)構(gòu)如圖 2所示。

1.3 改進(jìn)的 YOLOv4?tiny網(wǎng)絡(luò)

YOLO 系列網(wǎng)絡(luò)采用 K?means聚類算法得到特定要求的 9 個(gè)不同尺度的先驗(yàn)框[24]。K?means 聚類算法是一種經(jīng)典的無(wú)監(jiān)督聚類算法，算法過(guò)程如下：

1）從樣本集中隨機(jī)選取 k 個(gè)樣本作為初始聚類中心 Ck = { c1 ,c2 ,…,c k }。

2）計(jì)算每個(gè)樣本到 k個(gè)聚類中心的距離，并將每個(gè)樣本點(diǎn)歸類于距離最近的聚類中心所對(duì)應(yīng)的類中。

3）計(jì)算新形成的類的均值，并將其作為新的聚類中心。

4）重復(fù)步驟 2）和步驟 3），直到聚類中心的位置不再變化，生成最終的 k個(gè)聚類中心。K?means 聚類算法隨機(jī)選取初始聚類中心，這導(dǎo)致聚類結(jié)果出現(xiàn)了一定的隨機(jī)性，容易陷入局部最小值，影響先驗(yàn)框尺寸的聚類效果。與 K?means 聚類算法相 比 ，K ?means++ 算 法 改 進(jìn) 了 初 始 聚 類 中 心 的 選 擇機(jī)制，獲得的聚類結(jié)果更加穩(wěn)定合理。因此，本文選擇K?means++聚類算法作為先驗(yàn)框聚類方式。K?means++聚類算法的過(guò)程如下：

1）從樣本集中隨機(jī)選取一個(gè)樣本作為初始聚類中心 C1。

2）計(jì)算出每個(gè)樣本點(diǎn) x 與當(dāng)前已有聚類中心的最短距離D(x)，接著計(jì)算每個(gè)樣本被選為下一個(gè)聚類中心的概率P(x)：

3）用輪盤賭算法選出下一個(gè)聚類中心，并更新概率 P ( x )。

4）重復(fù)步驟 2）和步驟 3），直到選出 k個(gè)聚類中心。

5）執(zhí)行 K?means聚類算法的步驟 2）~步驟 4）。

其中，輪盤賭算法是一種隨機(jī)選擇算法，如果 D ( x )越大，則樣本點(diǎn) x 被選為下一個(gè)聚類中心的概率越大，在一定程度上避免了 K?means 算法由于隨機(jī)選擇聚類中心而造成聚類結(jié)果不穩(wěn)定、易陷入局部最小值的缺點(diǎn)。

YOLOv4?tiny 網(wǎng)絡(luò)包含 21 個(gè)卷積層。與其他單階段檢測(cè)網(wǎng)絡(luò)相比，它擁有更少的卷積層。但是，更深的卷積層有利于學(xué)習(xí)目標(biāo)特征。因此，本文在 YOLOv4?tiny 網(wǎng)絡(luò)的主干特征提取網(wǎng)絡(luò)中，在第 2 個(gè)和第 3 個(gè)CSPBlock 之后分別添加兩個(gè) 1×1 和 3×3 的卷積核，以開發(fā)更深的網(wǎng)絡(luò)結(jié)構(gòu)。添加進(jìn)去的 1×1 卷積核的卷積層可以增加網(wǎng)絡(luò)的非線性特征，而無(wú)需更改卷積層的接收?qǐng)觥Ｍ瑫r(shí)，具有 1×1 卷積核的卷積層等效于跨通道參數(shù)池化層，該層允許跨通道信息的交互，從而提升網(wǎng)絡(luò)的學(xué)習(xí)能力[25]。添加的具有 3×3 卷積核的卷積層可以輸出不同大小和通道的特征圖，從而改善網(wǎng)絡(luò)的特征表達(dá)[26]。改進(jìn)后的網(wǎng)絡(luò)主干特征提取網(wǎng)絡(luò)結(jié)構(gòu)如圖3 所示。將使用 K?means++先驗(yàn)框聚類算法和添加了兩個(gè)1 × 1 和 3 × 3 卷 積 核 的 YOLOv4 ? tiny 網(wǎng) 絡(luò) 稱 為 YOLO ?Oleifera網(wǎng)絡(luò)。

1.4 網(wǎng)絡(luò)訓(xùn)練

訓(xùn)練是在配備了 AMD Ryzen 5 3600 CPU、16 GB2 400 MHz內(nèi)存和 GTX2070Super 8 GB 顯卡的臺(tái)式電腦上 進(jìn) 行 。使 用 的 軟 件 工 具 包 括 CUDA 11.1、Dudnn、OpenCV 3.4.1計(jì)算機(jī)視覺庫(kù)和 Visua Studio 2017集成開發(fā)環(huán)境。

訓(xùn)練時(shí)，以 416×416像素的圖像作為輸入，批次大小設(shè)置為 64，初始學(xué)習(xí)率為 1×10-3，網(wǎng)絡(luò)的動(dòng)量和重量衰減分別設(shè)置為 0.9和 0.000 5。在訓(xùn)練集上進(jìn)行了 10 000次迭代大約需要 4 h。

訓(xùn)練結(jié)束后，使用 Precision、Recall、AP 和檢測(cè)速度來(lái)評(píng)估網(wǎng)絡(luò)的性能。Precision和 Recall被定義如下：

式中：TP、FP 和 FN 分別表示正確檢測(cè)到的油茶果對(duì)象的數(shù)量（True Positives）、錯(cuò)誤檢測(cè)到的油茶果對(duì)象的數(shù)量（False Positives）和錯(cuò)過(guò)的油茶果對(duì)象的數(shù)量（FalseNegatives）。

AP 被定義為 Precision ?Recall 曲線下的面積，它可以顯示網(wǎng)絡(luò)在不同置信度閾值下的整體性能，定義如下：

AP 值會(huì)隨著 IOU 閾值的變化而變化，設(shè)置 IOU的閾值為 0.75。需要指出的是，如果沒(méi)有特別說(shuō)明，后文中所有的深度學(xué)習(xí)網(wǎng)絡(luò)都是使用擴(kuò)充的訓(xùn)練集首次進(jìn)行訓(xùn)練，然后使用 200對(duì)測(cè)試集進(jìn)行性能評(píng)估。

2 實(shí)驗(yàn)與結(jié)果討論

2.1 兩處修改的消融實(shí)驗(yàn)

本文設(shè)計(jì)了消融實(shí)驗(yàn)以驗(yàn)證改進(jìn)的先驗(yàn)框聚類算法和在 YOLOv4?tiny 網(wǎng)絡(luò)中添加卷積核的有效性。因此，原始的YOLOv4?tiny網(wǎng)絡(luò)、YOLO?deep網(wǎng)絡(luò)和YOLO?Oleifera網(wǎng)絡(luò)被分別訓(xùn)練。其中，將僅添加了1×1和 3×3卷積核的 YOLOv4?tiny 網(wǎng)絡(luò)稱為 YOLO ?deep 網(wǎng)絡(luò)。訓(xùn)練集和測(cè)試集均包含所有光照和陰影條件下的油茶果，并且不區(qū)分油茶果的遮擋程度。訓(xùn)練結(jié)束后，Precision?Recall曲線如圖 4所示。

在 相 同 的Recall 條 件 下，YOLO ? Oleifera網(wǎng) 絡(luò) 的Precision 高 于 YOLO ? deep 網(wǎng) 絡(luò) ，YOLO ? deep 網(wǎng) 絡(luò) 的Precision 高于 YOLOv4?tiny。三種網(wǎng)絡(luò)對(duì)應(yīng)的 AP 值如表 2所示。可以得出結(jié)論，通過(guò)添加 1×1 和 3×3 卷積核，YOLOv4?tiny 網(wǎng)絡(luò)的 AP 值提高了 3.11%，證明了更深層次網(wǎng)絡(luò)的有效性，它可以學(xué)習(xí)更加豐富的油茶果特征信息。通過(guò)使用改進(jìn)的先驗(yàn)框聚類算法，YOLO?deep 網(wǎng)絡(luò)的 AP 值提升了 1.75%，證明 K?means++聚類算法的聚類結(jié)果受初始聚類中心影響較小，更容易獲得滿足真實(shí)檢測(cè)目標(biāo)尺寸的聚類結(jié)果。

2.2 改進(jìn)的網(wǎng)絡(luò)在不同光照條件下的性能

對(duì)改進(jìn)的網(wǎng)絡(luò)在不同光照條件下的魯棒性進(jìn)行了研究。訓(xùn)練集包含所有光照和陰影條件下的油茶果，將測(cè)試集分為 200張光照?qǐng)D片和 200張陰影圖片并分別進(jìn)行評(píng)估，以上都不區(qū)分油茶果的遮擋程度。表 3 顯示了改進(jìn)網(wǎng)絡(luò)在不同光照條件下的檢測(cè)結(jié)果。在測(cè)試集的所有油茶果中，在陽(yáng)光條件下的 Precision 達(dá)到 90.87%，與遮光條件下的 Precision（90.73%）相差不大。在陽(yáng)光條 件 下 的 Recall 達(dá) 到 89.28%，同 樣 與 遮 光 條 件 下 的Precision（88.97%）相差不大。可以得出結(jié)論，所提出的網(wǎng)絡(luò)對(duì)光照變化具有魯棒性，這是采摘機(jī)器人在復(fù)雜環(huán)境下作業(yè)的關(guān)鍵。

2.3 改進(jìn)的網(wǎng)絡(luò)在不同遮擋條件下的性能

所有測(cè)試集圖片中的輕微遮擋和嚴(yán)重遮擋果實(shí)被分別統(tǒng)計(jì)出來(lái)。測(cè)試完成后，手工統(tǒng)計(jì)檢測(cè)情況。部分果實(shí)的測(cè)試結(jié)果如圖 5所示。

改進(jìn)的網(wǎng)絡(luò)在不同遮擋條件下的檢測(cè)結(jié)果如表 4所示。可以得出結(jié)論，在輕微的遮擋條件下，90.03%的油茶果被檢測(cè)出，比嚴(yán)重遮擋的高出 5.05%，表明一部分語(yǔ)義信息的丟失。因?yàn)閲?yán)重的遮擋，注意到有部分果實(shí)沒(méi)有被預(yù)測(cè)框標(biāo)記。如圖 5a）所示，部分果實(shí)被其他果實(shí)、樹葉或莖嚴(yán)重遮擋，以至于影響檢測(cè)效果。但是，這個(gè)問(wèn)題仍然有解決方案。因?yàn)椴烧獧C(jī)器人在采摘遮擋油茶果后，被遮擋的油茶果會(huì)出現(xiàn)，而且機(jī)器人在果園中可以移動(dòng)空間位置，導(dǎo)致被遮擋的果實(shí)改善遮擋條件，并且被重新檢測(cè)出來(lái)。

2.4 YOLO?Oleifera網(wǎng)絡(luò)與其他深度學(xué)習(xí)網(wǎng)絡(luò)的比較

將 YOLO?Oleifera網(wǎng)絡(luò)與 YOLOv4?tiny、YOLOv3?tiny和 YOLOv5 ? s 網(wǎng) 絡(luò) 進(jìn) 行 了 對(duì) 比 ，目 的 是 驗(yàn) 證 改 進(jìn) 的YOLO?Oleifera 網(wǎng)絡(luò)的性能。表 5 列出了測(cè)試的所有深度學(xué)習(xí)網(wǎng)絡(luò)的檢測(cè)結(jié)果。結(jié)果表明，在復(fù)雜的果園環(huán) 境 中，YOLO ? Oleifera 網(wǎng)絡(luò)的 AP 達(dá)到 92.07%，高于YOLOv3 ? tiny 網(wǎng) 絡(luò)（82.77%）、YOLOv4 ? tiny 網(wǎng) 絡(luò)（87.21%）和 YOLOv5?s網(wǎng)絡(luò)（90.14%）。

就檢測(cè)時(shí)間而言，YOLO ?Oleifera 網(wǎng)絡(luò)檢測(cè)每張圖片 平 均 花 費(fèi) 31 ms，比 YOLOv4 ? tiny 網(wǎng) 絡(luò) 長(zhǎng) 2 ms，比YOLOv3?tiny網(wǎng)絡(luò)短 5 ms，比 YOLOv5?s網(wǎng)絡(luò)短 24 ms，因此 YOLO?Oleifera 網(wǎng)絡(luò)與其他輕量網(wǎng)絡(luò)在檢測(cè)速度方面沒(méi)有明顯區(qū)別。

網(wǎng)絡(luò)大小是評(píng)估網(wǎng)絡(luò)應(yīng)用在嵌入式或便攜式設(shè)備上的一個(gè)指標(biāo)。越小的網(wǎng)絡(luò)可以降低采摘機(jī)器人的硬件要求。YOLO ?Oleifera 網(wǎng)絡(luò)的大小為 29 MB，均小于YOLOv4?tiny、YOLOv3?tiny 和 YOLOv5?s 的大小。值得注意的是，YOLO?Oleifera 網(wǎng)絡(luò)是 YOLOv4?tiny 網(wǎng)絡(luò)添加了 1×1 和 3×3 的卷積得來(lái)，先驗(yàn)框聚類算法并不影響網(wǎng)絡(luò)的大小，結(jié)果卻顯示 YOLO?Oleifera 網(wǎng)絡(luò)最小。原因是添加了兩個(gè) 1×1 和 3×3 的卷積層，這樣可以在不改變網(wǎng)絡(luò)層接收?qǐng)龅那闆r下增加非線性度，從而避免了新結(jié)構(gòu)的計(jì)算復(fù)雜性。

基于以上分析，可以得出結(jié)論：YOLO?Oleifera 網(wǎng)絡(luò)的 AP 要高于 YOLOv3?tiny、YOLOv4?tiny 和 YOLOv5?s 網(wǎng)絡(luò)。YOLO?Oleifera 網(wǎng)絡(luò)的檢測(cè)速度與其他網(wǎng)絡(luò)沒(méi)有明顯的區(qū)別，都可以滿足移動(dòng)采摘機(jī)器人實(shí)時(shí)檢測(cè)的需求。YOLO?Oleifera 網(wǎng)絡(luò)的尺寸最小，只有 29 MB，這對(duì)移動(dòng)采摘機(jī)器人提出了更低的硬件要求。因此，YOLO?Oleifera 網(wǎng)絡(luò)可以為油茶果采摘機(jī)器人的實(shí)際應(yīng)用提供可靠的支持，滿足野外工作的需求。

3 結(jié) 論

根據(jù)復(fù)雜果園環(huán)境下的油茶果檢測(cè)需求，本文提出了一種基于 YOLOv4?tiny 網(wǎng)絡(luò)的 YOLO ?Oleifera 網(wǎng)絡(luò)用于檢測(cè)油茶果。網(wǎng)絡(luò)在以下兩個(gè)方面進(jìn)行了改進(jìn)：

1）使用 K?means++先驗(yàn)框聚類算法代替 YOLOv4?tiny 網(wǎng)絡(luò)使用的 K?means 先驗(yàn)框聚類算法，目的是避免K?means 算法由于隨機(jī)選擇聚類中心而造成聚類結(jié)果不穩(wěn)定、易陷入局部最小值的缺點(diǎn)。

2）為了更有助于學(xué)習(xí)油茶果特征信息和減少計(jì)算復(fù) 雜 度 ，將 兩 個(gè) 1 × 1 和 3 × 3 的 卷 積 核 分 別 添 加 至YOLOv4?tiny 網(wǎng)絡(luò)的第 2 個(gè)和第 3 個(gè) CSPBlock 模塊，以開發(fā)更深層次的網(wǎng)絡(luò)。

分別在光照和陰影的條件下，使用尼康相機(jī)采集現(xiàn)場(chǎng)油茶果圖片作為訓(xùn)練集，并對(duì)其進(jìn)行圖片擴(kuò)充以提高目標(biāo)檢測(cè)網(wǎng)絡(luò)的泛化能力和魯棒性。進(jìn)行了實(shí)驗(yàn)，以驗(yàn)證提出的 YOLO?Oleifera網(wǎng)絡(luò)的性能：

1）改進(jìn)的先驗(yàn)框聚類算法和 YOLO?deep 網(wǎng)絡(luò)的消融實(shí)驗(yàn)顯示了每種修改的有效性。通過(guò)添加 1×1和 3×3卷積核，YOLOv4?tiny 網(wǎng)絡(luò)的 AP 值提高了 3.11%。在YOLO?deep 網(wǎng)絡(luò)的基礎(chǔ)上，通過(guò)使用 K?means++先驗(yàn)框聚類算法，YOLO?deep網(wǎng)絡(luò)的 AP值提升了 1.75%。

2）在光照和陰影條件下進(jìn)行了遮擋實(shí)驗(yàn)。實(shí)驗(yàn)結(jié)果顯示兩者的 Precision 和 Recall 均沒(méi)有明顯差別，證明了網(wǎng)絡(luò)在不同光照條件下的魯棒性。

3）進(jìn)行了不同遮擋條件下的實(shí)驗(yàn)。在輕微的遮擋下，YOLO ?Oleifera 網(wǎng)絡(luò)的 Precision 和 Recall 分別達(dá)到91.99% 和 90.03%，分別比嚴(yán)重遮擋高 5.06% 和 5.05%。這主要?dú)w因于嚴(yán)重遮擋導(dǎo)致語(yǔ)義信息的丟失。

4） 將 YOLO ? Oleifera 網(wǎng) 絡(luò) 與 其 他 深 度 學(xué) 習(xí) 網(wǎng) 絡(luò)（YOLOv5 ? s，YOLOv3 ?tiny 和 YOLOv4 ?tiny）進(jìn)行比較。AP、檢測(cè)速度和網(wǎng)絡(luò)大小被用于評(píng)估這些網(wǎng)絡(luò)在果園中檢測(cè)油茶果的性能。對(duì)于相同的訓(xùn)練集和測(cè)試集，YOLO?Oleifera 網(wǎng)絡(luò)的 AP 最高。同時(shí)，YOLO?Oleifera 網(wǎng)絡(luò)擁有較短的檢測(cè)時(shí)間，可以為移動(dòng)采摘機(jī)器人提供卓越的實(shí)時(shí)檢測(cè)速度。此外，YOLO ?Oleifera 網(wǎng)絡(luò)的尺寸最小，只有 29 MB，這對(duì)移動(dòng)采摘機(jī)器人提出了更低的硬件要求。因此，YOLO ?Oleifera 網(wǎng)絡(luò)可以為油茶果采摘機(jī)器人的實(shí)際應(yīng)用提供可靠的支持，滿足野外工作的需求。

總體而言，YOLO ?Oleifera 網(wǎng)絡(luò)對(duì)復(fù)雜果園環(huán)境下的油茶果檢測(cè)具有魯棒性，更適合搭載在移動(dòng)采摘機(jī)器人上。本研究可以為移動(dòng)水果采摘機(jī)器人在復(fù)雜果園環(huán)境下檢測(cè)水果提供技術(shù)參考。

審核編輯：湯梓紅