摘 要 ：漂浮物識別是智能視頻監(jiān)控領(lǐng)域亟待解決的難點(diǎn)問題，針對實(shí)際河道環(huán)境復(fù)雜、漂浮物多種多樣等問題，文中通過對神經(jīng)網(wǎng)絡(luò)的研究分析，結(jié)合邊端和云端設(shè)備的不同特點(diǎn)，設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測識別方法 ：邊端設(shè)備，針對其算力有限但點(diǎn)位眾多的特點(diǎn)，部署小型神經(jīng)網(wǎng)絡(luò)對視頻進(jìn)行初篩，得到疑似漂浮物信息及畫面回傳給云端 ；云端設(shè)備，利用其算力高的特點(diǎn)，對疑似漂浮物信息及畫面進(jìn)行精確識別，過濾無效信息，并將有效信息以報(bào)警形式進(jìn)行存儲上報(bào)。實(shí)驗(yàn)表明 ：該方法能綜合利用邊云設(shè)備的性能，減少傳輸數(shù)據(jù)量、提高識別率、降低誤檢率，滿足河道監(jiān)控場景的應(yīng)用。

0 引 言

2019 年全國水利工作會議和全國水文工作會議均提出當(dāng)前水文工作要聚焦支撐解決“四大水問題”，緊密圍繞水利中心工作，以提高水文監(jiān)測預(yù)報(bào)預(yù)警業(yè)務(wù)能力和服務(wù)水平為重點(diǎn)，強(qiáng)化水旱災(zāi)害防御支撐，拓展水利監(jiān)管服務(wù)，拓寬社會服務(wù)領(lǐng)域，以及時(shí)、準(zhǔn)確、全面的水文監(jiān)測預(yù)報(bào)預(yù)警信息為水利工作和經(jīng)濟(jì)社會發(fā)展提供可靠支撐和保障。結(jié)合國家、水利部以及省委省政府的政策要求，廣東省水利廳提出了開展廣東智慧水利融合工程。其中，漂浮物的監(jiān)督治理作為水利日常管理工作的重要一環(huán) [1]，急需通過智能化建設(shè)來解決。

在傳統(tǒng)圖像處理領(lǐng)域，主要通過漂浮物的邊緣、輪廓、顏色等特征并結(jié)合分類器進(jìn)行漂浮物的分類識別工作 [2]。例如，左建軍等 [3] 采用背景減除法分割出圖像中的漂浮物區(qū)域，再利用 BP 算法進(jìn)行漂浮物特征訓(xùn)練，并構(gòu)建漂浮物分類器對分割區(qū)域進(jìn)行漂浮物識別。朱賀等 [4] 結(jié)合灰度閾值分割和河道輪廓識別方法實(shí)現(xiàn)對河道區(qū)域的準(zhǔn)確提取。這些方法檢測效率高，執(zhí)行速度快，但同時(shí)存在對光照以及圖像噪聲極為敏感、魯棒性較差等缺點(diǎn)。隨著深度學(xué)習(xí)技術(shù)在目標(biāo)檢測領(lǐng)域的廣泛使用，越來越多的學(xué)者使用深度學(xué)習(xí)技術(shù)進(jìn)行河道、湖泊的漂浮物檢測識別，并提出了多種網(wǎng)絡(luò)模型的改進(jìn)和應(yīng)用案例。例如鮑佳松等 [5] 采用的基于深度卷積神經(jīng)網(wǎng)絡(luò)的水面漂浮物分類識別術(shù)。李寧等 [6] 采用的基于 AlexNet的小樣本水面漂浮物識別。陳運(yùn)軍等 [7] 提出的基于 VGGNet的湖面塑料制品漂浮物識別。李國進(jìn)等 [8] 采用的基于改進(jìn)FasterR-CNN 的水面漂浮物識別與定位。楊偉煌等 [9] 采用的一種水面漂浮垃圾的智能收集系統(tǒng)。由于在實(shí)際河道中漂浮物種類繁多、環(huán)境復(fù)雜 [10]，上述方法使用單一神經(jīng)網(wǎng)絡(luò)模型進(jìn)行檢測識別難度大、錯(cuò)誤率高，很難應(yīng)用在實(shí)際場景中。只在邊端進(jìn)行漂浮物檢測對硬件設(shè)備要求高，建設(shè)成本大 ；只在云端進(jìn)行漂浮物檢測，需要大量視頻回傳，網(wǎng)絡(luò)建設(shè)成本高。根據(jù)邊端、云端設(shè)備的不同特點(diǎn)，本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測識別方法，該方法在邊端部署小型神經(jīng)網(wǎng)絡(luò)對視頻進(jìn)行初篩，剔除大量無目標(biāo)數(shù)據(jù)以降低網(wǎng)絡(luò)傳輸量 ；在云端部署大型神經(jīng)網(wǎng)絡(luò)對疑似目標(biāo)進(jìn)行精細(xì)識別分類。

1 算法設(shè)計(jì)

1.1 邊云結(jié)合流程設(shè)計(jì)

本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測識別方法 ：

（1）在河岸架設(shè)多路攝像頭，對獲取的視頻幀進(jìn)行初篩，剔除大量無目標(biāo)的視頻信息 ；

（2）將疑似目標(biāo)的視頻信息傳輸?shù)皆贫朔?wù)器進(jìn)行精細(xì)識別分類，并轉(zhuǎn)換為報(bào)警信息進(jìn)行存儲和上報(bào)。

系統(tǒng)物理架構(gòu)如圖 1 所示，算法流程如圖 2 所示。

1.2 邊端算法設(shè)計(jì)

在邊端實(shí)現(xiàn)疑似目標(biāo)的定位，但因設(shè)備算力有限，因此需要一個(gè)快速高效且算力要求不高的目標(biāo)檢測模型。二階目標(biāo)檢測模型檢測精度高但檢測速率低，無法滿足河道監(jiān)測的要求；一階目標(biāo)檢測模型中的 YOLO 系列是當(dāng)前工業(yè)界的最佳視覺識別算法之一，在精度和速率方面能夠達(dá)到較好均衡。相較于之前 YOLOv1～v4 采用的 Darknet 框架，YOLOv5使用 PyTorch 框架，對用戶非常友好，不僅容易配置環(huán)境，而且模型訓(xùn)練速度快，所以在邊端選用 YOLOv5 網(wǎng)絡(luò)進(jìn)行目標(biāo)檢測。YOLOv5 結(jié)構(gòu)如圖 3 所示。

1.3 云端算法設(shè)計(jì)

在云端部署的模型主要進(jìn)行目標(biāo)的識別，要求具有最優(yōu)的準(zhǔn)確率，目前各分類模型具體性能見表 1 所列。

由表 1 可以看出，ResNet152 是當(dāng)前圖片分類任務(wù)中表現(xiàn)最好的神經(jīng)網(wǎng)絡(luò)，所以本文選擇 ResNet152 模型在云端進(jìn)行目標(biāo)識別分類。所選模型在 top5 上的錯(cuò)誤率為 5.94%，效果突出，ResNet 的結(jié)構(gòu)可以很好地加速神經(jīng)網(wǎng)絡(luò)的訓(xùn)練，模型準(zhǔn)確率有較大提升，避免了層數(shù)加深準(zhǔn)確率下降的問題同時(shí)，系統(tǒng)可以滿足云端的漂浮物分類需求，ResNet152 模型的結(jié)構(gòu)見表 2 所列。

2 實(shí) 驗(yàn)

2.1 數(shù)據(jù)集準(zhǔn)備

網(wǎng)絡(luò)模型構(gòu)建完成后，進(jìn)入數(shù)據(jù)集準(zhǔn)備階段。數(shù)據(jù)集的質(zhì)量優(yōu)劣直接影響網(wǎng)絡(luò)模型的性能。考慮到數(shù)據(jù)集的來源應(yīng)與使用環(huán)境相近，本文在大中小型河道的岸邊進(jìn)行數(shù)據(jù)采集。考慮到季節(jié)、天氣、光照等環(huán)境因素對網(wǎng)絡(luò)模型的影響，本文在不同環(huán)境條件下對各種河道及漂浮物進(jìn)行拍攝錄像，然后通過抽幀獲取目標(biāo)圖片。此外，還借助一些數(shù)據(jù)增強(qiáng)手段來豐富數(shù)據(jù)集，例如通過對圖像進(jìn)行幾何變換，包括翻轉(zhuǎn)、旋轉(zhuǎn)、裁剪、變形、縮放等增加數(shù)據(jù)，以及通過對圖像的像素重分布，包括噪聲、模糊、顏色變換、擦除、填充等增加數(shù)據(jù)。

數(shù)據(jù)搜集完畢后，通過篩選和標(biāo)注形成最終的數(shù)據(jù)集。數(shù)據(jù)集共有圖片 17 985 張，樣本 53 959 個(gè)，漂浮物類別 10 種。樣本類別分布均衡，達(dá)到訓(xùn)練要求。

2.2 實(shí)驗(yàn)結(jié)果與分析

邊端模型訓(xùn)練設(shè)備的硬件配置為 ：處理器 Intel CoreTMi7-4460、內(nèi)存 32G、顯卡 GTX1080、16G ；軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架 PyTorch、網(wǎng)絡(luò) YOLOv5。共訓(xùn)練2 次。第一次訓(xùn)練，保證數(shù)據(jù)集樣本及類別不變，并以此訓(xùn)練結(jié)果為基準(zhǔn)判斷本文方法的有效性。訓(xùn)練時(shí)主要觀察模型的精確率，精確率越高說明誤檢率越低，第一次訓(xùn)練效果如圖 4 所示。

第二次訓(xùn)練，考慮到邊端設(shè)備算力有限，將數(shù)據(jù)集樣本類別信息去除，由此，YOLOv5 只做目標(biāo)定位而不做目標(biāo)識別，以降低其計(jì)算復(fù)雜度。第二次訓(xùn)練效果如圖 5 所示。

云端模型訓(xùn)練設(shè)備的硬件配置為 ：處理器 IntelXeon（R） CPU E5-2678 v3@2.50 GHz×48、 內(nèi)存32G、顯卡GTX3090、32G。軟件環(huán)境為 ：操作系統(tǒng) Ubuntu18.04、框架PyTorch、網(wǎng)絡(luò) ResNet152。在訓(xùn)練前，需將數(shù)據(jù)集進(jìn)行裁剪，將目標(biāo)從背景分離得到目標(biāo)數(shù)據(jù)集，模型訓(xùn)練效果如圖 6所示。

通過圖 4、圖 5 可以看出，YOLOv5 兩次訓(xùn)練的損失函數(shù)曲線圖大致相同，目標(biāo)框的損失曲線大致相同，訓(xùn)練的 2 個(gè)模型的目標(biāo)定位檢測損失一致，可以說明模型在檢測定位方面一致，其中檢測分類 YOLOv5 模型的精確率為75.81%。圖 6（a）是 ResNet152 模型的訓(xùn)練損失圖，訓(xùn)練1 000 次后損失約 0.001，圖 6（b）是模型在驗(yàn)證集的準(zhǔn)確率，訓(xùn)練 1 000 次后準(zhǔn)確率約為 98.2%。

將圖 5 的模型在相同驗(yàn)證集進(jìn)行定位檢測，將檢測到的目標(biāo)信息傳給 ResNet152 模型進(jìn)行分類，得到結(jié)果后計(jì)算出相應(yīng)的精確率，最終結(jié)果對比見表 3 所列。

由表3可知，圖4的檢測準(zhǔn)確率與本文的邊端檢測準(zhǔn)確率基本相同，從圖4、圖5中 box_loss 函數(shù)趨于相同也可以得到佐證，圖4的精確率為75.81%。采用本文方法在邊端進(jìn)行檢測的準(zhǔn)確率為73.57%，在云端的識別精確率為98.2%，本文的精確率為 85.89%。與圖4的精準(zhǔn)度對比，本文的精確度提高了10.08%。由此可見，本文提出的邊云結(jié)合的漂浮物檢測識別方法切實(shí)可行，滿足了河道漂浮物的預(yù)警需求。

3 結(jié) 語

通過對神經(jīng)網(wǎng)絡(luò)的研究分析，結(jié)合邊端和云端設(shè)備的不同特點(diǎn)，本文設(shè)計(jì)了一種邊云結(jié)合的漂浮物檢測識別方法，該方法目前通過實(shí)驗(yàn)測試提高了模型檢測識別的精確度，減少了模型預(yù)測的耗時(shí)。但實(shí)驗(yàn)中還存在一些不足，比如檢測定位模型選用的是 YOLOv5 模型，沒有對其進(jìn)行剪枝壓縮，縮小模型規(guī)模以進(jìn)一步降低模型對邊端設(shè)備算力的要求，下一步嘗試在保證其檢測精度的前提下對模型進(jìn)行壓縮剪枝。