異常檢測(cè)是什么？

“異常值（又名異常）是數(shù)據(jù)集中的觀察結(jié)果，它似乎與該數(shù)據(jù)集的其余部分不一致”——約翰遜 1992 年

“離群值是一種觀察結(jié)果，它與其他觀察結(jié)果的偏差如此之大，以至于引起人們懷疑它是由不同的機(jī)制產(chǎn)生的”——霍金斯 1980

異常是與常態(tài)不同、很少發(fā)生并且不符合“模式”其余部分的事件。異常包括，例如：

• 全球事件導(dǎo)致股市大幅下跌和上漲
• 工廠或傳送帶上的故障產(chǎn)品
• 污染的實(shí)驗(yàn)室樣本

為什么要進(jìn)行異常檢測(cè)？

計(jì)算機(jī)視覺(jué)中如何使用異常檢測(cè)？

一級(jí)圖像處理方法

基于傳統(tǒng)的圖像處理技術(shù)，例如邊緣檢測(cè)、特征檢測(cè)……和測(cè)量指標(biāo)（例如，大小、顏色、位置、周長(zhǎng)、圓度、形狀……）來(lái)描述一個(gè)物體 。

優(yōu)點(diǎn)：無(wú)需培訓(xùn)

缺點(diǎn)：沒(méi)有概括性

二級(jí)機(jī)器學(xué)習(xí)方法

機(jī)器學(xué)習(xí)算法使用計(jì)算方法直接從數(shù)據(jù)中“學(xué)習(xí)”信息，而不依賴(lài)于預(yù)先確定的方程式作為模型。

優(yōu)點(diǎn)：更少的培訓(xùn)

缺點(diǎn)：泛化程度較低

3 級(jí)深度學(xué)習(xí)方法

基于卷積神經(jīng)網(wǎng)絡(luò)檢測(cè)異常值。訓(xùn)練和推理需要大數(shù)據(jù)集和高效的硬件

優(yōu)點(diǎn)：更泛化

缺點(diǎn)：更多培訓(xùn)

小伙伴可能會(huì)問(wèn)“我們應(yīng)該選擇哪種方法呢？” 即使我們的問(wèn)題與上面的情況完全不同也不必?fù)?dān)心，我們提供一個(gè)選擇的原則：

1. 從圖像處理方法開(kāi)始。如果數(shù)據(jù)具有低可變性，這可以提供可靠的解決方案。
2. 在變量生產(chǎn)下，如果你有一個(gè)強(qiáng)大的 GPU 和大量標(biāo)記的數(shù)據(jù)/圖像。然后，深度學(xué)習(xí)技術(shù)可以更好地處理更多數(shù)據(jù)，而 GPU 有助于減少訓(xùn)練模型所需的時(shí)間。如果不是，那么 ML 方法是最佳選擇。

異常檢測(cè)和數(shù)據(jù)

異常檢測(cè)將如何在三種不同的情況下發(fā)生，具體取決于數(shù)據(jù)的情況。

監(jiān)督：

在這種情況下，訓(xùn)練數(shù)據(jù)被標(biāo)記為“好”或“異?！保▔模?。監(jiān)督場(chǎng)景是理想的。這是為數(shù)據(jù)科學(xué)家精心準(zhǔn)備的數(shù)據(jù)集，其中所有數(shù)據(jù)點(diǎn)都標(biāo)記為異常或良好的情況。

資源用于結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法：

• 支持向量機(jī)學(xué)習(xí)
• k 最近鄰 (KNN)
• 貝葉斯網(wǎng)絡(luò)
• 決策樹(shù)

半監(jiān)督：

在半監(jiān)督場(chǎng)景中，所有數(shù)據(jù)都被假定為“好”，并且被“異?！保▔模?shù)據(jù)點(diǎn)污染。

用于結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法：

• 自動(dòng)編碼器
• 一類(lèi) SVM
• 高斯混合模型
• 核密度估計(jì)

無(wú)監(jiān)督：

在無(wú)監(jiān)督場(chǎng)景中，訓(xùn)練數(shù)據(jù)是未標(biāo)記的，由“好”和“異?！保▔模?shù)據(jù)點(diǎn)組成。無(wú)監(jiān)督場(chǎng)景中的數(shù)據(jù)集沒(méi)有將其部分標(biāo)記為好或壞。

“無(wú)監(jiān)督學(xué)習(xí)中最常見(jiàn)的任務(wù)是聚類(lèi)、表示學(xué)習(xí)和密度估計(jì)。在所有這些情況下，我們都希望在不使用明確提供的標(biāo)簽的情況下了解數(shù)據(jù)的固有結(jié)構(gòu)?！?br />

在無(wú)監(jiān)督場(chǎng)景中，需要一組不同的工具來(lái)在非結(jié)構(gòu)化數(shù)據(jù)中創(chuàng)建順序。非結(jié)構(gòu)化數(shù)據(jù)的流行 ML/DL 算法是：

• 自組織映射 (SOM)
• K 均值
• C 均值
• 期望最大化元算法 (EM)
• 自適應(yīng)共振理論 (ART)
• 一級(jí)支持向量機(jī)

異常檢測(cè)示例

App1：使用機(jī)器學(xué)習(xí)技術(shù)對(duì)無(wú)人機(jī)進(jìn)行實(shí)時(shí)退化識(shí)別（Real time degradation identification of UAV using machine learning techniques）

在本文中，作者分析了無(wú)人機(jī)執(zhí)行預(yù)定任務(wù)后的飛行數(shù)據(jù)流，并實(shí)時(shí)預(yù)測(cè)身體部位（在本例中為螺旋槳）的退化程度。

為了實(shí)現(xiàn)這一目標(biāo)，他們使用 k 最近鄰算法作為分類(lèi)算法，并使用動(dòng)態(tài)時(shí)間規(guī)整作為距離度量來(lái)計(jì)算兩個(gè)航班塊之間的相似性。

App2：UAV-AdNet：使用深度神經(jīng)網(wǎng)絡(luò)進(jìn)行空中監(jiān)視的無(wú)監(jiān)督異常檢測(cè)（

UAV-AdNet: Unsupervised Anomaly Detection using Deep Neural Networks for Aerial Surveillance）

在本文中，作者提出了一種用于鳥(niǎo)瞰圖像環(huán)境表示的啟發(fā)式方法和一種基于 DNN 的異常檢測(cè)方法 (UAV-AdNet)，該方法在環(huán)境表示和 GPS 標(biāo)簽上聯(lián)合訓(xùn)練。

在他們的實(shí)驗(yàn)中，他們證明了所提出的架構(gòu)在輸入的復(fù)制和裁剪連接下具有更好的場(chǎng)景重建性能。他們還觀察到，為網(wǎng)絡(luò)提供 GPS 數(shù)據(jù)可以增強(qiáng)異常檢測(cè)性能。

在他們的研究中，作者考慮了以下異常情況：

(1) 違反私人規(guī)則的物體：建筑物背面出現(xiàn)任何人或車(chē)輛。建筑物左側(cè)出現(xiàn)任何車(chē)輛

（2）違反公共規(guī)則的物體：行人只能使用斑馬線過(guò)馬路。自行車(chē)只能在自行車(chē)道上行駛。除自行車(chē)和摩托車(chē)外，其他車(chē)輛不得在自行車(chē)道上騎行或停放。

（3）尋找可疑物品

App3：監(jiān)控環(huán)境中無(wú)人機(jī)錄制的視頻中的異常檢測(cè)（Anomaly Detection in Videos Recorded by Drones in a Surveillance Context）

本文專(zhuān)門(mén)研究了監(jiān)視環(huán)境中的異常檢測(cè)，特別是針對(duì)由無(wú)人機(jī)錄制的監(jiān)視視頻組成的微型無(wú)人機(jī)視頻數(shù)據(jù)集。本文提出的模型在 MDV 數(shù)據(jù)集上進(jìn)行了評(píng)估。

盡管它很簡(jiǎn)單，但該模型達(dá)到了最先進(jìn)的性能。獲得的結(jié)果表明，這種應(yīng)用程序的監(jiān)督學(xué)習(xí)不太適合異常檢測(cè)。因?yàn)樵撃Ｐ臀茨軝z測(cè)到它在 MDV 數(shù)據(jù)集訓(xùn)練期間從未遇到過(guò)的情況，這是有問(wèn)題的，因?yàn)榧词共皇遣豢赡埽埠茈y編譯代表許多實(shí)例的所有可能異常的數(shù)據(jù)集。

建議的異常檢測(cè)器是由卷積神經(jīng)網(wǎng)絡(luò)和遞歸神經(jīng)網(wǎng)絡(luò)組成的深度神經(jīng)網(wǎng)絡(luò)，使用監(jiān)督學(xué)習(xí)進(jìn)行訓(xùn)練。在他們未來(lái)的工作中，他們將專(zhuān)門(mén)檢查使用無(wú)監(jiān)督學(xué)習(xí)訓(xùn)練的模型設(shè)計(jì)，以減少對(duì)標(biāo)記異常數(shù)據(jù)的需求。

App4：使用航空紅外熱成像技術(shù)自動(dòng)檢測(cè)光伏電站：綜述（Automatic Inspection of Photovoltaic Power Plants Using Aerial Infrared Thermography: A Review）

提出一種使用空中紅外視頻進(jìn)行自動(dòng)光伏電站檢查的有效方法。

本文對(duì)光伏電站航空紅外熱成像 (aIRT) 框架不同任務(wù)自動(dòng)化方法的文獻(xiàn)進(jìn)行了全面回顧，因?yàn)檫@是近年來(lái)研究人員深入研究的課題。這些研究大多集中在視覺(jué)、IRT 和 aIRT 圖像中光伏電站的自主故障檢測(cè)和分類(lèi)。在這些研究中，DL 算法的使用提供了良好的結(jié)果，在從 aIRT 圖像中提取的模塊段中檢測(cè)到的 10 種不同異常類(lèi)型的故障檢測(cè)和分類(lèi)中，準(zhǔn)確率高達(dá) 90%。

然而，所開(kāi)發(fā)算法的準(zhǔn)確性、魯棒性和泛化性仍然是這些研究的主要挑戰(zhàn)，尤其是在處理更多類(lèi)別的故障和大型光伏電站的檢查時(shí)。隨著公用事業(yè)規(guī)模光伏電站的容量和規(guī)模不斷增加，達(dá)到千兆瓦和數(shù)百公頃的規(guī)模，自動(dòng)化越來(lái)越成為一個(gè)不僅具有科學(xué)意義而且具有經(jīng)濟(jì)重要性的問(wèn)題。因此，仍然必須探索自主程序和分類(lèi)任務(wù)，以提高 aIRT 方法的準(zhǔn)確性和適用性。