01

文章摘要

鋪設異常檢測可以幫助減少數據存儲、傳輸、標記和處理的壓力。本論文描述了一種基于Transformer和自監督學習的新方法，有助于定位異常區域。實驗結果顯示，自監督學習可以提高在小型未標記圖像數據集上的性能。Transformer被證明在路面損壞檢測領域是適用的。文章構建的類似于人臉識別的框架可以通過將新的補丁放入圖庫中來增強性能，而移除相似的補丁不會影響識別結果。該方法足夠高效和小型化，以支持實時工作，并且可以直接應用于邊緣檢測。

02

主要工作與貢獻

1. 該論文提出了一種新穎的方法，將Transformer模型和自監督學習相結合，用于路面異常檢測。Transformer是一種強大的神經網絡架構，用于處理序列數據，在該研究中被應用于圖像數據，并取得了顯著的成果。
2. 監督學習是一種無需人工標注的學習方法，可以從未標記的數據中學習有用的特征。該論文展示了自監督學習在小型未標記圖像數據集上的應用，并證明它能夠顯著提高性能。
3. 研究人員構建了一個類似于人臉識別的框架，通過將新的圖像補丁加入圖庫中，來增強路面異常檢測的性能。這種方法能夠在不進行訓練的情況下實現性能的提升。
4. 該方法被證明足夠高效和小型化，能夠支持實時工作，因此可以在實際應用中進行邊緣檢測和路面異常監測。

03

所提方法

Transformer可能比CNN更好，因為Transformer天然具有全局感受野，可以捕捉長距離像素之間的關系。自注意力機制可能有助于解決缺乏數據的問題，因為在類似條件下，MAE（掩碼自編碼器）表現良好。本論文將自監督學習和Transformer應用于路面異常檢測。使用ViT-S的自監督學習來重構未標記的路面圖像，并提出了一種編碼-檢索-匹配的路面異常檢測方法來解決分類重訓練的問題。文章方法的框架如圖1所示。主要由兩個部分組成：圖庫和編碼器。首先，圖像將被劃分為幾個補丁，并且典型的補丁將被添加到圖庫中。這將降低分辨率并減少背景像素。在模型訓練完成后，將提取編碼器部分。所有的補丁都可以被編碼成特征向量。一旦向量被編碼，計算它們之間的距離得到一個距離向量（一列）。最后，將找到與預測類別最接近的補丁。

圖1 論文方法總體架構

01.編碼器

圖2 ViT架構

ViT是Transformer在計算機視覺領域的第一個成功應用，它簡單地將圖像劃分為補丁作為輸入序列，以便Transformer能夠處理。參考了BERT，ViT在其中添加了一個[class]標記來融合用于分類的信息。如圖2所示，ViT首先通過平均劃分輸入來獲取圖像補丁，然后進行線性投影以獲取圖像標記。一旦生成了標記，將添加位置嵌入以恢復丟失的位置信息。然后，它們將被輸入到Transformer編碼器中。最后，只有[class]標記將在分類中使用。多頭注意力機制可以用公式(1)來描述。

其中，n表示嵌入的數量，Zh是第h個注意頭的輸出，dk表示K的維度。嵌入E和可學習權重W進行點積運算，以得到查詢（Query）Q，鍵（Key）K和值（Value）V。

最終輸出是可學習權重和Z（堆疊Zh）的點生成。不同頭部的權重是獨立的，以確保從各種表示子空間中提取特征。整個過程可以大致描述為等式（2）-（5）。

其中Z0表示輸入向量，Y是用于分類的圖像表示。Z0L是Z的位置0上的標記（也稱為[class]標記）。LN表示層標準化。

02.Drop path

文章采用“drop path” 作為一種規范化方法來防止過擬合。簡單來說，它會根據預先確定的概率隨機地禁用每一層之間的路徑，至少保留一條路徑。在實現中，對于每一層的多個輸入，會隨機丟棄一些輸入。這個效果類似于模型集成，其中不同的路徑組合意味著不同的子網絡，而在預測時不會丟棄路徑來將它們組合起來。

03.監督學習

在實驗中，文章使用圖像補丁作為輸入，輸出為正常或異常。因此，這是一個二元分類任務；輸出值是介于0到1之間的sigmoid輸入得分。數值越接近0，輸入越有可能是異常（類別0）。相反，越接近1，輸入越有可能是正常的（類別1）。在訓練過程中，sigmoid得分(x)與真實值(y)之間的差距越大，二元交叉熵損失就越大。在模型用于推斷時，會設置一個閾值（通常為0.5）。當sigmoid得分低于閾值時，輸入被視為異常，反之亦然。

04.自監督學習

MAE是一種基于部分掩膜圖像的像素級重建任務的方法。編碼器僅對可見的補丁進行編碼。編碼完成后，[mask]標記將添加到相應的位置。解碼器將接收所有標記作為輸入進行重建。

MAE的關鍵方面可以分為四個部分：掩膜策略、編碼器、解碼器和重建目標。掩膜策略通常選擇隨機掩膜，掩膜比例較大。在這種情況下，被掩膜部分占據了圖像的大部分區域，很難找到掩膜周圍的未掩膜區域，迫使模型學習不依賴局部信息。文章選擇純粹的ViT作為編碼器，因為它沒有引入過多的修改，導致對特定領域過擬合，并且重建目標是均方損失。

05.類似面部識別的框架

通常，模型在超出其訓練數據分布范圍的數據上表現較差。不同地區之間存在明顯的道路差異，例如路面分類，將會降低模型的精度。文章從最佳ViT-S模型中提取編碼器作為幀中的編碼器。選擇第11、12、13、10、9、8和6列的圖像塊作為輸入，因為這些位置的異常概率較高。如果Sigmoid輸出低于某個閾值，該類別被認為是異常（類別0）。一旦預測為異常，整個輸入圖像都被視為異常。

04

實驗驗證

1

監督學習結果

表1 ViT-S在不同DA和drop path下的精度比較

監督學習的結果顯示在表格1和圖3、圖4中。表格1顯示數據增強（DAs）比隨機刪除路徑（drop paths）可以帶來更多的性能提升。從圖3和圖4可以看出，兩個模型在最后幾個周期開始過擬合。Resnet的結果較好，因為它收斂到一個更好的局部最優點。CNN具有局部相關性等先驗知識，當數據較少時會導致這樣的結果。而Transformer沒有這樣的知識，因此需要從更多數據中進行學習。

圖3 resnet34的學習曲線

圖4 ViT–S的學習曲線

2

自我監督學習結果

表2證明，在微調中應用DA對于提高性能是必要的，因為最高精度主要取決于微調，使模型適應二進制分類任務。如果微調數據的數量不足，模型仍然會過擬合。根據有監督和自監督學習圖，MAE可以顯著加速收斂并提高精度。

表2 在不同位置應用DA的準確性

3

可視化視角討論

文章使用GradCAM（梯度加權類激活映射）來直觀地分析文章的路面異常檢測算法。選擇了兩張分別具有兩種類型的明顯遇險的測試圖像。圖5圖6顯示了結果。混合結果意味著所有頭的平均值。圖中的響應越高，它與分類的相關性就越大。圖6與無MAE的ViT相比，有MAE的ViT在遇險周圍有更集中的活動區域。這一事實支持了像MAE這樣的自監督學習可以幫助模型在數據集幾乎沒有標記數據的情況下學習更好的表示。此外，我們可以看到，最后兩個區塊比其他區塊更關注遇險區域。有一些像Block_9這樣的塊具有統一的響應。這一發現在圖5中更為明顯。

圖5 測試圖像A中ViT w/MAE的單獨結果

圖6 測試圖像A中ViT w/MAE和ViT w/o MAE的混合結果

05

結論

研究旨在快速檢測道路異常，以減少路面損壞識別、數據存儲和標注的工作量。通過驗證異常檢測任務，自監督學習對這個問題產生了顯著影響，其價值比數據增強（準確率為0.9268 vs 0.9183）更為重要。Transformer在道路領域適用，因為它具有捕捉長距離關系的強大能力。第二個重要發現是，通過定制畫廊，類似于人臉識別的框架可以快速識別不同的損壞類型。基于ViT（Visual Transformer）和MAE，本研究設計了一種新穎的方法來檢測異常的路面部分。