在深度學習領域,通過以精度、召回率、平均精度均值(Mean Average Precision,mAP)和FPS等指標評價目標檢測算法的有效性,在圖像分割中則主要采用平均像素準確率、平均交并比等指標評價。
在工業質檢領域的評價指標與深度學習領域類似,只是表述方式有所不同,一般使用漏檢率、誤檢率和準確率等。
根據被檢測工件的真實情況(OK*和NG*)和檢測結果(OK和NG)的不同,可以將缺陷識別的結果分為4種情況,如下表所示。
TP、FP、FN和TN的含義為:
TP(True Positive):被檢測工件為OK,檢測結果為OK,正確檢出。
FP(False Positive):被檢測工件為NG,檢測結果為OK,漏檢。
FN(False Negative):被檢測工件為OK,檢測結果為NG,誤檢。
TN(True Negative):被檢測工件為NG,檢測結果為NG,正確檢出。
下面分別分別介紹工業質檢、目標檢測和語義分割中的性能指標。
1. 工業質檢中的性能指標
漏檢率、誤檢率、準確率和錯誤率的含義和計算方式為:
(1)漏檢率
漏檢率指的是在檢測中未發現的不合格品數量占實際不合格品數量的百分比。漏檢會直接導致不良產品流向終端客戶,因此是工業表面缺陷檢測中格外關注的指標。漏檢率的計算公式為:
(2)誤檢率
誤檢率指的是將合格品檢測為不合格品的數量占實際合格品數量的百分比。誤檢會直接對工業企業的良品率造成負面影響,會導致物料的浪費。誤檢率的計算公式為:
(3)準確率
準確率指的是檢測中正確檢出的數量占檢測總數的百分比。準確率是衡量檢測系統性能的重要參數,其計算公式為:
2.目標檢測中的性能指標
在目標檢測中,通常采用FPS和mAP兩個指標來分別評估識別系統的識別速度和精度。前者的計算方式較為簡單,通過計算系統每秒內能夠處理的圖像數量即可求出FPS值。計算mAP值涉及到IoU、精度(Precision)和召回率(Recall)和平均精度(Average Precision,AP)等內容。
(1)IoU
缺陷識別問題的任務除了要判斷出表面是否存在缺陷,還需識別出缺陷的種類,并以矩形框的方式定位缺陷的位置。如圖下所示,識別系統預測的矩形框無法與人工貼標的Ground True標定框完全一致。因此在目標識別中引入交并比(Intersection over Union, IoU)的來衡量位置判斷是否準確。圖中藍色框表示預測的缺陷位置,綠色框表示Ground True標定的缺陷位置。
預測框與Ground True框
IoU的計算方式如下面的公式所示,即預測框與真實框交集區域和并集區域的比值大小。當IoU=0時表示兩塊區域完全不重疊,IoU=1時表示完全重疊。
在目標檢測任務中,如果模型的預測輸出矩形框與人工標注的Ground True標定框的IoU值大于某一閾值時,即認為模型的預測是準確的。遵照慣例,IoU通常取值為0.5。
(2)精度和召回率
精度和召回率可由下面兩個公式表示,精度用于反映檢測結果中命中率的高低,召回率反映了某類目標的檢測覆蓋率的高低。
評估模型有效性時需同時檢測精度和召回率兩個指標。但這兩個指標存在負相關現象,提高精度往往會導致召回率的降低,反之亦然。因此一般引入兼顧精度和召回率的平均精度來評估模型的效果。
(3)平均精度
目標檢測任務中使用置信度來評估當前矩形框內為某種物體的概率。置信度的取值為0到1之間。當置信度為1時表示有最大可能性認為矩形框內的物體為某一類別,當置信度為0時表示有最小可能性。
在計算AP的值時,需要繪制Precision-Recall曲線,計算曲線下方的面積即為AP值。首先按照模型給出的置信度由高到低對預測框進行排序,排序后獲得一組包含精度、召回率值的有序數組。將該數組繪制成以召回率為橫坐標,精度為縱坐標的曲線。隨著召回率的增大,精度的值呈振蕩減小趨勢。為去除振蕩的影響,在實際應用中需要對曲線進行平滑處理,曲線中精度值取該點右側(召回率大于或等于當前點召回率所對應的精度)最大的精度值。經過曲線平滑后,平均精度AP的值由如下公式計算:
平均精度均值mAP為所有類別的AP的平均值:
式中, n表示缺陷的類別數, APi為每一類缺陷的平均精度。當 n=1時,mAP=APi。
3.語義分割中的性能指標
圖像語義分割的性能主要通過像素準確率(Pixel Accuracy,PA)、平均像素準確率(Mean Pixel Accuracy,MPA)和平均IoU(Mean Intersection over Union,MIoU)三個指標來衡量。
(1)像素準確率(Pixel Accuracy,PA)
像素準確率指正確分類的像素量占總圖片像素量的比值,由如下公式計算:
式中,k表示類別數量,Pii 為實際類別為 i 的像素分預測為類別 i 的總數量,Pij 為實際類別為i 的像素被預測為類別 j 的總數量。
(2)平均像素準確率(Mean Pixel Accuracy,MPA)
平均像素準確率是對像素準確率的改進,它是先對每個類計算像素準確率,然后再對所有類的像素準確率求平均,由如下公式計算:
(3)平均IoU(Mean Intersection over Union,MIoU)
平均IoU分別對每個類計算交并比,然后再對所有類別的交并比求均值。平均IoU由如下公式計算:
以上就是深度學習與缺陷檢測中常用的性能指標及計算方法,目標檢測和語義分割的資料比較多,但是對于工業實際應用的漏檢率、漏檢率和準確率等指標的介紹內容比較少,而且計算方式有時會根據實際情況做細微的調整。
-
終端
+關注
關注
1文章
1149瀏覽量
29953 -
計算系統
+關注
關注
0文章
42瀏覽量
10294 -
深度學習
+關注
關注
73文章
5511瀏覽量
121355
原文標題:深度學習與缺陷檢測的性能指標
文章出處:【微信號:vision263com,微信公眾號:新機器視覺】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論