機(jī)器學(xué)習(xí)模型指標(biāo)

在機(jī)器學(xué)習(xí)建模過程中，針對不同的問題，需采用不同的模型評估指標(biāo)。

主要分為兩大類：分類、回歸。

1分類問題評估指標(biāo)

? 混淆矩陣

真陽(True Positive，TP)：被模型預(yù)測為正的正樣本。

假陽(False Positive，F(xiàn)P)：被模型預(yù)測為正的負(fù)樣本。

假陰(False Negative，F(xiàn)N)：被模型預(yù)測為負(fù)的正樣本。

真陰(True Negative，TN)：被模型預(yù)測為負(fù)的負(fù)樣本。

真陽率(True Positive Rate，TPR)或靈敏度(sensitivity)

TPR

=TP/(TP+FN)

===> 正樣本預(yù)測結(jié)果數(shù)/正樣本實(shí)際數(shù)

真陰率(True Negative Rate，TNR)或特指度/特異度(specificity)

TNR

= TN/(TN+FP)

===> 負(fù)樣本預(yù)測結(jié)果數(shù)/負(fù)樣本實(shí)際數(shù)

假陽率(False Positive Rate，F(xiàn)PR)

FPR

= FP/(FP+TN)

===> 被預(yù)測為正的負(fù)樣本結(jié)果數(shù)/負(fù)樣本實(shí)際數(shù)

假陰率(False Negative Rate，F(xiàn)NR)

FNR

= FN/(TP+FN)

===> 被預(yù)測為負(fù)的正樣本結(jié)果數(shù)/正樣本實(shí)際數(shù)

? 準(zhǔn)確率 – Accuracy

o 準(zhǔn)確率，是最常用的分類性能指標(biāo)。

Accuracy

= (TP+TN)/(TP+FN+FP+TN)

即正確預(yù)測的正反例數(shù)/總數(shù)

? 精確率(查準(zhǔn)率)- Precision

o 只針對預(yù)測正確的正樣本，表現(xiàn)為預(yù)測為正的里面有多少真正是正的。可理解為查準(zhǔn)率。

Precision

= TP/(TP+FP)

即正確預(yù)測的正例數(shù)/實(shí)際正例總數(shù)

? 召回率(查全率)- Recall

o 召回率表現(xiàn)出在實(shí)際正樣本中，分類器能預(yù)測出多少。與真正率相等，可理解為查全率。

Recall

= TP/(TP+FN)

即正確預(yù)測的正例數(shù)/實(shí)際正例總數(shù)

? ROC曲線

o ROC(Receiver Operating Characteristic)曲線，又稱接受者操作特征曲線。ROC曲線的橫軸為False Positive Rate，也叫偽陽率(FPR)，即預(yù)測錯誤且實(shí)際分類為負(fù)的數(shù)量與所有負(fù)樣本數(shù)量的比例，縱軸為True Positive Rate，也叫真陽率(TPR)，即預(yù)測正確且實(shí)際分類為正的數(shù)量與所有正樣本的數(shù)量的比例。

? AUC

o AUC的全稱是(Area Under ROC Curve)，也就是ROC曲線下方的面積，AUC的范圍是0到1，AUC越大，代表模型的性能越好。

2分類問題評估指標(biāo)

? MAE(Mean Absolute Error)平均絕對誤差

o 平均絕對誤差(Mean Absolute Error，MAE)，也稱為L1損失，是最簡單的損失函數(shù)之一，也是一種易于理解的評估指標(biāo)。它是通過取預(yù)測值和實(shí)際值之間的絕對差值并在整個數(shù)據(jù)集中取平均值來計(jì)算的。從數(shù)學(xué)上講，它是絕對誤差的算術(shù)平均值。MAE僅測量誤差的大小，不關(guān)心它們的方向。MAE越低，模型的準(zhǔn)確性就越高。

? MSE(Mean Squared Error)均方誤差

o 均方誤差也稱為L2損失，MSE通過將預(yù)測值和實(shí)際值之間的差平方并在整個數(shù)據(jù)集中對其進(jìn)行平均來計(jì)算誤差。MSE也稱為二次損失，因?yàn)閼土P與誤差不成正比，而是與誤差的平方成正比。平方誤差為異常值賦予更高的權(quán)重，從而為小誤差產(chǎn)生平滑的梯度。MSE永遠(yuǎn)不會是負(fù)數(shù)，因?yàn)檎`差是平方的。誤差值范圍從零到無窮大。MSE隨著誤差的增加呈指數(shù)增長。一個好的模型的MSE值接近于零。

? RMSE(Root Mean Squared Error)均方根誤差

o RMSE是通過取MSE的平方根來計(jì)算的。RMSE也稱為均方根偏差。它測量誤差的平均幅度，并關(guān)注與實(shí)際值的偏差。RMSE值為零表示模型具有完美擬合。RMSE越低，模型及其預(yù)測就越好。

? NRMSE(Normalized Root Mean Squared Error)歸一化均方根誤差

o 歸一化RMSE通常通過除以一個標(biāo)量值來計(jì)算，它可以有不同的方式。有時選擇四分位數(shù)范圍可能是最好的選擇，因?yàn)槠渌椒ㄈ菀壮霈F(xiàn)異常值。當(dāng)您想要比較不同因變量的模型或修改因變量時，NRMSE是一個很好的度量。它克服了尺度依賴性，簡化了不同尺度模型甚至數(shù)據(jù)集之間的比較。

審核編輯：湯梓紅