中科院信工所/中山大學操曉春教授課題組，香港中文大學(深圳)吳保元教授課題組，騰訊AI Lab共同提出的一種基于先驗指導的對抗樣本初始化方法已被ECCV2022接收。對抗訓練是抵御對抗樣本攻擊最有效的方法之一。標準的對抗訓練往往使用多步的方法來生成對抗樣本，如PGD。然而，這需要花費大量時間來計算梯度。為了提高對抗訓練的效率，快速對抗訓練（FAT）應運而生。但FAT往往存在災難性遺忘的問題，例如在FAT中后段，訓練模型在對抗攻擊下的魯棒準確率會突然急劇下降。針對這個問題，本文通過比較標準對抗訓練與FAT的訓練過程，發現導致FAT出現災難性遺忘的原因是FAT中產生的對抗樣本（AEs）的攻擊成功率在訓練中逐漸變低。作者通過提出一種基于先驗指導的（Prior-Guided）對抗樣本初始化方法來解決FAT中的災難性遺忘的問題，從而提升FAT的效果。

1. 問題背景

傳統的對抗訓練可以歸類為一個最小最大化優化問題：

其中表示參數為的模型，為損失函數，表示在輸入空間上添加的對抗擾動，其大小可以被限制。從而多步的對抗攻擊方法可以被定義為：

其中表示在第次迭代時的擾動，表示攻擊步長，為將輸入影射到的投影。

盡管多步的對抗訓練方法可以有效提高模型的魯棒性，但這往往需要大量時間和計算資源來生成訓練中的對抗樣本。隨后，快速對抗訓練通過單步快速梯度符號（FGSM）的方法被提出用以提升生成對抗樣本的效率：

其中是最大擾動強度。盡管基于FGSM的對抗訓練方法起到了較好的加速效果，但是具有災難性遺忘的問題，即在使用基于FGSM的方法對抗訓練一段時間后，訓練模型的魯棒性會迅速消失，無法抵御PGD所產生的對抗樣本的攻擊。Wong等人提出了在基于FGSM的對抗樣本生成中加入隨機初始化，即

其中表示隨機初始化，是一個高斯分布。而Andriushchenko等人的工作表明生成對抗樣本時添加隨機初始化并不能防止災難性遺忘的發生。

2. 基本先驗指導的對抗初始化

2.1 審視災難性遺忘

對抗訓練的災難性遺忘是指在快速對抗訓練中后期模型的魯棒準確率突然降低到的現象，如下圖右所示

這種現象最先由Wong等人發現，隨后他們又發現使用FGSM生成對抗樣本時使用隨機初始化可以延緩災難性遺忘發生的時間，但是隨著訓練的進行，災難性遺忘還是無法避免。

為了研究災難性遺忘發生的原因，本文首先對基于PGD的標準對抗訓練（SAT）以及基于FGSM的快速對抗訓練（FAT）中途所生成的對抗樣本進行比較和研究。通過觀察上圖左，本文發現：（1）由標準的FGSM-AT與添加隨機初始化的FGSM-RS生成的對抗樣本的攻擊成功率（ASR）分別在第20個和第74個epoch降低到，從而導致了災難性遺忘的發生。這預示著如果對抗訓練途中生成的對抗樣本喪失了攻擊性，則模型的魯棒性會迅速降低；（2）通過比較FGSM-AT與FGSM-RS發現加入隨機初始化可以延緩災難性遺忘的發生，但是無法避免；（3）PGD-2-AT中沒有發生災難性遺忘。由于PGD-2-AT可以認為是帶有對抗初始化（adversarial initialization）的FSGM，因此對抗初始化可以提高所生成的對抗樣本的質量，盡管進行對抗初始化需要額外的梯度計算。

2.2 基于先驗指導的對抗初始化

通過上述觀察，本文作者轉而思考如何有效的得到對抗初始化而不需要額外的計算開銷。作者提出可以使用訓練過程中的歷史對抗擾動，來作為當前時刻的初始化。而這種歷史對抗擾動可以認為是不需要進行額外計算就能得到的先驗知識。本文探索了三種利用歷史對抗擾動的策略，即（1）先前batch生成的擾動；（2）先前epoch生成的擾動；（3）所有epoch產生的擾動的動量，分別命名為FGSM-BP，FGSM-EP和FGSM-MEP。

Prior From the Previous Batch (FGSM-BP):將上一個batch所生成的對抗擾動存儲下來作為當前batch生成對抗樣本時的初始化，公式如下：

其中代表第個batch所添加的對抗擾動。

Prior From the Previous Epoch (FGSM-EP):將上一個epoch所生成的對抗擾動存儲下來作為當前epoch生成對抗樣本時的初始化，公式如下：

其中代表第個epoch所添加的對抗擾動。

Prior From the Momentum of All Previous Epochs (FGSM-MEP):為了充分利用整個訓練過程中的歷史對抗擾動信息，作者提出使用使用先前所有training epoch中所生成的擾動的動量來作為當前epoch生成對抗樣本時的初始化，公式如下：

2.3 Prior-guided Initialization based Regularization

本文還提出了一種基于先驗指導初始化的正則化方法來提升模型的魯棒性。給定先驗指導下的初始化，FGSM可以產生當前時刻的對抗擾動。不論是先驗指導下的初始化還是當前時刻的擾動都可以用來生成對抗樣本。因此迫使這兩種方式生成的對抗樣本具有相同的輸出結果有助于提升所學模型函數的光滑性。所提出的正則項可以加入到訓練損失中去來更新模型參數，如下所示：

其中代表上述三種方法之一所生成的先驗指導的初始化，代表FGSM使用作為初始化所生成的對抗擾動，是一個常系數項。上述公式中第一項為對抗樣本上的交叉熵損失，第二項為與 d的輸出之差的距離。第二項的目的是使得學到的模型不僅對當前生成的對抗樣本魯棒，而且對歷史的對抗樣本也魯棒。這樣，所提出的正則項顯式的迫使模型函數在樣本周圍更加光滑，從而提升模型魯棒性。

2.4 理論分析

由于在非凸優化問題中梯度的范數與收斂性有關，因此更小的對抗擾動的范數上界有助于對抗訓練更快地收斂到局部最小值。本文給出了基于先驗指導初始化所生成的對抗擾動的范數上界，即，如下圖所示，這比FGSM-RS提出的更小。

3. 實驗

3.1 實驗設置

本文共使用ResNet-18，WideResNet34-10在CIFAR-10和CIFAR-100上，PreActResNet18在Tiny ImageNet上，以及ResNet-50在ImageNet上評估所提方法的有效性。

CIFAR-10結果

CIFAR-100結果

Tiny ImageNet結果

ImageNet結果

消融實驗

為了驗證所提出的基于經驗指導的正則化方法的有效性，本文使用ResNet18在CIFAR-10上進行了消融實驗，結果如下。

4. 總結

在本文中，我們從初始化的角度研究了如何提高對抗樣本的質量，并提出采用歷史生成的對抗擾動來初始化對抗樣本。它可以在沒有額外計算成本的情況下生成有效的對抗樣本。此外，我們還提出了一種簡單而有效的正則化方法提高模型的魯棒性，從而防止當前擾動與先驗引導的初始化偏差太大。正則化項利用歷史和當前的對抗性擾動來指導模型學習。廣泛的實驗評估表明，所提出的方法可以防止災難性的過度擬合，并以較低的計算成本優于最先進的FAT 方法。

審核編輯：郭婷