基于先验指导的对抗样本初始化方法提升FAT效果

中科院信工所/中山大学操晓春教授课题组，香港中文大学(深圳)吴保元教授课题组，腾讯AI Lab共同提出的一种基于先验指导的对抗样本初始化方法已被ECCV2022接收。对抗训练是抵御对抗样本攻击最有效的方法之一。标准的对抗训练往往使用多步的方法来生成对抗样本，如PGD。然而，这需要花费大量时间来计算梯度。为了提高对抗训练的效率，快速对抗训练（FAT）应运而生。但FAT往往存在灾难性遗忘的问题，例如在FAT中后段，训练模型在对抗攻击下的鲁棒准确率会突然急剧下降。针对这个问题，本文通过比较标准对抗训练与FAT的训练过程，发现导致FAT出现灾难性遗忘的原因是FAT中产生的对抗样本（AEs）的攻击成功率在训练中逐渐变低。作者通过提出一种基于先验指导的（Prior-Guided）对抗样本初始化方法来解决FAT中的灾难性遗忘的问题，从而提升FAT的效果。

1. 问题背景

传统的对抗训练可以归类为一个最小最大化优化问题：

其中表示参数为的模型，为损失函数，表示在输入空间上添加的对抗扰动，其大小可以被限制。从而多步的对抗攻击方法可以被定义为：

其中表示在第次迭代时的扰动，表示攻击步长，为将输入影射到的投影。

尽管多步的对抗训练方法可以有效提高模型的鲁棒性，但这往往需要大量时间和计算资源来生成训练中的对抗样本。随后，快速对抗训练通过单步快速梯度符号（FGSM）的方法被提出用以提升生成对抗样本的效率：

其中是最大扰动强度。尽管基于FGSM的对抗训练方法起到了较好的加速效果，但是具有灾难性遗忘的问题，即在使用基于FGSM的方法对抗训练一段时间后，训练模型的鲁棒性会迅速消失，无法抵御PGD所产生的对抗样本的攻击。Wong等人提出了在基于FGSM的对抗样本生成中加入随机初始化，即

其中表示随机初始化，是一个高斯分布。而Andriushchenko等人的工作表明生成对抗样本时添加随机初始化并不能防止灾难性遗忘的发生。

2. 基本先验指导的对抗初始化

2.1 审视灾难性遗忘

对抗训练的灾难性遗忘是指在快速对抗训练中后期模型的鲁棒准确率突然降低到的现象，如下图右所示

这种现象最先由Wong等人发现，随后他们又发现使用FGSM生成对抗样本时使用随机初始化可以延缓灾难性遗忘发生的时间，但是随着训练的进行，灾难性遗忘还是无法避免。

为了研究灾难性遗忘发生的原因，本文首先对基于PGD的标准对抗训练（SAT）以及基于FGSM的快速对抗训练（FAT）中途所生成的对抗样本进行比较和研究。通过观察上图左，本文发现：（1）由标准的FGSM-AT与添加随机初始化的FGSM-RS生成的对抗样本的攻击成功率（ASR）分别在第20个和第74个epoch降低到，从而导致了灾难性遗忘的发生。这预示着如果对抗训练途中生成的对抗样本丧失了攻击性，则模型的鲁棒性会迅速降低；（2）通过比较FGSM-AT与FGSM-RS发现加入随机初始化可以延缓灾难性遗忘的发生，但是无法避免；（3）PGD-2-AT中没有发生灾难性遗忘。由于PGD-2-AT可以认为是带有对抗初始化（adversarial initialization）的FSGM，因此对抗初始化可以提高所生成的对抗样本的质量，尽管进行对抗初始化需要额外的梯度计算。

2.2 基于先验指导的对抗初始化

通过上述观察，本文作者转而思考如何有效的得到对抗初始化而不需要额外的计算开销。作者提出可以使用训练过程中的历史对抗扰动，来作为当前时刻的初始化。而这种历史对抗扰动可以认为是不需要进行额外计算就能得到的先验知识。本文探索了三种利用历史对抗扰动的策略，即（1）先前batch生成的扰动；（2）先前epoch生成的扰动；（3）所有epoch产生的扰动的动量，分别命名为FGSM-BP，FGSM-EP和FGSM-MEP。

Prior From the Previous Batch (FGSM-BP):将上一个batch所生成的对抗扰动存储下来作为当前batch生成对抗样本时的初始化，公式如下：

其中代表第个batch所添加的对抗扰动。

Prior From the Previous Epoch (FGSM-EP):将上一个epoch所生成的对抗扰动存储下来作为当前epoch生成对抗样本时的初始化，公式如下：

其中代表第个epoch所添加的对抗扰动。

Prior From the Momentum of All Previous Epochs (FGSM-MEP):为了充分利用整个训练过程中的历史对抗扰动信息，作者提出使用使用先前所有training epoch中所生成的扰动的动量来作为当前epoch生成对抗样本时的初始化，公式如下：

2.3 Prior-guided Initialization based Regularization

本文还提出了一种基于先验指导初始化的正则化方法来提升模型的鲁棒性。给定先验指导下的初始化，FGSM可以产生当前时刻的对抗扰动。不论是先验指导下的初始化还是当前时刻的扰动都可以用来生成对抗样本。因此迫使这两种方式生成的对抗样本具有相同的输出结果有助于提升所学模型函数的光滑性。所提出的正则项可以加入到训练损失中去来更新模型参数，如下所示：

其中代表上述三种方法之一所生成的先验指导的初始化，代表FGSM使用作为初始化所生成的对抗扰动，是一个常系数项。上述公式中第一项为对抗样本上的交叉熵损失，第二项为与 d的输出之差的距离。第二项的目的是使得学到的模型不仅对当前生成的对抗样本鲁棒，而且对历史的对抗样本也鲁棒。这样，所提出的正则项显式的迫使模型函数在样本周围更加光滑，从而提升模型鲁棒性。

2.4 理论分析

由于在非凸优化问题中梯度的范数与收敛性有关，因此更小的对抗扰动的范数上界有助于对抗训练更快地收敛到局部最小值。本文给出了基于先验指导初始化所生成的对抗扰动的范数上界，即，如下图所示，这比FGSM-RS提出的更小。

3. 实验

3.1 实验设置

本文共使用ResNet-18，WideResNet34-10在CIFAR-10和CIFAR-100上，PreActResNet18在Tiny ImageNet上，以及ResNet-50在ImageNet上评估所提方法的有效性。

CIFAR-10结果

CIFAR-100结果

Tiny ImageNet结果

ImageNet结果

消融实验

为了验证所提出的基于经验指导的正则化方法的有效性，本文使用ResNet18在CIFAR-10上进行了消融实验，结果如下。

4. 总结

在本文中，我们从初始化的角度研究了如何提高对抗样本的质量，并提出采用历史生成的对抗扰动来初始化对抗样本。它可以在没有额外计算成本的情况下生成有效的对抗样本。此外，我们还提出了一种简单而有效的正则化方法提高模型的鲁棒性，从而防止当前扰动与先验引导的初始化偏差太大。正则化项利用历史和当前的对抗性扰动来指导模型学习。广泛的实验评估表明，所提出的方法可以防止灾难性的过度拟合，并以较低的计算成本优于最先进的FAT 方法。

审核编辑：郭婷