基于多层知识互学习的在线对抗蒸馏

Online Adversarial Distillation Based on Multi-layer Knowledge Mutual Learning

摘要

针对对抗蒸馏中静态教师知识的可靠性逐渐下降和知识单一导致的鲁棒精度提升有限的问题，提出一种基于多层知识互学习的在线对抗蒸馏方法。首先加权融合一组对抗训练中的学生的模型参数构建参数融合模型（PFM），最小化PFM的对抗损失以帮助学生寻找更平坦的损失最小值。其次，鼓励学生在对抗样本的预测分布上的类间排名关系模仿所有模型的平均原始预测，以确保输出层可靠的软标签知识的互学习。最后，最大化学生之间基于特征通道级别的样本间关系的相似性，以利用中间层更丰富的特征结构化知识补充单一的软标签知识中的有限信息。实验结果表明，相较于互对抗训练（MAT），所提方法训练的ResNet-18网络在防御由投影梯度下降法（PGD）生成的对抗样本上的测试准确率分别提升2.05和2.19个百分点。

Abstract

An online adversarial distillation method, based on multi-layer knowledge mutual learning, is proposed to address the issues of limited improvement in robust accuracy, which are caused by the declining reliability of static teacher knowledge and the underutilization of knowledge in existing adversarial distillation methods. A parameter fusion model (PFM) is constructed by weightedly fusing the model parameters of a group of students, with the adversarial loss of PFM being minimized to assist students in finding flatter loss minima. To ensure mutual learning of reliable soft label knowledge at the output layer, students are encouraged to mimic the average clean predictions of all models, in terms of inter-class ranking relationships within the predictive distribution of adversarial examples. Subsequently, to utilize the richer structured knowledge of the middle layer for supplementing the limited information in soft labels, the similarity of sample relationships at the feature channel level among students is maximized. Experimental results demonstrate that, compared to mutual adversarial training (MAT) ResNet-18 network trained by the method exhibits an improvement in test accuracy against adversarial examples generated by projected gradient descent (PGD) by 2.05 and 2.19 percentage point, respectively.

Graphical abstract

关键词

参数融合 / 软标签知识 / 关系知识 / 在线对抗蒸馏 / 对抗训练 / 对抗样本

Key words

parameter fusion / soft label knowledge / relation knowledge / online adversarial distillation / adversarial training / adversarial example

深度学习已广泛应用于计算机视觉^[1]、自然语言处理^[2]等领域。然而，Szegedy等^[3]发现，在原始数据中添加人眼不可察觉的扰动生成对抗样本，会导致深度学习模型错误分类，这对其在自动驾驶^[4]、安防监控^[5]等安全敏感领域中的应用带来了严峻的安全挑战。为应对此威胁，开展提升模型对抗鲁棒性的研究变得尤为重要，目前已提出多种防御方法，如对抗扰动净化^[6]、对抗样本检测^[7]和对抗训练^[8]。其中，对抗训练被广泛认为是提升模型对抗鲁棒性最有效的方法之一^[8]。对抗训练将对抗样本纳入训练，通过最小化在其上的损失提升模型鲁棒性。然而，以one-hot标签为目标的对抗训练损失函数优化难度大，直接从对抗样本中学习具有挑战性，实现更高对抗鲁棒性受到限制^[9]。

为缓解这一问题，对抗蒸馏^[10-14]引入知识蒸馏改进对抗训练。已有对抗蒸馏根据是否需要对抗预训练模型作为鲁棒教师分为离线对抗蒸馏^[10-13]和在线对抗蒸馏^[14]。目前主流的对抗蒸馏是遵循“师-生”架构的离线对抗蒸馏，总体框架如图1（a）所示，利用鲁棒教师知识指导学生模型的对抗训练，以提升学生的对抗鲁棒性。这种知识通常为鲁棒教师最深层输出的软标签^[10-12]（对各类别的预测概率）或中间层产生的特征图^[13]，学生模型将其作为学习目标，以获取鲁棒教师学习到的类间关系或鲁棒特征，缓解以one-hot标签为目标的损失难优化和鲁棒特征难学习的问题，从而提升学生模型的对抗鲁棒性。one-hot标签与软标签的对比如图2所示，其中第1张猫的图像视觉上与豹相似，第2张与虎相似。one-hot标签中的真实类别概率为1，其他类别概率为0，忽略了视觉上的类间相似性，易导致过拟合问题；软标签中含有其他类别的概率，使模型可以学习到类间相似性，增强模型的泛化能力。然而，构建鲁棒教师的训练开销大。其次，静态鲁棒教师对学生模型生成的对抗样本的预测准确率下降，导致其指导能力下降^[12]。在线蒸馏消除了对教师的依赖，互对抗训练（Mutual Adversarial Training, MAT）^[14]遵循在线蒸馏框架。如图1（b）所示，以两个学生为例的MAT总体架构，其同时对抗训练一组学生模型，每个学生在对抗训练从one-hot标签学习的同时，从其他学生处学习原始样本的软标签知识，不需要鲁棒教师，实现了更高的鲁棒性。然而，学生间相似的损失函数导致多样性不足，无法保证可从其他学生处获取额外信息^[15]；其次，MAT只实现了仅能提供有限信息的单个样本上的输出层软标签知识互学习，忽略了含有更多信息的不同样本间中间层关系特征知识，导致蒸馏效果有限。如图3所示，特征通道是卷积神经网络的基本学习块，不同通道学习到的图像特征不同，对对抗扰动有不同程度的鲁棒性，因此基于通道的样本间关系特征知识可以作为学生间互学习鲁棒信息的一种形式^[13]，以补充软标签知识中的有限信息，提升蒸馏效果。总之，实现多样化学生间多层知识互学习的在线对抗蒸馏仍需进一步研究。

针对上述问题，本文提出基于多层知识互学习的在线对抗蒸馏。首先，加权融合多个对抗训练中的学生模型参数构建参数融合模型，所有模型在原始样本上的软标签平均值作为软目标，每个学生的预测模仿此软目标中的类间排名关系，提升学生预测的多样性，实现输出层软标签关键信息的互学习；然后，最大化学生间在对抗样本和其他原始样本通道相关性的相似度，实现中间层特征知识的互学习以引导多样化学生间的优势互补。实验结果表明，相比MAT，本文方法在公开数据集CIFAR-10和CIFAR-100上，可以使学生模型ResNet-18和MobileNet-V2在面对4种不同类型的对抗样本时，对抗鲁棒性均有明显提升。

1 相关工作

1.1 对抗样本和对抗训练

Szegedy等^[3]提出了对抗样本的概念，通过快速梯度符号法（Fast Gradient Sign Method, FGSM）^[16]、投影梯度下降（Projected Gradient Descent, PGD）^[8]、Carlini Wagner（CW）^[17]等方法生成对抗样本。最近有研究提出有效避免在防御不当的模型中出现梯度掩蔽以进行更可靠评估的对抗样本生成法，如AutoAttack（AA）^[18]。本文使用由常用的FGSM、PGD、CW和AA法生成的对抗样本全面评估所提方法的有效性。

对抗训练已被证明是提升模型对抗鲁棒性最有效方法之一^[8]，深入研究发现标准对抗训练（Standard Adversarial Training, SAT）降低良性准确性。为缓解此问题，文献[19]提出TRadeoff-inspired Adversarial DEfense via Surrogate-loss minimization（TRADES）权衡对抗鲁棒性和良性准确性。然而，对抗训练仍存在以one-hot标签为目标的损失优化难度大、直接从对抗样本中学习鲁棒特征的两大难题，这极大阻碍了更高水平对抗鲁棒性的实现^[9]。

1.2 对抗蒸馏

为缓解以one-hot标签为目标的对抗训练损失难优化和鲁棒特征难学习的问题，有研究提出对抗蒸馏^[10-14]，包括离线对抗蒸馏和在线对抗蒸馏。

离线对抗蒸馏需鲁棒教师。对抗鲁棒蒸馏（Adversarially Robust Distillation, ARD）^[10]鼓励学生对抗预测模仿鲁棒教师原始预测。在鲁棒软标签对抗蒸馏（Robust Soft Label Adversarial Distillation, RSLAD）^[11]中，学生损失内部最大化和外部最小化均受鲁棒教师监督。以上方法未考虑教师指导是否总是可靠。内省对抗蒸馏（Introspective Adversarial Distillation, IAD）^[12]表明，静态教师指导的可靠性在对抗蒸馏中逐渐下降，因此鼓励学生逐渐信任自己的原始预测。以上方法仅利用输出层软标签知识。文献[13]提出对齐鲁棒教师和学生的中间层激活通道映射以利用包含丰富信息的中间层知识。然而，构建鲁棒教师的训练开销高。

在线对抗蒸馏摆脱了对鲁棒教师的依赖。MAT^[14]以在线蒸馏的方式同时对抗训练一组鲁棒模型。然而，MAT仅实现了学生间单个样本输出层软标签知识的互学习，导致蒸馏效果有限；其次，不同学生相似的损失函数导致学生间的多样性不足。本文通过多样化学生间多层知识的互学习，进一步提升了学生模型的对抗鲁棒性。

2 多层知识互学习的在线对抗蒸馏方法

为提升学生间多样性，实现学生间更丰富知识的互学习，本文提出基于多层知识互学习的在线对抗蒸馏，整个方法可分为基于参数融合的软标签知识互学习和基于特征通道的中间层特征知识互学习。

2.1 基于参数融合的软标签知识互学习

为整合多学生知识以实现软标签知识的互学习，设计了基于参数融合的软标签知识互学习算法，算法框架如图4所示，算法过程包括参数融合阶段和互学习阶段。与直接从一个学生处获取知识相比，集成多学生的知识可以综合多样性信息。深度学习任务假设空间很大，组合多个假设可以降低选择错误假设的风险。经训练的学生模型参数是权重空间的一个点，线性加权多个点可以估计学生周围区域损失函数景观的曲率，有助于寻找到更平坦的最小值^[20]，提升学生模型的泛化能力。

2.1.1 参数融合

首先，同时对抗训练学生1和学生2，第m个学生的对抗损失L_{\mathrm{a}\mathrm{t}}^m由式（1）得出：

L_{\mathrm{a}\mathrm{t}}^m(z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m,y_i)=-\mathrm{l}\mathrm{n}\frac{\mathrm{e}\mathrm{x}\mathrm{p}(z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m(y_i))}{{\displaystyle \sum _{c=\mathrm{1}}^C}\mathrm{e}\mathrm{x}\mathrm{p}(z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m(c))}（1）

式中：\{x_i,y_i{\}}_{i=\mathrm{1}}^N为包含N个样本和C个类别的训练集；z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m为原始样本x的对抗样本输入第m个学生后得到的logits；z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m(c)表示第c类的概率值。

然后，加权融合学生模型参数构建参数融合模型。第t个训练批的加权权重{\mathit{r}}^t服从狄利克雷分布^[21]{\mathit{r}}^t=[r_{\mathrm{1}}^t,\dots ,r_M^t]\sim \mathrm{D}\mathrm{i}\mathrm{r}(\alpha )且{\displaystyle \sum _{m=\mathrm{1}}^M}{r}_t^m=\mathrm{1}（\alpha \in {\mathrm{R}}^M，M为学生模型个数）。参数融合可由式（2）表示：

\left\{\begin{array}{c}{\theta }_t^{\mathrm{p}\mathrm{f}}={\displaystyle \sum _{m=\mathrm{1}}^M}{r}_t^m\cdot {\theta }_t^m;\\ {\mathit{r}}^t=[r_{\mathrm{1}}^t,\dots ,r_M^t]\sim \mathrm{D}\mathrm{i}\mathrm{r}(\alpha ).\end{array}\right.（2）

式中：{\theta }_t^{\mathrm{p}\mathrm{f}}和{\theta }_t^m分别是第t个训练批的参数融合模型和第m个学生。训练中的学生会因彼此距离过大导致融合无效，因此以特定比例定期融合模型参数，为每个学生分配新的模型参数{\theta }_t^m，由式（3）表示：

{\theta }_t^m=\gamma \cdot {\theta }_t^{\mathrm{p}\mathrm{f}}+(\mathrm{1}-\gamma )\cdot {\theta }_t^m（3）

式中：\mathrm{m}\mathrm{o}\mathrm{d}(t,\Delta )=\mathrm{0}；\Delta表示融合间隔；\gamma表示融合比例。

参数融合模型可表示学生跨越空间中的周围参数，将其分类损失整合进学生损失可以帮助学生寻找更平坦的损失景观。为提升学生间的多样性，本文最小化以每个学生原始预测为目标的参数融合模型的对抗损失，第m个学生的参数融合模型对抗损失L_{\mathrm{p}\mathrm{f}\_\mathrm{a}\mathrm{t}}^m由式（4）得出：

L_{\mathrm{p}\mathrm{f}\_\mathrm{a}\mathrm{t}}^m(z_{\mathrm{p}\mathrm{f}}^m,y_i)=-\mathrm{l}\mathrm{n}\frac{\mathrm{e}\mathrm{x}\mathrm{p}(z_{\mathrm{p}\mathrm{f}}^m(y_i))}{{\displaystyle \sum _{c=\mathrm{1}}^C}\mathrm{e}\mathrm{x}\mathrm{p}(z_{\mathrm{p}\mathrm{f}}^m(c))}（4）

式中，z_{\mathrm{p}\mathrm{f}}^m为参数融合模型受第m个学生原始预测的监督生成对抗样本x_{\mathrm{p}\mathrm{f}}^m=\underset{‖x_{pf}^m-x‖}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{D}_{\mathrm{K}\mathrm{L}}(f_{{\theta }_{\mathrm{p}\mathrm{f}}}(x),f_{{\theta }^m}(x))的logits，D_{\mathrm{K}\mathrm{L}}表示Kullback-Leibler（KL）散度。

2.1.2 互学习

学生和参数融合模型在不同的对抗样本空间中探索，平均每个模型的原始预测可以综合各种对抗空间中的知识，平均预测z_{\mathrm{e}\mathrm{n}}由式（5）得出：

z_{\mathrm{e}\mathrm{n}}=\frac{\mathrm{1}}{M+\mathrm{1}}({\displaystyle \sum _{m=\mathrm{1}}^M}{z}^m+z_{pf})（5）

式中，z_{\mathrm{p}\mathrm{f}}表示原始样本输入参数融合模型得到的logits。

为进一步提升学生间的多样性，本文使用基于皮尔逊相关系数的类间排名相关性的松弛匹配^[22]。基于KL散度的精确匹配和基于类间排名相关性的松弛匹配对比如图5所示，基于软标签的知识蒸馏本质上利用的是类间排名关系，本文方法中每个学生模仿平均软标签中的类间排名关系，保留软标签中最关键信息的同时，使不同学生间预测的具体概率值可以不完全相同。

皮尔逊相关系数{\rho }_{\mathrm{p}}(u,v)用于度量两个变量u和v之间的线性相关性，由式（6）定义：

{\rho }_{\mathrm{p}}(u,v)=\frac{\mathrm{C}\mathrm{o}\mathrm{v}(u,v)}{\mathrm{S}\mathrm{t}\mathrm{d}(u)\cdot \mathrm{S}\mathrm{t}\mathrm{d}(v)}=\frac{{\displaystyle \sum _{c=\mathrm{1}}^C}(u_c-\overline{u})\cdot (v_c-\overline{v})}{\sqrt[]{{{\displaystyle \sum _{c=\mathrm{1}}^C}(u_c-\overline{u})}^{\mathrm{2}}\cdot {\displaystyle \sum _{c=\mathrm{1}}^C}(v_c{-\overline{v})}^{\mathrm{2}}}}（6）

式中：\mathrm{C}\mathrm{o}\mathrm{v}(u,v)表示u和v的协方差；\mathrm{S}\mathrm{t}\mathrm{d}(u)和\overline{u}表示u的平均值和标准差。利用皮尔逊相关系数定义皮尔逊距离d_{\mathrm{p}}(u,v)，由式（7）表示：

d_{\mathrm{p}}(u,v)=\mathrm{1}-{\rho }_{\mathrm{p}}(u,v)（7）

第m个学生基于软标签知识的对抗蒸馏损失L_{\mathrm{p}\mathrm{f}}^m由式（8）得出：

L_{\mathrm{p}\mathrm{f}}^m={\tau }^{\mathrm{2}}\cdot d_{\mathrm{p}}(\sigma (\frac{z_{\mathrm{a}\mathrm{d}\mathrm{v}}^m}{\tau }),\sigma (\frac{z_{\mathrm{e}\mathrm{n}}}{\tau }))（8）

式中：\sigma表示softmax函数；\tau表示蒸馏温度。

基于参数融合的软标签知识互学习通过参数融合帮助学生模型寻找平坦的损失最小值，并利用所有模型在原始样本上的软标签平均值实现多样化学生间软标签知识的互学习。然而，标签知识中信息有限，中间层特征蕴含的丰富信息可以作为软标签知识的良好补充。

2.2 基于特征通道的中间层特征知识互学习

为充分利用中间层特征知识，本文设计了基于特征通道的中间层特征知识互学习算法。文献[23]研究发现，对抗样本与原始样本的通道激活存在差异，因此，中间层特征通道可以作为互学习的一种形式。此外，单个样本上的特征知识包含信息有限，样本间关系中包含更丰富的语义信息^[24]。本文从通道级别实现学生中间层特征知识的互学习，算法框架如图6所示，最小化学生间对抗样本x_{\mathrm{a}\mathrm{d}\mathrm{v}}^i和原始样本x_i与其他原始样本x_j（j\ne i）的样本间关系的距离蒸馏损失和角度蒸馏损失，引导学生学习更好的特征表示。

首先对样本x_i的通道激活a(h,w)应用全局平均池化计算第a个通道的权重c_{ia}，可由式（9）得出：

c_{ia}=\frac{\mathrm{1}}{H\times W}{\displaystyle \sum _{h=\mathrm{1}}^H}{\displaystyle \sum _{w=\mathrm{1}}^W}a(h,w)（9）

式中：H和W表示特征图的空间维度大小。同时考虑距离损失和角度损失有助于实现更好的蒸馏性能。

2.2.1 样本间距离关系

任意两个样本x_i和x_j间基于通道a的距离关系使用式（10）定义的通道相关性l(c_{ia},c_{ja})表示：

l(c_{ia},c_{ja})=\frac{\mathrm{1}}{\pi }{‖c_{ia}-c_{ja}‖}_{\mathrm{2}}（10）

式中，\pi表示归一化因子。由式（11）得出：

\pi =\frac{\mathrm{1}}{\left|X^{\mathrm{2}}\right|}{\displaystyle \sum _{(c_i,c_j)\in X^{\mathrm{2}}}^{}}{‖c_{ia}-c_{ja}‖}_{\mathrm{2}}（11）

式中：X^{\mathrm{2}}=\{(c_{ia},c_{ja})|i\ne j\}；\left|X^{\mathrm{2}}\right|表示二元组的个数。

基于通道级别的距离损失{\mathit{L}}_{\mathrm{d}}^m由式（12）得出：

\begin{array}{l}{\mathit{L}}_{\mathrm{d}}^m(x_i,x_j)={\displaystyle \sum _{(c_i,c_j)\in X^{\mathrm{2}}}^{}}{\displaystyle \sum _{n=\mathrm{1},n\ne m}^N}{\displaystyle \sum _{a=\mathrm{1}}^A}H(l(c_{ia}^n,c_{ja}^n),\\ l(c_{\mathrm{a}\mathrm{d}\mathrm{v}\_m}^{ia},c_{ja}^m))+H(l(c_{ia}^n,c_{ja}^n),l(c_{ia}^m,c_{\mathrm{a}\mathrm{d}\mathrm{v}\_m}^{ia}))\end{array}（12）

式中：c_i=\{c_{i\mathrm{1}},c_{i\mathrm{2}},...,c_{ik}\}表示样本x_i的A个通道的权重集；c_{ia}^m和c_{\mathrm{a}\mathrm{d}\mathrm{v}\_m}^{ia}分别表示学生m在样本x_i及其对抗样本x_{\mathrm{a}\mathrm{d}\mathrm{v}}^i通道a的权值。H(\cdot )表示Huber损失，由式（13）表示：

H(p,q)=\left\{\begin{array}{cc}\frac{\mathrm{1}}{\mathrm{2}}{(p-q)}^{\mathrm{2}},& \left|p-q\right|\le \mathrm{1};\\ \left|p-q\right|-\frac{\mathrm{1}}{\mathrm{2}},& \left|p-q\right|>\mathrm{1}.\end{array}\right.（13）

2.2.2 样本间角度关系

任意3个样本x_i，x_j，x_k间基于通道a的角度关系r(c_{ia},c_{ja},c_{ka})由式（14）得出：

（14）

式中：e_{ija}=\frac{c_{ia}-c_{ja}}{{‖c_{ia}-c_{ja}‖}_{\mathrm{2}}};e_{kja}=\frac{c_{ka}-c_{ja}}{{‖c_{ka}-c_{ja}‖}_{\mathrm{2}}}。基于通道级别的角度损失L_{\mathrm{a}}^m由式（15）得出：

\begin{array}{l}{L}_{\mathrm{a}}^m(x_i,x_j,x_k)=\\ {\displaystyle \sum _{(c_i,c_j,c_k)\in X^{\mathrm{3}}}^{}}{\displaystyle \sum _{n=\mathrm{1},n\ne m}^N}{\displaystyle \sum _{a=\mathrm{1}}^A}H(r(c_{ia}^n,c_{ja}^n,c_{ka}^n),r(c_{ia}^{m\_\mathrm{a}\mathrm{d}\mathrm{v}},c_{ja}^m,c_{ka}^m))+\\ H(r(c_{ia}^n,c_{ja}^n,c_{ka}^n),r(c_{ia}^m,c_{ja}^{m\_\mathrm{a}\mathrm{d}\mathrm{v}},c_{ka}^m))+\\ H(r(c_{ia}^n,c_{ja}^n,c_{ka}^n),r(c_{ia}^m,c_{ja}^m,c_{ka}^{m\_\mathrm{a}\mathrm{d}\mathrm{v}}))\end{array}（15）

第m个学生基于样本间通道相关性的在线对抗蒸馏损失L_{\mathrm{f}\mathrm{c}}^m由式（16）得出：

L_{\mathrm{f}\mathrm{c}}^m=L_{\mathrm{d}}^m+L_{\mathrm{a}}^m（16）

综上所述，本文方法总损失L^m由式（17）表示：

L^m={\lambda }_{\mathrm{1}}\cdot L_{\mathrm{a}\mathrm{t}}^m+(\mathrm{1}-{\lambda }_{\mathrm{1}})\cdot L_{\mathrm{p}\mathrm{f}\_\mathrm{a}\mathrm{t}}^m+{\lambda }_{\mathrm{2}}\cdot L_{\mathrm{p}\mathrm{f}}^m+{\lambda }_{\mathrm{3}}\cdot L_{\mathrm{f}\mathrm{c}}^m（17）

式中，超参数{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}和{\lambda }_{\mathrm{3}}调整3个损失项的比重。

总之，所提方法提升了学生间的多样性，确保可以从其他学生处获取额外信息；同时，实现了学生间互相补充的多层知识互学习，使得学生模型更好的优势互补。

3 实验验证

3.1 实验设置

3.1.1 数据集和对比方法

本文选择CIFAR-10和CIFAR-100^[25]数据集实验。CIFAR-10由包含10种类别32×32像素的RGB彩色图像组成，500 00张图像用于训练，100 00张图像用于测试。CIFAR-100规模与之相同，含有100个类别，更具挑战性。考虑6种对比方法，包括2种先进的对抗训练：SAT^[8]和TRADES^[19]，4种先进的对抗蒸馏：ARD^[10]，RSLAD^[11]，IAD^[12]，MAT^[14]。

3.1.2 实现细节

本文使用ResNet-18^[26]和MobileNet-V2^[27]作为学生模型，使用动量为0.9、权重衰减系数为5×10^-4的随机梯度下降优化器。训练过程包括200个周期，批大小为128。初始学习率为0.1，并在第100和第150训练周期除以10。采用随机起始大小为0.001、步长为2/255的10步PGD（PGD-10）法生成对抗样本，扰动预算为8/255。

为保证对比的公平性，离线对抗蒸馏对比方法中使用相同结构的教师和学生。具有最高PGD鲁棒性的对抗预训练模型作为鲁棒教师，标准教师是最高原始准确率的标准预训练模型。

对比方法中的超参数遵守文献中的原始设置。本文所提方法包括5个超参数。\Delta为1个训练周期，\gamma为0.5。为选取最优值，随机抽取10%的训练数据进行验证，超参数的值对实验结果的影响见第3.2.2节。CIFAR-10数据集上的{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}、{\lambda }_{\mathrm{3}}分别设置为0.5、1.0、1.0。CIFAR-100数据集上，分别设置为0.8、2.0、1.2。

3.1.3 评估指标

各种防御方法训练得到的学生在由FGSM^[16]、PGD^[8]、CW_∞^[17]和AA^[18]法生成的对抗样本上的分类准确率作为对抗鲁棒性的评估指标。扰动预算为8/255，PGD和CW_∞的扰动步长为20。

3.2 实验结果与分析

3.2.1 和其他对抗防御方法的比较实验

CIFAR-10数据集上的原始样本和对抗样本上的分类准确率如表1所示。

表1中，离线对抗蒸馏训练得到的ResNet-18（RN-18）和MobileNet-V2（MV-V2）的对抗鲁棒精度均优于对抗训练，表明知识蒸馏软标签缓解了one-hot标签损失难优化的问题。然而，静态教师知识的可靠性在训练过程中下降。互对抗训练通过学习其他训练中的学生的原始预测进一步提升了鲁棒精度，表明共享一组对抗训练中的学生的软标签知识提升了学生接受指导的可靠性。

本文方法以在线蒸馏的形式，实现了学生间多种互补知识的互学习，实现了最好的对抗防御效果。一方面，相比完全信赖静态教师的离线对抗蒸馏，消除了对逐渐不可靠鲁棒教师的依赖；相比逐渐信赖自己的IAD，本文方法的正反馈回路使教师知识在训练中更可靠。另一方面，本文方法充分利用互补的多层知识中丰富的判别信息指导多样化的学生间互学习，相比仅利用软标签知识的MAT，提升了学生接受指导的丰富性和质量。实验结果可以看出，本文方法在原始样本和在4种类型的对抗样本上均实现了最优分类性能，与MAT相比在RN-18和MV-V2模型上分别提升了1.93、1.53、2.05、0.46、0.95和1.08、1.21、2.19、0.13、0.85个百分点。

CIFAR-100数据集上的测试结果如表2所示。

CIFAR-100数据集的防御更具挑战性。以表2可知，所提方法仍实现了最优鲁棒精度。综合对比实验结果，本文方法相比已有对抗防御，提升了2种常用深度神经网络在针对两个数据集生成的4种不同类型对抗样本上的分类准确率，验证了在提升模型对抗鲁棒性方面的有效性。

3.2.2 消融实验

本文方法包括基于参数融合的软标签知识互学习（算法1）和基于特征通道的中间层特征知识互学习（算法2），为验证两个部分的有效性，本文在CIFAR-10数据集上，使用RN-18进行消融实验，测试准确率如表3所示。

首先，相比SAT，算法1在软标签级别实现了一组学生的互学习，在原始样本和4种不同类型的对抗样本上均实现了更好的分类精度，表明联合训练一组学生模型并实现有意义的预测知识交互对提升学生鲁棒精度是有效的。其次，算法2在特征通道级别上实现了样本间关系知识的互学习，在由AA法生成的对抗样本上的鲁棒精度较SAT实现了5.05个百分点的提升，验证了互学习通道层面样本间关系知识的有效性。本文方法结合两个算法达到了最优鲁棒精度，较SAT提升了5.36个百分点的AA对抗样本准确率。消融实验结果验证了两个算法的有效性和互补性。

3.2.3 超参数值对性能的影响实验

本文方法中有3个用于调节损失项的超参数，为探索超参数的不同值对实验结果的影响，在CIFAR-10数据集上使用RN-18模型进行实验，PGD-20对抗样本分类准确率如图7所示，分别固定{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}和{\lambda }_{\mathrm{3}}中两个超参数的值，仅改变剩余一个超参数值对PGD对抗样本分类准确率的影响。

实验结果表明，设置不同的超参数值会影响模型性能。如图7（a）所示，当{\lambda }_{\mathrm{2}}和{\lambda }_{\mathrm{3}}均固定为1.0，设置{\lambda }_{\mathrm{1}}为0.5时，面对PGD对抗样本防御性能最优；由图7（b）可知，当{\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{3}}分别固定为0.5和1.0时，{\lambda }_{\mathrm{2}}设置为1.0可达到对PGD对抗样本的最佳鲁棒精度；由图7（c）显示，当{\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{2}}分别固定为0.5和1.0时，设置{\lambda }_{\mathrm{3}}为1.0可实现最佳PGD鲁棒精度。因此，当{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}和{\lambda }_{\mathrm{3}}设置为0.5、1.0和1.0时，对PGD的防御性能最优。

4 结束语

针对对抗蒸馏中对教师的过度依赖，提出基于多层知识互学习的在线对抗蒸馏。通过一组学生模型共享在对抗训练过程中产生的中间层参数知识、输出层软标签知识和基于通道的中间层样本间关系知识，使学生接受丰富知识的可靠指导。实验结果表明，所提方法与当前对抗训练和对抗蒸馏相比，可以提升对多种类型对抗样本的鲁棒性。然而所提方法中存在影响防御性能的多个超参数，需要根据实验结果手动设置，这种反复试验的方法引入了额外的时间成本。下一步考虑尝试有效的自动超参数优化方法，如贝叶斯优化，以确定最佳超参数值。

参考文献

[1] 李磊，张静，王哲.基于航迹特征和深度神经网络MobileNet的舰船分类识别方法［J］.信息工程大学学报，2021，22（6）：743-749.

[2] 郑洪浩，宋旭晖，于洪涛，基于深度学习的中文命名实体识别综述［J］.信息工程大学学报，2021，22（5）：590-596.

[3] SZEGEDY C， ZAREMBA W， SUTSKEVER I，et al.Intriguing properties of neural networks［EB/OL］. ［2024-03-04］.

[4] 常禾雨，司念文，屈丹，元学习框架下基于圆损失度量的行人重识别模型［J］.信息工程大学学报，2022，23（1）：93-102.

[5] 李柯，吉立新，李邵梅，基于孪生胶囊网络的伪造人脸视频检测方法［J］.信息工程大学学报，2022，23（1）：45-50.

[6] LIAO F Z， LIANG M， DONG Y P，et al. Defense against adversarial attacks using high-level representation guided denoiser［C］∥Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2018：1778-1787.

[7] YANG P， CHEN J， HSIEH C，et al. ML-LOO：detecting adversarial examples with feature attribution［C］∥Proceedings of the 2019 AAAI Conference on Artificial Intelligence. Washington， USA： AAAI， 2019：6639-6647.

[8] MADRY A， MAKELOV A， SCHMIDT L，et al. Towards deep learning models resistant to adversarial attacks［EB/OL］. ［2024-03-04］.

[9] LIU C， SALZMANN M， LIN T，et al. On the loss landscape of adversarial training：identifying challenges and how to overcome them［EB/OL］. ［2024-03-04］.

[10] GOLDBLUM M， FOWL L H， FEIZI S，et al.Adversarially robust distillation［C］∥Proceedings of the AAAI Conference on Artificial Intelligence. Washington，USA：AAAI，2020，34（4）：3996-4003.

[11] ZI B J， ZHAO S H， MA X J，et al. Revisiting adversarial robustness distillation： robust soft labels make student better［C］∥Proceedings of the 2021 IEEE/CVF International Conference on Computer Vision. Piscataway， USA： IEEE，2021：16423-16432.

[12] ZHU J N， YAO J C， HAN B，et al. Reliable adversarial distillation with unreliable teachers［C］∥Proceedings of the 10th International Conference on Learning Representations. Appletom， USA： ICLR， 2022. DOI：10.48550/arXiv.2016.04928 .

[13] AWAIS M， ZHOU F W， XIE C L，et al. MixACM： mixup-based robustness transfer via distillation of activated channel maps［C］∥Proceedings of the Neural Information Processing Systems. Red Hook，USA：Curran Associates Inc.，2021：4555-4569.

[14] LIU J， LAU C P， SOURI H， et al. Mutual adversarial training： learning together is better than going alone［EB/OL］. （2021-12-09）［2024-09-01］.

[15] CHEN D F， MEI J P， WANG C，et al. Online knowledge distillation with diverse peers［C］∥Proceedings of the AAAI Conference on Artificial Intelligence. Washington，USA： AAAI， 2020，34（4）：3430-3437.

[16] GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［EB/OL］. ［2024-03-04］.

[17] CARLINI N， WAGNER D.Towards evaluating the robustness of neural networks［C］∥Proceeding of the 2017 IEEE Symposium on Security and Privacy. Piscataway， USA：IEEE， 2017：39-57.

[18] CROCE F， HEIN M. Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks［C］∥Proceedings of the International Conference on Machine Learning. New York，USA：ACM，2020：2206-2216.

[19] ZHANG H Y， YU Y D， JIAO J T，et al. Theoretically principled trade-off between robustness and accuracy［C］∥Proceedings of the International Conference on Machine Learning. New York， USA： ACM， 2019：No.08573.

[20] ZHANG T L， XUE M Q， ZHANG J T，et al. Generalization matters： loss minima flattening via parameter hybridization for efficient online knowledge distillation［C］∥Proceedings of the 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway，USA：IEEE，2023：20176-20185.

[21] BLEI D M， A N G， JORDAN M I. Latent dirichlet allocation［J］. Journal of Machine Learning Research，2003，3：993-1022.

[22] HUANG T， YOU S， WANG F，et al. Knowledge distillation from a stronger teacher［C］∥Proceedings of the 36th Conference on Neural Information Processing Systems. New York， USA： ACM， 2022：33716-33727.

[23] BAI Y， ZENG Y Y， JIANG Y， et al. Improving adversarial robustness via channel-wise activation suppressing［C］∥Proceedings of the 9th International Conference on Learning Representations. Appleton， USA： ICLR， 2021. DOI：10.48550/arXiv.2023.08307 .

[24] GOU J P， XIONG X S， YU B S，et al. Channel-correlation-based selective knowledge distillation［J］. IEEE Transactions on Cognitive and Developmental Systems，2023，15（3）：1574-1585.

[25] KRIZHEVSKY A， HINTON G. Learning multiple layers of features from tiny images［J］. Handbook of Systemic Autoimmune Diseases， 2009.1（4）.DOI： 10.1.1.222.9220 .

[26] HE K M， ZHANG X Y， REN S Q，et al. Deep residual learning for image recognition［C］∥Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway， USA： IEEE， 2016：770-778.

[27] SANDLER M， HOWARD A， ZHU M L，et al. MobileNetV2： inverted residuals and linear bottlenecks［C］∥Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway， USA：IEEE， 2018：4510-4520.

基金资助

河南省重大科技专项(221100211200-02)