基于多层知识互学习的在线对抗蒸馏

摘要

针对对抗蒸馏中静态教师知识的可靠性逐渐下降和知识单一导致的鲁棒精度提升有限的问题，提出一种基于多层知识互学习的在线对抗蒸馏方法。首先加权融合一组对抗训练中的学生的模型参数构建参数融合模型（PFM），最小化PFM的对抗损失以帮助学生寻找更平坦的损失最小值。其次，鼓励学生在对抗样本的预测分布上的类间排名关系模仿所有模型的平均原始预测，以确保输出层可靠的软标签知识的互学习。最后，最大化学生之间基于特征通道级别的样本间关系的相似性，以利用中间层更丰富的特征结构化知识补充单一的软标签知识中的有限信息。实验结果表明，相较于互对抗训练（MAT），所提方法训练的ResNet-18网络在防御由投影梯度下降法（PGD）生成的对抗样本上的测试准确率分别提升2.05和2.19个百分点。

关键词

参数融合 / 软标签知识 / 关系知识 / 在线对抗蒸馏 / 对抗训练 / 对抗样本