元微调对抗训练：面向多类型对抗攻击的对抗训练改进方法

摘要

作为提高模型鲁棒性的重要技术，对抗训练存在训练成本高昂、无法抵御多种对抗攻击的问题。提出一种基于元学习的对抗训练改进方法，通过结合预训练微调和扩散模型数据生成策略，设计了双分支训练架构：一个分支在l_∞鲁棒模型上进行微调以提高l_∞鲁棒性；另一个分支针对组合对抗攻击训练，增强模型对非l_p范数攻击的防御能力。训练中，两个分支的权重通过混合模型进行融合，并以定期重新初始化，使最终模型同时具备抵御l_∞攻击和组合对抗攻击的能力。实验结果表明，所提方法在保持l_∞鲁棒性的同时，在组合对抗鲁棒性基准（CARBEN）上对组合对抗攻击的防御达到了优异水平。

关键词

对抗训练 / 组合对抗攻击 / 对抗鲁棒性 / 元学习