基于模型反演的深度强化学习黑盒迁移攻击

摘要

近年来，深度强化学习(Deep Reinforcement Learning, DRL)技术在自动驾驶、智能机器人、金融交易等领域得到了广泛应用.然而，针对DRL智能体的黑盒对抗攻击仍然面临诸多挑战，例如计算成本高和迁移性有限等问题.为了解决上述问题，本文提出了一种新型的黑盒迁移攻击方法.首先，通过行为克隆技术对目标智能体进行模型反演，得到影子智能体；随后，针对影子智能体设计并生成对抗样本；最后，将这些对抗样本应用于目标智能体，实现对目标的高效攻击.相比现有方法，本文的攻击方法具有以下显著优势：1)计算成本低：通过专家轨迹数据集训练影子智能体，无需复杂模型生成伪装数据；2)迁移性优越：生成的对抗样本可直接作用于未知目标模型，在不同任务和环境中均表现出稳定的攻击效果.通过在自动驾驶网络场景和OpenAI Gym仿真环境中进行大量实验，验证了所提方法的有效性和鲁棒性.本研究不仅揭示了DRL智能体潜在的安全威胁，也为提升黑盒攻击技术提供了新的思路和方向.

关键词

深度强化学习 / 模仿学习 / 对抗攻击 / 黑盒攻击

基金资助

浙江省自然科学基金项目(LDQ23F020001)资助; 国家自然科学基金项目(62072406,62406286)资助; 浙江省重点研发计划项目(2022C01018)资助; 国家重点研发计划项目(2018AAA0100801)资助