基于特征交互模块增强RGB-骨骼动作识别鲁棒性研究

摘要

恶意攻击者可以通过在自然样本中添加人类无法察觉的对抗噪声轻易地欺骗神经网络，从而导致分类错误.为了增强模型对抗扰动的鲁棒性，先前的研究大多关注单模态任务，对多模态场景的研究相对匮乏.为了提升多模态RGB-骨骼动作识别的鲁棒性，提出了一个基于特征交互模块（FIM）的鲁棒动作识别框架，提取对抗样本的全局信息并学习模态间的联合表征，以此来校准多模态特征.实验结果表明，面对CW攻击，该动作识别框架在NTURGB+D数据集上进行鲁棒性评估，其RI值达到25.14%，平均鲁棒准确率也达到48.99%，比最新的MinSim+ExFMem方法分别提高了8.55和23.79个百分点，表明其在增强鲁棒性及平衡准确率方面都优于其他方法 .

关键词

计算机视觉 / 多模态 / RGB-骨骼动作识别 / 对抗训练