注意力感知特征提取和融合的多模态人脸防伪检测方法

摘要

针对多模态人脸防伪检测中如何有效融合多模态信息的问题，提出一种注意力感知特征提取和融合的多模态人脸防伪检测方法(attention-aware feature extraction and fusion, AFEF)。在跨模态特征融合部分利用通道和空间注意力机制探索不同模态之间的互补信息，以弥补单一模态特征表达不足的问题；利用卷积融合方式融合多模态特征，以避免信息覆盖或者无关信息强化的问题；在特征提取部分引入CBAM注意力机制，获得更细粒度的各模态特征表示，便于后续进行跨模态特征融合。实验结果表明，与当前其他主流多模态人脸防伪算法相比，提出的方法在CASIA-SURF和CeFA两个多模态数据集上的平均分类错误率(average classification error rate, ACER)均最低，算法有效。

关键词

人脸防伪 / 多模态 / 跨模态特征融合 / 通道和空间注意力