基于多层次特征融合的Transformer人脸识别方法

摘要

卷积神经网络中的卷积操作只能捕获局部信息，而Transformer能保留更多的空间信息且能建立图像的长距离连接.在视觉领域的应用中，Transformer缺乏灵活的图像尺寸及特征尺度适应能力，通过利用层级式网络增强不同尺度建模的灵活性，且引入多尺度特征融合模块丰富特征信息.本文提出了一种基于改进的Swin Transformer人脸模型——Swin Face模型.Swin Face以Swin Transformer为骨干网络，引入多层次特征融合模块，增强了模型对人脸的特征表达能力，并使用联合损失函数优化策略设计人脸识别分类器，实现人脸识别.实验结果表明，与多种人脸识别方法相比，Swin Face模型通过使用分级特征融合网络，在LFW、CALFW、AgeDB-30、CFP数据集上均取得最优的效果，验证了此模型具有良好的泛化性和鲁棒性.

关键词

人脸识别 / Transformer / 多尺度特征 / 特征融合

基金资助

西藏科技厅重点研发计划(XZ202101ZY0017G); 四川省科技厅重点研发项目(2022YFG0356); 中国民用航空飞行学院科研基金(J2020-126,J2020-040,J2021-056)