基于Vision Transformer的眼睑遮挡虹膜识别

摘要

针对虹膜识别过程中存在眼睑遮挡影响识别性能的问题，提出基于ViT(Vision Transformer)的解决方案。首先提出特征融合模块(FFM:Feature Fusion Module)，实现不同尺度特征提取与融合，解决特征提取过程中信息丢失问题;其次用最小化重构损失对局部特征编码器进行预训练，避免相同主导特征的异类虹膜构成三元组，此先验知识使模型参数调整具备一定可解释性;同时以ViT和残差块为核心构建交互式编码结构，将来自不同虹膜块的信息高效融合形成全面特征表达;最后改进传统三元组损失，融合阈值概念，为训练模型提供更明确的学习方向。实验结果表明，所提方法能有效去除遮挡对虹膜识别的负面影响，显著提升识别性能。

关键词

虹膜识别 / 视觉Transformer / 特征融合 / 三元组损失