基于语义增强网络的跨模态行人重识别

摘要

由于图像之间存在显著的模态差异，跨模态行人重识别仍是一项具有挑战性的检索任务，其关键在于有效学习模态的不变性特征。对此，提出一种基于语义增强网络的跨模态行人重识别方法(SEL-Net)。该方法能够轻量化学习模态间不变性信息特征表示，有效捕捉不同模态间的相似性，以减小可见光和红外图像的模态差异。SELNet是由通道一致性特征增强(CCFE)模块和大核空间注意(LKSA)模块构成的多维感知特征增强网络，其中CCFE模块通过强调输入特征通道之间的非线性关系捕捉通道维度的一致性特征，以减小模态差异；LKSA模块在提高局部特征上下文关系的同时，通过增大感受野提高远程信息获取能力，增强语义表征。试验结果表明，该方法在SYSU-MM01和RegDB数据集上，mAP和Rank-1值分别达到了67.58%和72.65%、82.36%和91.50%,充分验证了其有效性。

关键词

行人重识别 / 跨模态 / 多层感知 / 大核注意