基于多重注意力机制和空间变换网络的换衣行人重识别

摘要

换衣行人重识别（Cloth-Changing Person Re-Identification,CC Re-ID）技术旨在监控视频或图像中针对同一行人在长时间跨度中进行识别，现有方法主要利用多模态信息来建模体型以减轻服装的影响，但其泛化能力差且需大量额外工作，而且，仅利用RGB图像的方法无法充分提取与服装无关的信息.针对以上问题，提出一种基于多重注意力机制和空间变换网络的换衣行人重识别方法，通过在主干网络中融入CBAM(Convolutional Block Attention Module)和STN(Spatial Transformer Network,STN)模块，分别提升网络对于不同通道和空间位置重要性的感知能力以及对于不同角度图像的适应能力.为了进一步提高网络对行人细粒度特征的提取能力，融入三重注意力机制来关注不同维度上的信息，引入一个自适应特征提取模块来学习特征中不同区域的重要性.此外，还采用服装分类损失和服装对抗损失等多种损失函数来引导模型学习与服装无关的信息.在四个换衣行人重识别数据集（LTCC,PRCC,VC-Clothes和DeepChange）上进行了大量实验，实验结果表明，提出的方法的Rank-1和mAP指标优于一些先进的换衣行人重识别方法 .

关键词

换衣行人重识别 / 基于服装的对抗性损失 / 三重注意力机制 / 空间变换网络 / 自适应特征提取

基金资助

国家自然科学基金（61976028）; 江苏省研究生科研创新项目（KYCX23＿3082）