基于三重嵌入扩展和特征聚合的跨模态行人重识别

摘要

跨模态行人重识别任务存在的主要问题是可见光和红外图像之间模态差异过大，导致识别准确率低.作者提出一种基于三重嵌入扩展和特征聚合的方法，首先，对可见光图像使用通道数据增强生成第三模态图像作为输入；其次，通过三重嵌入扩展模块对可见光、红外、第三模态图像扩充以生成更多的嵌入，扩大嵌入空间，从而进一步缩小模态差异；最后，使用跨模态特征聚合模块对不同阶段的特征进行聚合，在丰富嵌入的前提下突出图像中的重要共享特征，减少无关特征对模型的影响.实验结果表明，该方法在SYSU-MM01数据集的全搜索模式下Rank-1和mAP指标分别为75.10%和71.11%;在RegDB数据集的可见光到红外模式下Rank-1和mAP指标分别为92.06%和84.44%;在低照度LLCM数据集可见光到红外模式下Rank-1和mAP分别为63.77%和66.38%,优于目前同类方法.

关键词

行人重识别 / 跨模态 / 多样化嵌入 / 自注意力机制 / 特征聚合