低高频多尺度融合的跨模态行人重识别研究

摘要

跨模态行人重识别技术在公共安全、灾难响应、犯罪现场勘查等方面有广阔的应用前景。为了高效利用不同模态之间多样化信息，探索有效的行人重识别方法，提出一种结合低高频信息的多尺度融合(multiple frequence multi-scale embedding, MFME)模型。通过多尺度信息融合(multi-scale information fusion, MIF)模块从多个尺度捕获行人特征，分别获得图像的全局结构和局部细节特征；通过低高频特征聚合(multi frequency feature embedding, MFFE)模块聚合行人的多频信息，确保模型在面对环境变化和不同光照条件下依然能保持高准确度以适应模态变化。实验结果表明，提出的模型在公开数据集SYSU-MM01上Rank-1和mAP识别率分别达到75.79%和72.02%。该模型有效挖掘和利用了跨模态间的多样化信息，提高了行人的重识别率，能更好地适应多变的实际应用环境。

关键词

跨模态 / 行人重识别 / 深度学习 / 多尺度信息融合 / 低高频特征聚合