基于异质信息对齐和重排序的跨模态行人重识别方法

摘要

可见光图像和红外图像成像原理不同，面向可见光和红外光的跨模态行人重识别面临较大的跨模态差异，行人异质信息对齐和挖掘异常困难。为此，提出基于异质信息对齐和重排序的跨模态行人重识别方法。在异质信息对齐方面，提出一种新的异质局部信息对齐算法，通过求取行人异质局部信息距离矩阵的最短路径，实现同一行人异质局部信息的动态匹配，解决行人异质信息对齐问题；在重排序方面，提出拓展k近邻重排序算法，通过动态地拓展查询图像k近邻异质信息，实现同一行人异质信息的融合，解决行人异质信息挖掘困难问题。实验结果表明，在SYSU数据集全场景查询模式上，所提方法与AGW模型结合k近邻重排序算法相比，在评价指标mAP和Rank-1上分别提升了10.12%和8.6%。

关键词

跨模态 / 行人重识别 / 异质信息对齐 / 重排序 / 深度学习

基金资助

国家自然科学基金项目(61901115); 广东省普通高校重点领域专项(2021ZDZX3007); 东莞城市学院青年教师发展基金项目(2022QJY005Z)