基于多分辨率特征定位的跨模态行人检索方法

解盛; 马海菲; 张灿龙; 王智文; 韦春荣

doi:10.16088/j.issn.1001-6600.2024121902

广西师范大学学报（自然科学版） ›› 2025, Vol. 43 ›› Issue (06) : 69 -79. DOI: 10.16088/j.issn.1001-6600.2024121902

基于多分辨率特征定位的跨模态行人检索方法

解盛, 马海菲, 张灿龙, 王智文, 韦春荣

作者信息 +

Author information +

文章历史 +

摘要

随着智慧城市建设的发展，以文搜图的跨模态行人检索作为创新检索范式，可克服传统以图搜图方法的局限性。然而，监控场景中的远距离成像和复杂背景干扰导致行人特征存在尺度不一致和特征污染问题，制约检索性能的提升。为此，本文提出一种基于多分辨率特征定位的跨模态行人检索方法，通过融合多尺度图像特征表示和语义分割边界信息，有效解决远距离细节损失和背景干扰问题。该方法包含2个关键创新：1)设计多尺度分辨率输入方案，同时处理低分辨率全局特征和高分辨率局部特征；2)提出基于语义分割的边界定位策略，精确分割行人轮廓以抑制背景干扰。在CUHK-PEDES、ICFG-PEDES和RSTPReid数据集上，所提方法的Rank-1准确率分别达70.58%、60.88%和55.24%。相较于现有方法，该方法在跨模态文本-图像行人检索任务中性能优势显著。