基于跨模态语义协作学习的文本行人重识别

罗赠丽; 张灿龙; 李志欣; 王智文; 韦春荣

doi:10.16088/j.issn.1001-6600.2024112901

广西师范大学学报（自然科学版） ›› 2025, Vol. 43 ›› Issue (05) : 145 -157. DOI: 10.16088/j.issn.1001-6600.2024112901

基于跨模态语义协作学习的文本行人重识别

罗赠丽, 张灿龙, 李志欣, 王智文, 韦春荣

作者信息 +

Author information +

文章历史 +

摘要

现有的基于文本的行人重识别方法主要受限于特征对齐和语义歧义问题。针对该问题，本文提出一种跨模态语义协作的行人重识别方法(CMSC),通过学习图像与文本的共性语义信息，构建局部视觉与文本的对应约束关系，提升图像与文本的匹配效率。首先，引入文本语义聚类模块，自动提取与局部视觉语义相关的文本信息，并通过图像自监督学习增强局部特征的语义表达；然后，构建共性语义协作模块，捕捉图像与描述的差异和共性，在嵌入空间中建立语义一致性的映射关系；最后，引入语义约束推理模块，通过图像与文本的语义一致性得分进行检索，从而提高效率。在3个基准数据集上的实验表明，本文方法能有效提升模型的性能，在Rank-1指标上较现有方法分别提升0.75、1.43和0.88个百分点，精度分别提升0.64、2.56及3.96个百分点。