基于分路对齐的跨模态图文检索

摘要

在图像-文本匹配过程中，针对模态间语义分布不平衡、图像区域建模粗糙及文本特征单粒度导致的多层语义缺失问题，结合多路径注意力机制与多层次对齐策略，提出分路对齐模型。在图像特征提取阶段，通过多路径注意力机制对区域特征通道进行独立编码与信息共享，增强局部与全局信息关联性；在文本编码阶段，采用多层次对齐机制，将文本特征分为字词级、短语级和句子级嵌入，并通过多层级图文对齐捕捉细粒度与全局语义信息，优化长文本与复杂图像的匹配效果。实验结果表明，分路对齐模型在MS-COCO和Flickr30k数据集上的性能显著优于当前主流方法，综合召回率提升6.9%～14.2%。文章方法能够有效缓解模态差异与语义缺失问题，提升复杂场景下跨模态检索性能。

关键词

跨模态 / 图像文本检索 / 交叉注意力 / 多层对齐 / 细粒度对齐

基金资助

国家自然科学基金项目（61976101）; 安徽省高校自然科学研究项目（2023AH040056）; 安徽省自然科学研究项目（YJS20210463）; 安徽省新时代教育质量工程项目（2023xscx086）; 安徽省学术技术带头人及后备人选科研活动资助计划项目（2021H264）; 安徽省高校学科（专业）拔尖人才工程项目（gxbjZD2022021）