基于表示学习的跨模态检索方法研究进展

杜锦丰; 王海荣; 梁焕; 王栋

doi:10.16088/j.issn.1001-6600.2021071302

广西师范大学学报（自然科学版） ›› 2022, Vol. 40 ›› Issue (03) : 1 -12. DOI: 10.16088/j.issn.1001-6600.2021071302

基于表示学习的跨模态检索方法研究进展

杜锦丰, 王海荣, 梁焕, 王栋

作者信息 +

Author information +

文章历史 +

摘要

多模态数据的急剧增长带来了跨模态检索的应用需求，促进了对跨模态检索方法的研究。本文追溯该领域最新进展，跟踪并深入研究国内外基于表示学习的跨模态检索方法，对跨模态检索问题进行定义并梳理该领域常用技术方法、主流模型、常用数据集、评价方法和面临的主要挑战。主要从统计相关分析、图正则化和度量学习3方面介绍基于表示学习跨模态检索方法，并分析其优缺点。为了分析上述方法的优劣性，实验分别在4个数据集上复现14种方法进行对比评价。实验结果表明：基于统计相关分析方法训练效率较高且易于实施；基于图正则化方法通过挖掘模态内和模态间的相似性，实现语义关联；基于度量学习方法是在公共子空间中尽可能保留数据语义相似/不相似的信息。本文介绍基于表示学习的跨模态检索方法的研究现状，为跨模态检索方法研究提供参考。