大模型增强的跨模态图文检索方法

摘要

在跨模态图像-文本检索(ITR)任务中，基于transformer的跨模态预训练范式是现在的主流.预训练方法通常为预训练模型收集大规模的数据以提升模型在各种下游跨模态任务中的表现.为此，提出了一种数据增广方法以生成大量多样化高质量的文本-图像数据作为预训练数据；其次，提出了一种两阶段训练方法，结合了知识蒸馏和对比学习，在该文产出的数据集上进行训练，从而进一步提升模型性能.提出的模型在包括COCO-CN和Flickr30K-CN在内的中文文本-图像检索数据集上取得了SOTA.

关键词

图像-文本检索 / 预训练 / 知识蒸馏 / 对比学习

基金资助

国家科技创新2030-“新一代人工智能”重大项目(2020AAA0108004)资助