基于跨模态注意力机制的视频-文本检索方法

摘要

针对当前视频-文本检索方法未能有效结合时间信息与相关性信息进行联合建模的问题，提出一种基于跨模态注意力机制的视频-文本检索方法.首先，利用预训练的大规模图像-文本模型提取文本和视频帧的嵌入表示，通过知识迁移缓解不同模态数据之间的异质性问题.然后，使用联合文本-帧跨模态注意力机制模块，同时编码视频帧之间的时间信息以及视频帧与文本之间的相关性信息，捕获更具竞争力的视频特征表示.最后，利用交叉熵损失函数约束模型训练.通过对比实验验证，该方法能够有效捕获视频帧的时间信息和相关性信息，在MSR-VTT(microsoft research video to text)和LSMDC(large-scale movie description challenge)数据集上取得具有竞争力的效果.

关键词

视频-文本检索 / 跨模态 / 注意力机制 / 知识迁移 / 视频特征表示