基于跨模态注意力哈希学习的视频片段定位方法

摘要

为提升视频片段定位的精度与检索效率，提出基于跨模态注意力哈希学习的视频片段定位方法。将查询语句和原始视频特征通过哈希学习模型转化成简洁的二值哈希码；使用软注意力模块对查询语句中的关键单词进行加权，将视频哈希码和查询语句哈希码输入一个增强的跨模态注意力模型中，挖掘视觉和语言之间的语义关系；设计一个得分预测和位置预测网络，对查询时刻的起始时间戳进行定位。在2个公开数据集上对所提方法进行试验验证，结果表明所提方法对检索效率提升约7倍。

关键词

视觉理解 / 视频片段定位 / 多模态检索 / 哈希学习 / 跨模态

基金资助

国家自然科学基金资助项目(62176141,62102235); 山东省泰山学者资助项目(tsqn202103088); 山东省自然科学基金资助项目(ZR2020QF029)