联合时空注意力的视频显著性预测

孙铭会, 薛浩, 金玉波, 曲卫东, 秦贵和

doi:10.13229/j.cnki.jdxbgxb.20220851

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (06) : 1767 -1776. DOI: 10.13229/j.cnki.jdxbgxb.20220851

联合时空注意力的视频显著性预测

孙铭会, 薛浩, 金玉波, 曲卫东, 秦贵和

作者信息 +

Author information +

文章历史 +

PDF

摘要

为了解决视频显著性预测任务中时间与空间特征联合建模的问题，提出联合时空注意力机制（COStA），共同提取时间和空间维度的注意信息，突出特定时间和区域的特征供模型来感知。基于该机制，进一步提出视频显著性预测模型TASED-COStA，对比实验表明：COStA机制能为神经网络模型在CC、NSS与SIM三个评价指标上获得大于8%的性能提升，TASED-COStA模型能有效地建模视频信息中的时间与空间关系，并给出准确的预测结果。