基于动态记忆与运动信息的目标中心视频预测算法

韩晨晨; 卢宪凯; 王志成; 熊筱舟

doi:10.13705/j.issn.1671-6833.2025.02.011

郑州大学学报（工学版） ›› 2025, Vol. 46 ›› Issue (05) : 51 -59. DOI: 10.13705/j.issn.1671-6833.2025.02.011

基于动态记忆与运动信息的目标中心视频预测算法

韩晨晨, 卢宪凯, 王志成, 熊筱舟

作者信息 +

Author information +

文章历史 +

PDF

摘要

针对在视频预测任务中需要维持视频帧间目标空间和时间一致性的问题，提出了基于动态记忆与运动信息的目标中心视频预测算法。首先，引入目标中心模型解耦场景中的目标，确保视频目标在长期动态预测中的一致性和稳定性，有效维持目标的空间一致性；其次，设计目标动态记忆模块，用于捕捉视频的长期依赖并对目标动态进行精确建模，克服现有视频预测方法在预测目标间动态交互上的不足，提升预测目标的时间一致性；再次，利用相邻帧的特征相似性矩阵捕捉帧间运动信息，构建视频序列的时空关系，强化帧间的时间一致性；最后，利用交叉注意力机制融合视频目标的时序和结构信息来提升视频预测效果。通过在具有复杂目标交互的Obj3D和CLEVRER数据集上进行视频预测实验，结果表明：相较于较先进的基于目标中心的视频预测算法，所提算法在PSNR、SSIM两个指标上性能分别提升了4.5%,1.4%,并在LPIPS指标上降低了20%。