融合U-net网络的纯卷积视频预测模型

摘要

为了解决基于深度学习视频预测中存在的时空特征提取不充分以及图像细节保留不足的问题，运用简单视频预测网络模型SimVP给出的Inception单元，提出了一种融合U-net网络的纯卷积视频预测模型(CUnet)。CUnet模型由3个核心模块组成：首先，Cell模块采用2D卷积层来提取空间特征，并将这些特征输入至多个Inception单元捕获时空特性；其次，DeCell模块通过Inception单元捕获时空特征，并借助2D反卷积层进行上采样操作，恢复图像原始尺寸；最后，引入U-net作为主干网络，将Cell模块和DeCell模块有机整合，有效保留了图像的细节信息，实现了高质量的图像重建。实验结果表明：在TaxiBJ数据集上，与当前表现最佳的时间注意力单元网络模型TAU相比，CUnet模型的预测精度提高了5.23%;在Human3.6M数据集上，与当前表现最佳的快速傅里叶Inception网络模型FFINet相比，CUnet模型的预测精度提高了12.88%。CUnet模型具有优秀的预测能力，可为纯卷积神经网络模型在视频预测领域的应用提供有益探索。

关键词

深度学习 / 视频预测 / 时空特征 / U-net网络 / 纯卷积神经网络

基金资助

国家自然科学基金资助项目(62463017); 福建省自然科学基金资助项目(2023J011099)