基于蓝图可分离的视频超分辨率重建技术研究

摘要

目前视频超分辨率重建技术面临着以下2个问题：相邻帧对齐过程中，难以做到内容对齐，这种情况尤其会发生于大运动视频帧超分辨率重建过程中；其次，在视频超分辨率重建过程中出现的运动模糊和多运动难以良好的进行融合.我们针对以上2个问题提出了基于蓝图可分离的视频超分辨率重建技术(BSCVSR),设计出一种性能优越、针对性强的视频超分辨率重建技术算法.BSCVSR引入了金字塔级联蓝图可分离卷积对齐网络和时空注意力融合SR网络，分别在不同层级基于不同信息对视频帧进行对齐，接着通过加入时空注意力机制解决多运动和运动模糊的融合问题.同时，对齐网络中，我们引入蓝图可分离卷积来减少冗余.通过研究发现，内核内部的相关性相较于跨内核的相关性对于分离操作具有更明显更直接的效果，最终的实验数据也可以很好的证明这一点.通过最终的实验数据我们可以看到，BSCVSR为视频超分辨率重建技术在效果上、在模型的轻量化上都提供了可参考的方案.

关键词

视频超分辨率重建 / 神经网络 / 蓝图可分离卷积 / 时空注意力机制

基金资助

国家自然科学基金(62073164); 中央高校基本科研业务费(NS2022041)