基于级联优化网络的视频合成方法

摘要

针对视频到视频的生成过程中视频生成质量较差，生成的物体属性无法在后续视频中得以延续，使仿真视频的视觉效果下降的问题，在图像到图像合成算法的基础上提出一种高分辨率的视频到视频的生成方法.在级联优化网络中增加残差块优化网络结构，从而提高生成视频帧的质量.为解决后续视频中生成物体属性不一致的问题，由两帧改进的级联优化网络预测图像计算光流，再由光流预测一帧图像，将这两个预测图像融合，得到仿真视频序列.与其他视频及图像生成方法在Cityscapes数据集上进行实验对比，结果表明所提算法可以得到更加真实的视频，并且生成的视频序列评价更高.

关键词

深度学习 / 视频合成 / 风格转换 / 光流估算