基于密集卷积生成对抗网络与关键帧的说话人脸视频生成优化算法

摘要

为了提高说话人脸生成视频的真实感和自然度，更准确地反映说话人的语音内容和面部表情，提出了基于密集卷积生成对抗网络与关键帧的说话人脸视频生成优化算法。采用边界框回归法修正人脸的候选窗，基于关键帧比对人脸特征，获取说话人脸信息。通过验证集搜索出最优的超参量集合，建立标准正态分布的随机特征矢量，计算判别器内部参量，生成说话人脸视频。使用判别网络的目标函数，修正先验信息，选取符合真实的修复结果，实现说话人脸视频生成优化。实验证明：本文算法的检测召回率高于96%,SSIM、PNSR和LMD指标分别为0.99、34.7 dB和2.2 pixel，视频真实性为74.1%，具有较好的视频生成效果。

关键词

密集卷积生成对抗网络 / 关键帧 / 说话人脸视频生成 / 编码速率 / 先验损失