基于密集卷积生成对抗网络与关键帧的说话人脸视频生成优化算法

季渊; 虞雅淇

doi:10.13229/j.cnki.jdxbgxb.20240216

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (03) : 986 -992. DOI: 10.13229/j.cnki.jdxbgxb.20240216

基于密集卷积生成对抗网络与关键帧的说话人脸视频生成优化算法

季渊, 虞雅淇

作者信息 +

Author information +

文章历史 +

摘要

为了提高说话人脸生成视频的真实感和自然度，更准确地反映说话人的语音内容和面部表情，提出了基于密集卷积生成对抗网络与关键帧的说话人脸视频生成优化算法。采用边界框回归法修正人脸的候选窗，基于关键帧比对人脸特征，获取说话人脸信息。通过验证集搜索出最优的超参量集合，建立标准正态分布的随机特征矢量，计算判别器内部参量，生成说话人脸视频。使用判别网络的目标函数，修正先验信息，选取符合真实的修复结果，实现说话人脸视频生成优化。实验证明：本文算法的检测召回率高于96%,SSIM、PNSR和LMD指标分别为0.99、34.7 dB和2.2 pixel，视频真实性为74.1%，具有较好的视频生成效果。