多尺度视觉增强语音驱动人脸生成

杨想彦; 梁慧慧; 陈希; 李凡

西安交通大学学报 ›› 2025, Vol. 59 ›› Issue (6) : 167 -176.

多尺度视觉增强语音驱动人脸生成

杨想彦, 梁慧慧, 陈希, 李凡

作者信息 +

Author information +

文章历史 +

摘要

针对现有语音驱动人脸生成方法在生成人脸视频清晰度和真实感方面的不足，设计了一种多尺度视觉增强的端到端人脸视频生成模型——VisClearTalk,并提出包含视觉增强模块的人脸解码器。首先，采用人脸编码器处理包含随机参考帧和下半张脸被遮挡的先验帧，从中提取面部特征；接着，采用语音编码器从音频中提取特征，以指导面部内容生成；随后，采用人脸解码器融合上述特征，并通过卷积模块初步重建面部图像；最后，采用视觉增强模块将多尺度卷积和残差融合，进一步增强人脸下半部分区域的细节和边缘信息，从而提升生成人脸视频的视觉质量。使用公开唇语识别数据集对VisClearTalk模型进行实验验证，结果表明：通过引入视觉增强模块，该模型有效提升了面部视觉内容的细腻程度和真实感，能够生成清晰自然的人脸视频；在性能指标方面，峰值信噪比达到34.349 dB,结构相似度达到0.933,可学习感知图像块相似度降低至0.040。研究结果可为当前人脸生成需求提供一种解决方案。