基于Unet与预训练StyleGAN结合的图像修复算法

摘要

为了解决大面积掩码时修复结果与原图语义差异大、纹理恢复粗糙的问题，提出一种结合Unet修复方法和GAN反演修复方法的图像修复方案。首先，将Unet编码器输出的风格向量输入预训练StyleGAN,解决潜码干扰问题；其次，在频域上加权融合Unet解码器与StyleGAN的特征图，避免频段冲突；最后，引入傅里叶频域损失，确保图像高频频谱的一致性。试验结果表明，该方法在CelebA-HQ数据集上优于现有方法(如LAMA),在FID、SSIM、PSNR指标上分别提升6.6%、0.5%和4.9%;在70%掩码条件下，分别提升8.9%、1%和6.8%,有效提高了大面积掩码修复的语义一致性和细节恢复精度。

关键词

图像修复 / 生成对抗网络 / GAN反演 / 小波变换 / 特征融合