基于双网络及多尺度判决器的图像修复算法

李海燕; 吴自莹; 吴俊; 李海江; 李红松

doi:10.15961/j.jsuese.202100675

工程科学与技术 ›› 2022, Vol. 54 ›› Issue (05) : 240 -248. DOI: 10.15961/j.jsuese.202100675

基于双网络及多尺度判决器的图像修复算法

李海燕, 吴自莹, 吴俊, 李海江, 李红松

作者信息 +

Author information +

文章历史 +

摘要

为了有效解决修复复杂背景及高分辨率图像时产生的边界扭曲、伪影及训练不稳定的缺陷，提出了一种基于双生成对抗网络及多尺度判决器的图像修复算法。首先，将待修复图像输入基于空洞卷积（dilated convolution）层的内容预测网络，以重构损失和基于生成对抗损失的全局判决器为标准，进行粗修复，得到清晰合理、整体语义一致性的结构。然后，将粗修复结果输入细节修复网络，经空洞卷积路径和感知卷积路径解码和反卷积后，送入3个不同尺度的判决器进行优化，提升修复结果的纹理细粒度。最后，使用3个不同尺度的对抗损失优化网络参数，捕获破损区域的多尺度边缘信息，生成合理、逼真的纹理细节。在公认的图像数据集上对本文算法进行修复实验、双网络修复对比、高分辨率修复对比、目标移除实验、消融实验及客观实验，实验结果表明：本文提出的算法在修复背景复杂图像时，能生成合理的结构和清晰的纹理细节；双网络结构优于单网络结构；修复高分辨率图像时得到的纹理细粒度优于对比算法；将本文提出的算法用于高分辨率目标移除，能得到结构清晰合理、纹理细腻的结果；消融实验验证了提出模块的有效性；本文提出的算法的峰值信噪比、结构相似度、平均l 1误差和平均l2误差均优于对比的经典修复算法。总之，本文提出的算法能很好地结合图像的整体语义，增强图像细节的修复精度，有效避免结构纹理错乱、像素重叠、边界扭曲等问题。