基于上下文特征提取的边缘生成三阶段图像修复算法

Three‑Stage Image Inpainting Algorithm by Edge Generation Based on Contextual Feature Extraction

摘要

对于具有较大不规则缺失区域的图像修复问题，现有的基于深度学习的图像修复方法通常会生成具有模糊纹理和扭曲结构的内容。针对这个问题，将修复问题分解为基于上下文特征的结构预测和图像补全三阶段模型。第一阶段，通过空洞卷积编-解码网络，利用周围图像特征来对缺失部分进行初步修复；第二阶段，将第一阶段粗修复结果进行边缘提取后，输入到一个自注意力机制编-解码网络来预测缺失区域的纹理结构；第三阶段，将前两个阶段的输出一起输入到一个改进的U-net精修复网络中，得到结构清晰、纹理细节丰富的图像。在公开数据集上将所提算法与现有经典算法进行对比，实验表明，所提方法在主观视觉和客观评价方面优于现有方法。

Abstract

For an image of large irregular missing regions， recent deep learning-based image inpainting approaches often generate content with blurred textures and distorted structures. To solve these problems， a three-stage model that separates the inpainting problem into contextual feature-based structure prediction and image completion is proposed. In the first stage， our model utilizes surrounding image features to predict missing regions during a dilated convolutional encoder-decoder network training. In the second stage， an encoder-decoder network based on the self-attention mechanism takes edge features extracted from the first stage predictions as inputs and recovers the texture structure of the missing regions. In the third stage， the outputs of the first two stages are passed to a refined inpainting network using the improved U-net architecture to guide the repair process. The proposed algorithm is compared with the existing classic algorithm on the public datasets. Experiments show that our method outperforms existing methods in terms of subjective vision and objective evaluation.

Graphical abstract

关键词

深度学习 / 图像修复 / 自注意力机制 / Res2net / 生成式对抗网络

Key words

deep learning / image inpainting / self-attention mechanism / Res2net / generative adversarial networks

0 引 言

由于图像在传输和获取过程中受到人为或环境的影响会导致图像信息丢失，需要对图像进行修复处理，增强其视觉效果。传统图像修复是根据图像样本相似度、结构纹理一致性等方法，结合数学、物理理论构建算法模型修复破损图像，主要包括基于扩散的方法^［1］和基于补丁的方法^［2‐3］。但是，传统的修复算法只能基于已有区域的信息来填充未知区域，未出现在已知区域的内容无法预知填充。

近年来，深度卷积网络和生成式对抗网络已被大量应用到图像修复中^［4‐6］。Pathak D等^［7］在2016年提出了上下文编码器，该算法通过构建一个编码器-解码器结构完成缺损图像的编解码工作，并添加判别损失完成图像的精细修复，但该算法只能修复简单结构的破损图像，对于人脸图像修复远远不足；Yu J等^［8］在2019年提出利用门控卷积层替代传统卷积层，解决了传统卷积层将图像所有像素视为有效像素的缺点，该算法只适用于规则掩膜，而对于自由掩膜而言，图像修复效果差；Nazeri K等^［9］在2019年提出一种Edge-Connection模型，通过设计额外的辅助网络，利用缺损区域边缘信息辅助图像修复；Guo X等^［10］在2021年提出了一种结构约束纹理合成和纹理引导结构重建的耦合网络来完成整个修复过程，并设计了双向门控特征融合模块来实现结构和纹理信息的融合。

综上所述，现有修复人脸图像的算法可以划分为单阶段修复模型、渐进式两阶段模型和基于结构先验或者语义先验约束的图像修复模型。单阶段修复模型在修复背景复杂、纹理精细的图像时，容易产生模糊的纹理细节；渐进式两阶段模型虽然能生成纹理细节，但是图像整体的结构会发生扭曲；而基于结构先验或者语义先验约束的图像修复模型，结构与语义一致性有了保障，但修复图像纹理细节不贴近真实图像。

针对上述问题，本文提出了一种基于上下文特征提取的边缘生成三阶段的图像修复算法。首先，算法利用破损图像的上下文特征进行初步修复，并对初修复结果的边缘进行重建；然后，将重建后的边缘结构以及初修复结果一起作为先验信息，来约束最后阶段的精修复过程。并且，在边缘修复网络和精修复网络中加入Res2net模块^［11］和自注意力机制，提取多尺度特征以提升网络的表征能力，自适应计算远距离特征之间的依赖关系以解决图像修复区域和未缺失区域的边界衔接问题。

1 系统模型

如图 1 所示，系统主要采用生成式对抗网络框架^［12］。该架构由生成器和鉴别器组成，生成器部分主要包含3个网络结构：粗修复网络、边缘修复网络、精修复网络。鉴别器采用补丁鉴别器^［8，13］。

1.1 粗修复网络

为了能初步重建大面积不规则的缺失区域，粗修复网络结构参考文献［8］中的架构，由13个普通卷积层和4个空洞卷积层组成，其中普通卷积层包含两层卷积核大小为3，步长为2的下采样层，两层步长为1/2的上采样层，上采样通过结合下采样中提取的各层信息，还原图像缺失区域；而4层空洞卷积层的空洞率大小分别为2，4，8，16，目的是为了扩大卷积核的感受野，提升网络性能。粗修复网络结构见表 1 所示。

用I_{\mathrm{g}\mathrm{t}}代表原始图像，{\overline{I}}_{\mathrm{g}\mathrm{t}}=I_{\mathrm{g}\mathrm{t}}\otimes \left(\mathrm{1}-M\right)表示破损图片，M为随机生成的自由掩模（缺失部分为1，背景为0），粗修复网络G_{\mathrm{c}}生成的修复结果为

I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}=G_{\mathrm{c}}\left({\overline{I}}_{\mathrm{g}\mathrm{t}},M\right)\mathrm{。}（1）

1.2 边缘修复网络

利用canny算子对粗修复网络G_{\mathrm{c}}输出的结果I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}进行边缘提取得到B_{\mathrm{c}\mathrm{a}\mathrm{n}\mathrm{n}\mathrm{y}}，将B_{\mathrm{c}\mathrm{a}\mathrm{n}\mathrm{n}\mathrm{y}}和自由掩模M输入到边缘修复网络G_{\mathrm{e}}中。

边缘修复网络由13个普通卷积层、4个Res2net层和4个自注意力机制层组成^［14］，其中普通卷积层的结构与粗修复网络相同。Res2net层^{［15‐16］}以分层的方式表示多尺度特征，输出包含不同感受野大小的组合，该组合结构扩大感受野大小的同时，有效解决网格伪影现象；而自注意力机制通过自适应调节目标特征与周围特征相关性权重的方式加强特征之间的联系，以保证前景和背景的一致性。边缘修复网络结构见表 2 所示。

边缘修复网络G_{\mathrm{e}}输出边缘预测结果为

B_{\mathrm{p}\mathrm{r}\mathrm{e}}=G_{\mathrm{e}}\left(B_{\mathrm{c}\mathrm{a}\mathrm{n}\mathrm{n}\mathrm{y}},M\right)\mathrm{。}（2）

1.3 精修复网络

精修复网络结构基于U-net架构^［17］，由13个普通卷积层、4个Res2net层、4个自注意力机制层组成，通过跳跃连接将编码器特征直接传输到解码器中。其中普通卷积层与粗修复网络中的结构相同，Res2net层、自注意力机制层与边缘修复网络中的结构相同；增加的跳跃连接结构将一些低维特征直接传递到后面的卷积层中，减少了特征损失。精修复网络结构见表 3 所示。

将粗修复结果I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}、边缘修复结果B_{\mathrm{p}\mathrm{r}\mathrm{e}}和自由掩模M共同输入到精修复网络中。精修复网络G_{\mathrm{r}}的输入分别为

I_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}^{\mathrm{R}}=I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}\otimes M+I_{\mathrm{g}\mathrm{t}}\otimes \left(\mathrm{1}-M\right),（3）

B_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}^{\mathrm{R}}=B_{\mathrm{p}\mathrm{r}\mathrm{e}}\otimes M+B_{\mathrm{g}\mathrm{t}}\otimes \left(\mathrm{1}-M\right)，（4）

式中：I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}\otimes M为粗修复网络生成的缺失区域；I_{\mathrm{g}\mathrm{t}}\otimes \left(\mathrm{1}-M\right)为图像中未破损的部分；B_{\mathrm{p}\mathrm{r}\mathrm{e}}\otimes M为边缘修复网络生成的缺失边缘部分；B_{\mathrm{g}\mathrm{t}}为原始图像边缘；B_{\mathrm{g}\mathrm{t}}\otimes \left(\mathrm{1}-M\right)为图像中未破损的边缘区域。精修复网络G_{\mathrm{r}}输出的精修复结果I_{\mathrm{p}\mathrm{r}\mathrm{e}}为

I_{\mathrm{p}\mathrm{r}\mathrm{e}}=G_{\mathrm{r}}\left(I_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}^{\mathrm{R}},B_{\mathrm{i}\mathrm{n}\mathrm{p}\mathrm{u}\mathrm{t}}^{\mathrm{R}},M\right)\mathrm{。}（5）

1.4 损失函数

粗修复网络G_{\mathrm{c}}、边缘修复网络G_{\mathrm{e}}和精修复网络G_{\mathrm{r}}的损失函数分别为

l_{\mathrm{1}}^{\mathrm{c}}={‖I_{\mathrm{p}\mathrm{r}\mathrm{e}}^{\mathrm{C}}-I_{\mathrm{g}\mathrm{t}}‖}_{\mathrm{1}},（6）

l_{\mathrm{1}}^{\mathrm{b}}={‖B_{\mathrm{p}\mathrm{r}\mathrm{e}}-B_{\mathrm{g}\mathrm{t}}‖}_{\mathrm{1}},（7）

l_{\mathrm{1}}^{\mathrm{r}}={‖I_{\mathrm{p}\mathrm{r}\mathrm{e}}-I_{\mathrm{g}\mathrm{t}}‖}_{\mathrm{1}}\mathrm{。}（8）

生成器对抗损失l_{\mathrm{a}\mathrm{d}\mathrm{v}}^G定义为

l_{\mathrm{a}\mathrm{d}\mathrm{v}}^G=-E_{\left(I_{\mathrm{p}\mathrm{r}\mathrm{e}}\right)}\left[D\left(I_{\mathrm{p}\mathrm{r}\mathrm{e}}\right)\right]\mathrm{。}（9）

联合损失函数定义为

l_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}={\lambda }_{\mathrm{1}}^c{l}_{\mathrm{1}}^c+{\lambda }_{\mathrm{2}}^b{l}_{\mathrm{1}}^b+{\lambda }_{\mathrm{3}}^r{l}_{\mathrm{1}}^r+{\lambda }_{\mathrm{a}\mathrm{d}\mathrm{v}}{l}_{\mathrm{a}\mathrm{d}\mathrm{v}}^G,（10）

式中：{\lambda }_{\mathrm{1}}^c，{\lambda }_{\mathrm{2}}^b，{\lambda }_{\mathrm{3}}^r，{\lambda }_{\mathrm{a}\mathrm{d}\mathrm{v}}分别为l_{\mathrm{1}}^c，l_{\mathrm{1}}^b，l_{\mathrm{1}}^r和l_{\mathrm{a}\mathrm{d}\mathrm{v}}^G损失控制参数，取{\lambda }_{\mathrm{1}}^c={\lambda }_{\mathrm{2}}^b={\lambda }_{\mathrm{3}}^r={\lambda }_{\mathrm{a}\mathrm{d}\mathrm{v}}=\mathrm{1}。

鉴别器将生成的图像以及原图作为输入，并判断输入的生成图像是真是假。通过最大化鉴别器对抗损失l_{\mathrm{a}\mathrm{d}\mathrm{v}}^D训练网络，其中鉴别器D对抗损失定义为

\begin{array}{l}{l}_{\mathrm{a}\mathrm{d}\mathrm{v}}^D=E_{\left(I_{\mathrm{g}\mathrm{t}}\right)}\left[\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{0},\mathrm{1}-D\left(I_{\mathrm{g}\mathrm{t}}\right)\right)\right]+\\ E_{\left(I_{\mathrm{p}\mathrm{r}\mathrm{e}}\right)}\left[\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{0},\mathrm{1}+D\left(I_{\mathrm{p}\mathrm{r}\mathrm{e}}\right)\right)\right]\mathrm{。}\end{array}（11）

2 实验与分析

实验配置为：64位Windows 10操作系统，Nvidia GeForce RTX 2080Ti，实验框架采用TensorFlow深度学习框架，编程语言使用python3.6。本文采用Celeba-HQ人脸数据集进行训练和测试，训练集包含20 000张256*256大小的人脸图像，测试集包含1 000张人脸图像。在训练阶段，本文算法的训练时间为62 h。在测试阶段，共耗时30 min 12 s完成测试，平均每张图像需耗时1.812 s完成修复。

为了验证本文算法的有效性，将本文算法与PatchMatch算法^［2］、Deepfill-v1算法^［8］、Edge-Connect算法^［9］和CTSDG算法^［10］进行对比实验，以主观视觉对比和客观指标分析两种评价方法进行实验对比分析。

2.1 主观评价

主观实验对比如图 2 所示。其中第1，2行表示破损程度为[10%, 20%)的实验对比图，第3，4行表示破损程度为[20%, 30%)的实验对比图，第5，6行表示破损程度为[30%, 40%)的实验对比图，第7，8行表示破损程度为[40%, 50%)的实验对比图。

图 2 中从左到右每一列分别表示原始破损图片，PatchMatch算法、Deepfill-v1算法、Edge-Connect算法、CTSDG算法，本文算法修复后的图片以及原始图像。

从修复对比图中第2列可以看出，PatchMatch算法在处理小规模缺失图像时，具有良好的性能表现，但随着破损区域规模的增大，该算法会产生扭曲的结构和大面积的伪影，原因在于该算法仅能利用周围已知区域来填充未知区域，当缺失部分较大时，存在的已知信息不足以修复完整的图像。从修复对比图中第3列可以看出，Deepfill-v1算法修复区域出现结构扭曲的现象，原因在于Deepfill-v1算法只关注纹理修复，没有考虑结构的问题。从修复对比图中第4列第3，4行可以看出，修复结果产生了模糊的眼眶结构，原因在于Edge-Connect算法会生成混合的边缘，通过使用边缘结构先验可能会导致错误的纹理结构。从修复对比图中的第4列第7，8行可以看出，CTSDG算法修复结果中脸颊部分明显存在色彩鲜艳度缺失的问题，原因在于CTSDG算法未注重缺失部分的色彩修复。相比于PatchMatch算法、Deepfill-v1算法、Edge-Connect算法和CTSDG算法，本文算法得到了更好的图像细节与边缘，更接近于真实图像。

2.2 客观评价

本文使用峰值信噪比（Peak Signal to Noise Ratio，PSNR）和结构相似性（Structural Similarity，SSIM）定量评估5种模型的修复结果。PSNR值越大，代表图像的失真越少；SSIM指标值越大，代表和原始图像的差距越小，即修复结果图像质量越好。在相同破损程度的情况下，本文提出的修复算法的性能优于其他 4 种图像修复算法，如表 4 所示。

2.3 消融实验

为了说明本文所提网络各模块的有效性和必要性，对其进行消融实验，主要包括有无Res2net模块对比实验和有无自注意力机制对比实验。随机选取Celeba-HQ数据集中的两幅图进行消融实验对比，并进行主观与客观指标评价。

图 3 为消融实验的主观实验结果，如图 3（b）中所示，在缺少Res2net模块的情况下，恢复的人脸图像纹理、细节特征不清晰；由图 3（c） 可知，缺少自注意力机制将导致修复区域与已知区域缺乏一致性，出现前景与背景不融洽的现象。

表 5 数据表明本文算法在缺少Res2net模块情况下，PSNR指标下降2.94%，SSIM指标下降2.45%；在缺少自注意力机制情况下，PSNR指标下降3.32%，SSIM指标下降1.79%。由此证明算法中加入Res2net模块和自注意力机制会使修复图像的质量更好。

3 结束语

针对人脸图像的特征复杂多样，细节和结构特征难以恢复等问题，提出了一种基于上下文特征提取的边缘生成三阶段的图像修复算法。首先，将待修复图像输入到粗修复网络中，对图像缺损部分进行初步修复；然后，将初修复结果所提供的边缘结构作为边缘修复网络的输入，完成边缘结构的细节重建；最后，将初修复结果和重建的边缘结构一起输入到精修复网络，共同约束图像的精修复过程，并在边缘修复网络和精修复网络中加入Res2net模块、自注意力机制，增强了网络对于有限特征的提取能力，改善了图像目标区域与周围区域边界不连贯的问题。通过与4种现有的修复方法在主观、客观方面的实验对比分析，本文所提算法修复的人脸图像，在SSIM和PSNR性能指标上优于现有算法，且在边缘细节的恢复中有着更好的视觉效果。

参考文献

[1] BERTALMIO M， SAPIRO G， CASELLES V，et al.Image inpainting［C］//Conference on Computer Graphics and Interactive Techniques，New Orleans，LA：ACM Press/Addison-Wesley Publishing Company，2000：417-424.

[2] BARNES C， SHECHTMAN E， FINKELSTEIN A，et al.PatchMatch：a randomized correspondence algorithm for structural image editing［J］.ACM Transactions on Graphics，2009，28（3）：1-11.

[3] CRIMINISI A， PATRICK P， TOYAMA K.Region filling and object removal by exemplar-based image inpainting［J］.IEEE Transactions on Image Processing，2004，13（9）：1200-1212.

[4] IIZUKA S， SIMO-SERRA E， ISHIKAWA H.Globally and locally consistent image completion［J］.ACM Transactions on Graphics，2017，36（4）：1-14.

[5] LIU G L， REDA F A， SHIH K，et al.Image inpainting for irregular holes using partial convolutions［C］//European Conference on Computer Vision，Munich：ECCV，2018：89-105.

[6] ZHOU X， LI J， WANG Z，et al.Image inpainting with contrastive relation network［C］//25th International Conference on Pattern Recognition（ICPR），2021：4420-4427.

[7] PATHAK D， DONAHUE J， DARRELL T，et al.Context encoders：feature learning by iInpainting［C］//IEEE Computer Society Conference on Computer Vision and Pattern Recognition（CVPR），Las Vegas：IEEE，2016：2536-2544.

[8] YU J， LIN Z， YANG J，et al.Generative image inpainting with contextual attention［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition（CVPR），2018：5505-5514.

[9] NAZERI K，NG E， JOSEPH T，et al.EdgeConnect：generative image inpainting with adversarial edge learning［C］// ICCV Workshops，Seoul：ICCV，2019：1-17.

[10] GUO X， YANG H， HUANG D.Image inpainting via conditional texture and structure dual generation［C］//IEEE/CVF International Conference on Computer Vision （ICCV），2021：14114-14123.

[11] 王贺, 韩磊. 基于Res2net和金字塔池化的图像去雾算法[J]. 测试技术学报, 2023, 37(5): 455-460.

[12] WANG He, HAN Lei. Image dehazing algorithm based on Res2net and pyramid pooling[J]. Journal of Test and Measurement Technology, 2023, 37(5): 455-460. (in Chinese)

[13] GOODFELLOW I J， POUGETABADIE J， MIRZA M，et al.Generative adversarial nets［J］.Advances in Neural Information Processing Systems，2014，3（2）：2672-2680.

[14] ZHU J Y， PARK T， ISOLA P，et al.Unpaired image-to-image translation using cycle-consistent adversarial networks［C］// IEEE International Conference on Computer Vision （ICCV），IEEE，2017：1-9.

[15] ZHANG H， GOODFELLOW I， METAXAS D，et al.Self-attention generative adversarial networks［C］//Proceedings of International Conference on Machine Learning，2019，97：7354-7363.

[16] GAO S， CHENG M M， ZHAO K，et al.Res2Net：a new multi-scale backbone architecture［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2019，43（2）：652-662.

[17] WANG Z， WU Y， XU J，et al.Res2Fusion：infrared and visible image fusion based on dense Res2Net and double nonlocal attention models［J］.IEEE Transactions on Instrumentation and Measurement.2022，71：1-12.

[18] RONNEBERGER O， FISCHER P， BROX T.U-net：convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer Assisted Intervention，2015：234-241.