联合核预测和特征推理的渐进式壁画修复算法

Progressive Mural Inpainting Algorithm Based on Joint Kernel Prediction and Feature Reasoning

摘要

针对现存深度模型修复壁画时，未兼顾像素级特征与语义级特征，而导致纹理精细度欠缺、结构扭曲等问题，提出一种联合核预测和特征推理的渐进式壁画修复算法.首先，设计区域渐进模块，通过部分卷积实现壁画特征渐进式映射.然后，提出双分支修复模块，其中核预测卷积分支实现破损区域的像素级修复；而语义特征推理分支中引入门控可变形卷积，并结合语义一致性注意力机制实现特征推理，完成破损壁画的语义级修复.最后，将双分支修复结果融合输出，最大限度地减少重构误差，提升修复精度.通过对敦煌壁画进行数字化修复实验，结果表明所提方法修复后的壁画具备较好的结构纹理特征，在评价指标上优于比较算法.

Abstract

Aiming at the existing depth model that fails to take into account both pixel-level features and semantic-level features at the same time when repairing nurals， resulting in problems such as lack of texture fineness and structural distortion， a progressive mural inpaining algorithm that combines kernel prediction and feature reasoning is proposed. Firstly， the regional progressive module is designed to realize the progressive mapping of mural features through partial convolution. Then， a dual-branch repair module is proposed， in which the kernel predicts the volume integral branch to realize the pixel-level repair of the damaged area. The semantic feature reasoning branch introduces gated deformable convolution and combines the semantic consistency attention mechanism to realize feature reasoning to complete the semantic-level repair of damaged murals. Finally， the two-branch repair results are fused into the output to minimize the reconstruction error and improve the repair accuracy. Through the digital restoration experiment of Dunhuang murals， the results show that the restored murals by the proposed method have better structural texture characteristics， which are better than the comparison algorithm in terms of evaluation indicators.

Graphical abstract

关键词

图像重构 / 壁画修复 / 核预测 / 语义特征推理 / 特征融合

敦煌莫高窟位于东南部丝绸之路宗教文化的交界处，其内存万余幅壁画，记载着四世纪至十四世纪之间各古代艺术家千余年的彩绘创作，是壁画类文化遗产的典型代表，具有极高的艺术价值和文化价值^［1］.然而，数千年来多数壁画遭受恶劣自然气候制约，出现霉变、裂纹、烟熏、大面积剥落等亟待解决的腐蚀老化问题.但人工修复在处理破损壁画过程中存在不可避免的受限条件，仅凭借作画经验进行修复易导致色差、理解错误等局限，因此利用数字化图像处理技术，通过数据驱动来实现古壁画遗产的自动修复成为研究热点问题^［2］.

目前，图像修复算法可分为以稀疏表示和纹理合成为主的非学习类修复算法和通过数据训练集中学习语义特征进行修复的学习类修复方法.其中，非学习类修复方法^［3-5］主要利用现存先验特征合成破损区域，对于壁画裂纹等破损区域较小或较平整的病害修复效果良好但不具备生成新内容的能力.非学习类修复方法由于缺乏对图像高层次语义的理解，往往只能局部复制移动图像内容，无法实现真正语义上的缺失修复，因而对于结构复杂、破损面积较大的情况修复能力有限，容易出现结构紊乱、修复痕迹明显的问题^［6］.

深度学习类修复方法则是利用大量数据驱动模型学习完成修复，其通过对大量图像数据集的训练学习得到样本间的非线性映射关系，提取到破损壁画图像的深层语义特征，从而实现对较大破损区域的修复^［7］.深度学习图像修复算法一般通过生成对抗网络、编码解码网络、像素生成等方式完成修复^［8-15］.其中，生成对抗网络是一种基于破损图像已知先验分布来推测未知分布修复的方法，该方法利用生成器捕捉样本数据分布生成图像，然后通过鉴别器判别生成数据与实例数据之间的差异性，迭代博弈对抗直至纳什平衡，从而完成图像修复，但该类方法由于生成器与判别器交替训练，存在训练不稳定、容易出现模式坍塌等问题^［8-10］.而第二类编码解码修复方法通过构建编码器从输入图像内容转换到低维空间，特征学习后再通过解码器将低维空间映射至原始图像空间，从而完成破损图像修复，该类方法克服了生成对抗修复方法不稳定的缺陷，能够较好地提取图像高级语义特征，但修复后结构连贯性和纹理一致性仍存在一定的问题^［11-13］.第三类基于像素预测生成的修复方法，核心思想是利用神经网络以某个像素点为基点，通过局部预测算法向四周生成新的像素点，而逐步完成修复，该类方法可以完成细粒度修复，但由于缺乏全局语义指导，易出现修复欠合理的问题^［14-15］.

基于上述深度学习修复理论，国内外诸多学者展开了大量研究工作.Nazeri等^［8］提出双生成对抗网络联合进行结构预测和图像补全的分级修复算法，但其重构过程中忽略像素级纹理的提升，出现局部模糊的问题.Li等^［9］提出递进重建视觉结构网络，采用单生成器进行线条颜色双阶段修复，但该方法采用连续下采样和反卷积，易出现边界像素丢失，其重构结果存在语义偏差.Xiong等^［10］提出了边缘结构引导生成对抗修复的方法，该方法通过对不完整轮廓拟合后引导完成缺失区域的修复，但其修复过程侧重于线条结构，未兼顾语义级特征，导致修复结果易出现局部模糊的问题.Guo等^［11］提出全分辨率残差网络来填充不规则孔洞的修复方法，但在修复过程中多次将特征图映射到RGB空间，部分纹理细节在映射过程中丢失，造成误差累积而导致修复结果纹理精细度欠缺.Li等^［12］设计周期特征推理模块迭代填充修复，但该模块在特征提取时通过级联标准卷积层进行编解码，缺乏对像素信息的有效预测和控制，易引入无效像素参与修复过程而导致棋盘效应纹理模糊的现象.Wadhwa等^［13］采用基于超图卷积的双阶段图像修复方法，在鉴别器中引入门控卷积增强修复结果的局部一致性，但该方法由于阶段间修复误差的累积导致修复结果易出现纹理模糊的问题.Guo等^［14］提出预测卷积和深度特征生成网络联合修复的方法，通过预测卷积分支细化图像，并结合深度特征生成网络进行破损的内容修复，但该模型仅在输出端优化融合，未考虑内部结构特征细化，导致修复结果提升不明显.刘微容等^［15］提出了一种多级解码网络的图像修复算法，通过注意力转移匹配机制来提高修复的性能，但在并联注意力传递匹配信息时，以块为单位，未实现像素级的精细化修复.

综上所述，针对破损壁画修复时，未兼顾像素级特征与语义级特征，致使修复结果出现纹理精细度欠缺、结构紊乱等问题，提出一种联合核预测和特征推理的渐进式壁画修复算法.主要工作有：1）首先，设计区域渐进模块，通过部分卷积实现壁画特征映射的渐进式收缩.2）其次，提出由核预测卷积分支和语义特征推理分支构成的双分支修复模块，以克服现有模型未兼顾纹理和语义结构的不足.3）然后，核预测分支通过对破损点邻域进行预测重建缺失像素，实现精细度像素级修复；而语义特征推理分支引入门控可变形卷积，结合语义一致性机制实现破损壁画整体语义级修复，接着将门控卷积解码器和标准卷积解码器的修复结果融合，并在输出层与预测核进行细化操作后输出最终结果.4）最后，通过自制数据集对敦煌壁画进行数字化修复，实验结果评价指标优于比较算法，具有较好的壁画修复效果.

1 本文方法

1.1 网络模型总框架

敦煌壁画具有结构感强、纹理繁杂的显性特征^［16］.然而现有大多数壁画修复模型，通常采用整体端到端特征修复方式，未能同时充分考虑像素级特征与语义级特征，致使修复结果存在纹理精细度欠缺、结构扭曲等问题^［14］.因此，本文提出联合核预测和特征推理的渐进式壁画深度学习修复网络.该网络主要包括区域渐进模块、双分支修复模块、融合输出模块三部分，其中双分支修复模块分为核预测卷积分支和语义特征推理分支.所提方法整体网络模型如图1所示.

模型工作时，首先，通过区域渐进模块的掩膜更新机制，实现破损壁画的特征映射和掩膜边界的渐进式收缩修复.然后，由核预测卷积分支和语义特征推理分支构成的双分支修复模块，对待修复壁画进行细粒度像素修复和整体语义修复.其中，核预测卷积分支采用编解码结构，设计自适应预测核函数，根据可修复破损点的局部邻域上下文信息重建缺失像素，实现精细度较高的像素级修复；语义特征推理分支通过级联门控可变形卷积进行特征提取，增强对于破损壁画不同感受野范围的特征提取能力，并结合语义一致性注意力机制，逐步完成缺失语义的推理填充.该模块修复过程中同时兼顾像素级和深度语义级的壁画特征，避免了传统编码器进行整体特征提取时，未区分语义结构特征和纹理像素级特征的缺点.最后，将语义特征推理分支输出的各层次特征图进行自适应融合，利用预测核对融合结果进行细化，充分结合缺失部分的邻域信息，提升重构壁画的语义合理性和纹理精细度，最终输出融合重构后的壁画图像.

1.2 区域渐进模块

现有深度学习方法在壁画图像修复时，一般采用普通卷积对壁画图像进行特征提取，未考虑壁画完好区域和破损区域的差异性，卷积核内所有权重均参与计算，如图2（a）所示，该操作会导致大量无效像素也参与特征提取，出现错误混叠问题^［12］.为避免上述普通卷积整体特征学习的不足，本文采用部分卷积进行待修复区域的渐进式收缩修复.部分卷积示意图如图2（b）所示，该卷积方式仅针对输入壁画中的有效像素进行卷积操作，待修复破损区域像素部分卷积权重均为0，故能有效避免无效像素参与卷积过程而导致结构紊乱和视觉伪影问题^［17］.

区域渐进模块由部分卷积级联构成，通过其掩膜更新机制实现特征映射和掩膜边界收缩，然后经由规范化层和Leaky Relu激活函数处理，得到当前层待修复壁画.区域渐进模块中部分卷积计算如下：

f_{x,y,z}^{\mathrm{*}}=\left\{\begin{array}{l}{W}_z^T\left(f_{x,y}\odot m_{x,y}\frac{\mathrm{s}\mathrm{u}\mathrm{m}(\mathrm{1})}{\mathrm{s}\mathrm{u}\mathrm{m}(m_{x,y})}\right)+b,\mathrm{i}\mathrm{f}\mathrm{s}\mathrm{u}\mathrm{m}(m_{x,y})!=\mathrm{0}\\ \mathrm{0},\mathrm{e}\mathrm{l}\mathrm{s}\mathrm{e}\end{array}\right.（1）

式中：f_{x,y,z}^{\mathrm{*}}表示z^{\mathrm{t}\mathrm{h}}通道中壁画（x，y）位置的特征值；W_z^T是当前层的第z个卷积核权重；f_{x,y}和m_{x,y}分别是以（x,y）为中心的当前滑动窗口的特征图和对应掩膜；\odot表示特征图对应位置点乘操作；\mathrm{s}\mathrm{u}\mathrm{m}(\mathrm{1})代表当前滑动窗口区域值为1的个数；\mathrm{s}\mathrm{u}\mathrm{m}(m_{x,y})为掩膜中值为1的总数；b为偏置值.

破损区域新边界值如式（2）所示：

m_{x,y}^{\mathrm{*}}=\left\{\begin{array}{l}\mathrm{1},\mathrm{i}\mathrm{f}\mathrm{s}\mathrm{u}\mathrm{m}(m_{x,y})!=\mathrm{0}\\ \mathrm{0},\mathrm{e}\mathrm{l}\mathrm{s}\mathrm{e}\end{array}\right.（2）

式中：m_{x,y}代表以位置(x,y)为中心像素点的卷积窗口；\mathrm{s}\mathrm{u}\mathrm{m}(m_{x,y})代表当m_{x,y}滑动到掩膜边界时，卷积块所涵盖的掩膜区域中值被标记为1的总数，若总数不等于0，则将卷积块中值为0的像素置为1.

卷积块滑动结束即完成一次掩膜收缩，将收缩掩膜和当前层掩膜之间的差定义为当前待修复的区域，直至修复时渐近收缩完所有的掩膜.

1.3 双分支修复模块

为兼顾像素级和语义级的特征修复，本文提出由核预测卷积分支和语义特征推理分支联合构成双分支修复模块，取二者的修复强项进行联合修复，各分支具体描述见下文.

1.3.1 核预测卷积分支

核预测卷积分支是多层卷积级联构成的编解码预测模块，其主要利用图像的局部自相似性^［18］，通过核函数K预测破损壁画I缺失像素的对应权重，从而重建缺失像素，实现对破损壁画的像素级修复.修复过程如式（3）所示：

{\widehat{I}}_{\mathrm{1}}=I\otimes K（3）

式中：I为破损壁画；{\widehat{I}}_{\mathrm{1}}为预测修复后壁画；K为预测核；\otimes表示逐像素相乘.以破损点p以及其邻域内各像素点q为例对式（3）进行展开，公式如下：

{\widehat{I}}_{\mathrm{1}}(p)=\sum _{q\in N_p}{K}_p(q-p)I(q)（4）

式中：K_p(q-p)为作用于邻域点q集合N(p)的预测权重核，其计算公式如式（5）所示.

K_p(q-p)=\left\{\begin{array}{c}\mathrm{1},\mathrm{i}\mathrm{f}q\in N_p\\ \mathrm{0},\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\end{array}\right.（5）

当像素点q为破损壁画N_p 邻域内有效像素时，权重取值为1，否则为0.然后对N_p 邻域内各像素点的权重w_{pq}归一化操作，其计算公式如式（6）所示.

w_{pq}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}([K_p^{}{]}_q)}{{\sum }_{q\in N(p)}\mathrm{e}\mathrm{x}\mathrm{p}([K_p^{}{]}_q)}（6）

式中：[K_p^{}{]}_q为预测核的第q项参数；w_{pq}为N(p)内各像素点对应的归一化后的权重值，w_{pq}\in [\mathrm{0,1}].预测权重w_{pq}后，\phi (·)将其与邻域内各像素点的值进行点乘运算，通过式（7）重建缺失像素点\widehat{p}.

\widehat{p}=\phi (·)=\sum _{q\in N(p)}q{w}_{pq}（7）

核预测卷积分支实现对破损像素小范围细粒度重建，为了提高模型修复性能，进一步结合语义特征推理分支完成破损修复.

1.3.2 语义特征推理分支

语义特征推理分支通过对壁画全局进行语义理解，在语义特征层中对破损壁画缺失语义进行推理，并结合语义一致性注意力机制实现破损壁画的语义级修复.该分支由编码器、门控卷积和标准卷积联合解码的双通道解码器构成.在编码器中引入门控可变形卷积，自适应形变感受野提取壁画语义，门控可变形卷积示意图如图3所示，红色框代表可变形卷积核涵盖范围，其能够自适应地获取壁画区域语义信息.

门控可变形卷积首先在破损壁画I中学习形变感受野，通过门控可变形卷积获取感受野特征P(q)，其计算公式如式（8）所示：

P(q)=\sum W·I(q)（8）

式中：W代表卷积核；I(q)为q点像素值.其中I(q)值采用双线性插值获取，如式（9）所示：

I(q)=\sum _{q^{\text{'}}}B(q^{\text{'}},q)·I(q^{\text{'}})（9）

式中：q\in P(q)表示感受野内的像素点；q^{\text{'}}为q的邻域像素；I(q^{\text{'}})为q邻域内的像素值；B(q^{\text{'}},q)为双线性插值，其计算如下所示.

B(q^{\text{'}},q)=b(q_x^{\text{'}},q_x)·b(q_y^{\text{'}},q_y)（10）

式中：b(q_x^{\text{'}},q_x)、b(q_y^{\text{'}},q_y)代表q\mathrm{\text{'}}点与像素q的x方向和y方向线性插值的结果.得到双线性插值结果后，还需计算q点感受野内各点对应的加权门控值G，其计算公式如式（11）所示：

G(q)=\mathrm{S}\mathrm{i}\mathrm{g}(\sum W_g\odot I(q))（11）

式中：W_{\mathrm{g}}为门控卷积核；\mathrm{S}\mathrm{i}\mathrm{g}(·)为Sigmoid激活函数；\odot代表点乘运算；G(q)为［0，1］的门控值，其值越高代表置信度越高，即q点有效信息越多.

然后，将卷积核、q点像素值以及其加权门控值进行点乘，得到各像素点q的特征值：

F(q)=\sum _{q\in P(q)}{W}_f\odot I(q)\odot G(q)（12）

在得到各像素点特征值后，壁画第i层的语义特征计算如下：

F_i=\varphi (I)={\varphi }_I(...{\varphi }_i(...{\varphi }_{\mathrm{2}}({\varphi }_{\mathrm{1}}(I))))（13）

式中：\varphi (·)为编码器；F_i为从第i层提取的语义特征，即F_i={\varphi }_i(F_{i-\mathrm{1}}).

在得到壁画各层的语义特征后，然后通过语义一致性注意力模块计算破损壁画块和提取出的像素块之间的相似度，逐步完成语义修复，其相似度分数计算过程如图4所示.

该过程中计算破损壁画块与完好区域的余弦相似度分数，将其作为缺失像素块和特征匹配块的匹配准则，以此指导壁画缺失语义特征的推理过程，相似度分数计算公式描述如式（14）所示：

\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{x,y,x^{\text{'}},y^{\text{'}}}^i=\lambda \mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}^{\text{'}}{}_{x,y,x^{\text{'}},y^{\text{'}}}^i+(\mathrm{1}-\lambda )\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{x,y,x^{\text{'}},y^{\text{'}}}^{i-\mathrm{1}}（14）

式中：(x,y)为缺失像素点；(x^{\text{'}},y^{\text{'}})为匹配像素点；\lambda为权重参数.通过上述像素计算后生成的特征图公式如式（15）所示：

f^{\text{'}}{}_{x,y}^i=\sum _{x^{\text{'}}\in \mathrm{1},\cdots ,w;y^{\text{'}}\in \mathrm{1},\cdots ,h}\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}{\mathrm{e}}_{x,y,x^{\text{'}},y^{\text{'}}}^i{f}_{x^{\text{'}},y^{\text{'}}}^i（15）

特征编码完成后，核预测卷积分支对语义特征推理分支提取的特征图进行像素级卷积，使其与特征图F_i相匹配，从而实现当前层特征图的细化修复，其修复过程如式（16）所示：

F_i^{\text{'}}[p]=\sum _{q\in N_p}{K}_p^i[q-p]F_i[q]（16）

式中：K_p^i是第i层特征图F_i各元素对应的权重细化核.再分别通过门控卷积解码器和标准卷积解码器对特征图进行联合解码，过程如下：

O_i^{\mathrm{*}}=\psi (\sum \sum W_{\mathrm{f}}·F_i^{\text{'}})\odot \mathrm{S}\mathrm{i}\mathrm{g}(\sum \sum W_{\mathrm{g}}·F_i^{\text{'}})（17）

式中：\psi (·)为ReLU激活函数；W_{\mathrm{g}}和W_{\mathrm{f}}为不同的卷积滤波器；F_i^{\text{'}}为特征生成的壁画特征图.

标准卷积解码器解码过程如式（18）所示：

F_i^{{\mathrm{*}}^{\text{'}}}=H^{\uparrow }(\sigma (W^i·F_i^{\text{'}})+b^i)（18）

式中：F_i^{{\mathrm{*}}^{\text{'}}}为标准卷积层输出的重构特征图，H^{\uparrow }为上采样操作；\sigma为激活函数；W^i为权重值；F_i^{\text{'}}为特征推理后的特征图；b^i为偏置值.

最后将两分支解码的特征图进行通道连接，得到重构特征图{F^i}^{\mathrm{\text{'}}}，其计算公式如式（19）所示：

{F^i}^{\mathrm{\text{'}}}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(F_i^{{\mathrm{*}}^{\text{'}}},O_i^{\mathrm{*}})（19）

为进一步增强纹理细节，将预测核K与重构特征图{F^i}^{\mathrm{\text{'}}}进行点乘操作，实现特征图的细化过程，其公式如式（20）所示：

I={\varphi }^{-\mathrm{1}}({\varphi }_I(\cdots {\varphi }_{i+\mathrm{1}}(F_i\odot K_i)))\odot K（20）

1.4 特征融合模块

特征推理结束后，对各迭代层生成的特征图进行融合操作，得到最终修复结果\overline{I}，计算如下：

{\overline{I}}_{x,y,z}=\frac{{\displaystyle \sum _{i=\mathrm{1}}^N}{f}_{x,y,z}^i}{{\displaystyle \sum _{i=\mathrm{1}}^N}{m}_{x,y,z}^i}（21）

式中：f_{x,y,z}^i为第z通道中（x，y）位置的特征值，m^i是特征图F^{i^{\text{'}}}的掩码，N为特征图的数量，通过上式即可得到渐进融合的最终壁画修复结果.

1.5 损失函数

本文方法损失函数包括L_{\mathrm{1}}损失、结构相似度SSIM损失、生成合理特征的感知损失L_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}}、风格损失L_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}、有效像素损失L_{\mathrm{v}}和无效像素损失L_{\mathrm{i}\mathrm{n}\mathrm{v}}.

\begin{array}{l}L(\overline{I},I)={‖\overline{I}-I‖}_{\mathrm{1}}-{\lambda }_{\mathrm{1}}\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}(\overline{I},I)+\\ {\lambda }_{\mathrm{i}\mathrm{n}\mathrm{v}}{L}_{\mathrm{i}\mathrm{n}\mathrm{v}}+{\lambda }_{\mathrm{v}}{L}_{\mathrm{v}}+{\lambda }_{\mathrm{p}}{L}_{\mathrm{p}\mathrm{e}\mathrm{r}\mathrm{c}}+{\lambda }_{\mathrm{s}}{L}_{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}\end{array}（22）

式中：\overline{I}为最终修复结果；I为输入壁画图像；\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}(\overline{I},I)为原始壁画和修复结果之间的结构相似度损失值；{\lambda }_{\mathrm{1}}为结构相似度损失权重；{\lambda }_{\mathrm{i}\mathrm{n}\mathrm{v}}为无效像素损失值权重；{\lambda }_{\mathrm{v}}为有效像素损失值权重；{\lambda }_{\mathrm{p}}感知损失权重；{\lambda }_{\mathrm{s}}为风格损失权重.

2 实验结果与分析

为验证所提方法有效性，下面进行修复对比实验.选取壁画图像构成自制数据集，经过扩展形成 15 000 张数据集.硬件环境为Intel（R） i7-10700K CPU， 32. 0 GB RAM，RTX 2060 SUPER.采用峰值信噪比PSNR和结构相似度SSIM进行客观评价，并与文献［4］、文献［8］、文献［12］以及文献［16］算法进行对比分析.

2.1 人为添加破损实验

对敦煌壁画进行人为添加不规则掩膜对比修 复实验，并对不同修复算法进行比较，如图5所示.其中5（a）为原始壁画，5（b）为人为破损图像，图5（c）～图5（g）为各算法修复结果.图5（c）为文献［4］结合全局一致性与局部连续性的壁画修复结果，从结果可以看出，由于该方法修复时忽略了纹理细节，导致修复结果出现了线条不清晰的问题，如第2幅壁画西魏258窟西壁龛顶飞天局部图中飞天裙带处出现晕染模糊现象.图5（d）为文献［8］采用边缘连接的方法重构结果，该方法通过预测破损区域结构边缘并填色进行双阶段修复，但该方法在修复过程中忽略了像素级信息，导致修复结果中易出现结构轮廓扭曲的问题，存在明显的修复印痕，如第3幅和第4幅佛像面部出现了明显的五官紊乱的问题.图5（e）为文献［12］采用循环特征推理修复的结果，该方法对结构信息有一定的重构效果，但该方法采用普通卷积层进行编解码，无法区分有效像素和破损像素，导致修复结果中出现修复结构紊乱和像素值预测不合理等问题，如第3幅和第4幅佛像脸部特征出现结构线条错位.图5（f）为文献［16］引入自适应控制策略的改进曲率驱动算法的壁画修复结果，该方法为传统像素扩散改进类修复方法，其对细小裂缝及较小的破损壁画有较好的修复效果，如第1幅飞天图中红框中飘带线条的细小破损修复结果流畅，但该传统方法因仅对单幅图像进行特征提取，未经过大量数据集训练学习，因而无法完成大面积破损壁画的修复.图5（g）为本文算法修复结果，因为本文方法采用联合和预测和特征推理的方法，同时兼顾了像素级和语义级的特征，相较于对比算法，本文算法修复结果视觉效果更为合理，达到了边缘结构清晰合理的修复效果.

对于上述修复结果进一步采用PSNR和SSIM进行定量评价，见表1.其中，PSNR代表图像失真程度，SSIM为衡量图像结构相似度的客观指标，其值代表重构图像对原图结构的保持程度，上述2个评价指标值越大表示修复效果越好.从表1中观测得出，本文算法指标量化结果均优于对比算法，表明所提方法的修复质量更好，验证了其有效性.

2.2 真实破损壁画修复

为进一步验证本文算法有效性，进行真实破损壁画修复实验.依次选取四组壁画分别为：榆林25窟·观音菩萨局部图、莫高窟217窟·供养人菩萨局部图、飞天菩萨局部图、纹样局部图.不同方法修复结果如图6所示.对于第1幅壁画佛像耳部存在的破损，文献［4］存在明显的纹理模糊现象，文献［8］和文献［12］算法均能补全，但填充结果存在明显修复印痕，文献［16］改进曲率扩散的方式，因破损区域较大无法完成扩散修复，而本文算法修复结果较好.对于第2幅壁画，文献［4］算法存在纹理块模糊的问题，文献［8］算法未能有效完成发髻的修复，出现了残留，文献［12］算法修复结果同样出现了填充不连续的现象，文献［16］算法修复结果中出现了块效应的问题，而本文算法修复结果中菩萨头部填充完整，取得较好的重构效果.对于第3幅飞天图和第4幅，文献［4］修复后存在像素模糊和较大修复残留的问题，文献［8］能够完成部分修复，但存在结构紊乱现象，文献［12］较上述两种方法修复结果较好，但同样存在马赛克效应问题，而文献［16］传统改进曲率扩散算法因不具备修复大面积破损的能力，而导致存在大量修复残留.本文算法相较于比较方法，修复结果更为合理，取得了更符合视觉一致性的修复效果.

3 结 论

针对现有深度学习方法修复壁画时，未兼顾像素级特征与语义级特征，导致修复结果出现纹理精细度欠缺、结构扭曲等问题，提出了一种联合核预测和特征推理的渐进式壁画修复算法.首先，设计区域渐进模块，实现了对破损古壁画的特征映射和掩膜收缩渐进式修复，避免了壁画整体端到端修复错误混叠的问题.然后，提出双分支特征推理模块，联合核预测像素级修复分支和语义特征推理分支，实现对破损壁画的细粒度修复和语义特征修复，并在不同特征层实现像素核对语义特征图的细化操作，提升了壁画修复的完整性.最后，将各分支渐进修复特征图融合输出完成壁画修复.通过真实破损敦煌壁画修复实验表明，所提算法能够有效地完成修复，取得了更好的视觉效果和较高的定量评价.

参考文献

[1] 付心仪，麻晓娟，孙志军 ．破损壁画的数字化复原研究：以敦煌壁画为例［J］．装饰，2019（1）：21-27．

[2] FU X Y， MA X J， SUN Z J ．Digital restoration of damaged murals：based on Dunhuang murals［J］．Art & Design，，2019（1）：21-27．（in Chinese）

[3] WANG H， LI Q Q， JIA S. A global and local feature weighted method for ancient murals inpainting［J］. International Journal of Machine Learning and Cybernetics，2020，11（6）：1197-1216.

[4] SHUMBHAM K， WASNIK， SHREYA R， et al. Image inpainting using total variation algorithm［J］. International Journal of Innovative Research in Engineering，2022，3（3）：101-105.

[5] 王欢，李利，李庆，等 ．一种结合全局一致性与局部连续性的壁画修复方法［J］．湖南大学学报（自然科学版），2022，49（6）：135-145．

[6] WANG H， LI L， LI Q， et al. A global uniform and local continuity repair method for murals inpainting［J］.Journal of Hunan University （Natural Sciences）， 2022， 49（6）： 135-145．（in Chinese）

[7] YANG T， ZHAO J H ．An improved method of CRIMINISI algorithm［C］//2021 3rd International Conference on Advances in Computer Technology，Information Science and Communication （CTISC）．Shanghai，China： IEEE，2021：367-371．

[8] QIN J， BAI H H， ZHAO Y ．Multi-scale attention network for image inpainting［J］．Computer Vision and Image Understanding，2021，204：103155．

[9] 李月龙，高云，闫家良，等 ．基于深度神经网络的图像缺损修复方法综述［J］．计算机学报，2021，44（11）：2295-2316．

[10] LI Y L， GAO Y， YAN J L，et al ．Image inpainting methods based on deep neural networks：a review［J］．Chinese Journal of Computers，2021，44（11）：2295-2316．（in Chinese）

[11] NAZERI K，NG E， JOSEPH T，et al ．EdgeConnect：structure guided image inpainting using edge prediction［C］//2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）．Seoul，Korea （South）： IEEE，2019：3265-3274．

[12] LI J Y， HE F X， ZHANG L F，et al ．Progressive reconstruction of visual structure for image inpainting［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）．Seoul，Korea （South）： IEEE，2019：5961-5970．

[13] XIONG W， YU J H， LIN Z，et al ．Foreground-aware image inpainting［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Long Beach，CA，USA： IEEE，2019：5833-5841．

[14] GUO Z Y， CHEN Z B， YU T，et al ．Progressive image inpainting with full-resolution residual network［C］//Proceedings of the 27th ACM International Conference on Multimedia．Nice France：ACM， 2019： 85-100.

[15] LI J Y， WANG N， ZHANG L F，et al ．Recurrent feature reasoning for image inpainting［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Seattle，WA，USA： IEEE，2020：7757-7765．

[16] WADHWA G， DHALL A， MURALA S，et al ．Hyperrealistic image inpainting with hypergraphs［C］//2021 IEEE Winter Conference on Applications of Computer Vision （WACV）．Waikoloa， HI， USA： IEEE， 2021：3 911-3920．

[17] GUO Q， LI X G， JUEFEI-XU F，et al ．JPGNet：joint predictive filtering and generative network for image inpainting［C］//Proceedings of the 29th ACM International Conference on Multimedia．October 20 - 24，2021，Virtual Event，China： ACM，2021：386-394．

[18] 刘微容，米彦春，杨帆，等 ．基于多级解码网络的图像修复［J］．电子学报，2022，50（3）：625-636．

[19] LIU W R， MI Y C， YANG F，et al ．Generative image inpainting with multi-stage decoding network［J］．Acta Electronica Sinica，2022，50（3）：625-636．（in Chinese）

[20] 陈永，艾亚鹏，郭红光 ．改进曲率驱动模型的敦煌壁画修复算法［J］．计算机辅助设计与图形学学报，2020，32（5）：787-796．

[21] CHEN Y， AI Y P， GUO H G ．Inpainting algorithm for Dunhuang mural based on improved curvature-driven diffusion model［J］．Journal of Computer-Aided Design & Computer Graphics，2020，32（5）：787-796．（in Chinese）

[22] LIU G L， REDA F A， SHIH K J，et al ．Image inpainting for irregular holes using partial convolutions［C］//European Conference on Computer Vision．Cham：Springer，2018：89-105．

[23] BAKO S， VOGELS T， MCWILLIAMS B，et al ．Kernel-predicting convolutional networks for denoising Monte Carlo renderings［J］．ACM Transactions on Graphics， 2017，36（4）：97-110.

基金资助

国家自然科学基金资助项目（61963023）; 教育部人文社会科学研究青年基金资助项目（19YJC760012）; 兰州交通大学基础研究拔尖人才项目（2022JC36）;兰州交通大学重点研发项目（ZDYF2304）