基于语义先验和纹理增强引导的壁画修复算法

A Mural Restoration Algorithm Based on Semantic Prior and Texture Enhancement Guidance

摘要

针对现有深度学习方法修复壁画过程中，未充分利用完好区域壁画语义和纹理等先验信息引导壁画修复，导致修复结果欠佳的问题，提出了一种基于语义先验和纹理增强引导的壁画修复算法.首先，设计语义先验学习模块，通过像素折叠操作将原始壁画语义特征映射到语义先验学习器，利用原始语义特征引导残缺特征修复，逐渐缩减破损语义特征与原始语义特征的差异.然后，设计纹理增强模块，通过融合上下文信息模块增强纹理细节并将其融合，完成壁画纹理特征修复.最后，设计聚合引导模块，将语义先验修复结果和纹理增强结果进行融合并解码至原始分辨率，并通过与马尔可夫判别器对抗博弈，完成破损壁画的修复.敦煌壁画数字化分类修复实验表明：所提方法在主客观评价上均优于比较算法，取得了更好的修复结果.

Abstract

The existing deep learning methods don’t make full use of the prior information such as semantic and texture information in intact area of mural restoration， which results in poor restoration results， so a mural restoration algorithm based on semantic prior and texture enhancement guidance is proposed. Firstly， a semantic prior learning module is designed， which maps the original mural semantic features to a semantic prior learner through pixel folding operations. The original semantic features are used to guide the repair of incomplete features， gradually reducing the difference between damaged and original semantic features. Then， a texture enhancement module is designed， which enhances texture details by fusing contextual information modules and fusing them to complete the restoration of mural texture features. Finally， an aggregate bootstrap module is designed， which integrates the semantic prior repair and texture enhancement results， decodes them to the original resolution， and completes the repair of damaged murals through adversarial games with Markov discriminators. The digital classification restoration experiment of Dunhuang murals shows that the proposed method outperforms the comparative algorithm in both subjective and objective evaluations， achieving better restoration results.

Graphical abstract

关键词

壁画修复 / 语义先验 / 像素折叠 / 纹理增强 / 聚合引导

Key words

mural restoration / semantic prior / pixel folding / texture enhancement / aggregate bootstrap

敦煌莫高窟壁画是中国佛教艺术的宝藏遗产，其风格独特，绘画技巧精湛，是中华佛教千余年历史文化的重要载体，具有深厚的文化底蕴和考古学价值^［1］.但敦煌莫高窟地处气候干旱的沙漠地区，受恶劣自然环境等不可抗力因素以及人为因素影响，多数古壁画出现了霉变、起甲、裂纹、脱落等严重的病害问题，严重影响观赏和研究价值.利用数字化图像修复技术辅助人工修复能够更好地保护古壁画文化遗产，已经成为研究的热点问题^［2］.

目前，图像修复方法可以分为传统方法和深度学习方法.其中，传统图像修复方法分为基于物理学传播扩散修复方法^［3-4］、基于块匹配搜索填充修复方法^［5］和稀疏表示修复方法^［6］.

其中，基于物理学传播扩散修复方法原理是设置相应能量函数和演化方程，在待修复图像的已知区域与破损区域边界上，依据边缘等照度线、梯度、曲率等衡量像素之间相关性的因子确定像素扩散方向，逐步将已知区域的信息扩散到未知区域以实现破损区域修复.如文献［7］提出的改进曲率驱动模型的敦煌壁画修复算法，通过引入自适应控制策略，解决CDD算法中梯度消失的问题.文献［8］提出了用偏微分方程（partial differential equation， PDE）扩散的方法对壁画图像进行降噪修复，提高了修复精度.但该类方法比较适用于小面积像素缺失修复，对于破损区域较大的情况，修复结果通常存在破损残留的现象，无法彻底扩散至破损区域中心完成修复.

基于块匹配搜索填充修复方法思想是通过在破损区域邻域内依据匹配准则迭代式搜索相似样本块，从其邻域中提取像素值的向量作为补丁，直至达到设置的迭代次数或破损区域填充完成.如文献［9］针对Criminisi算法在对壁画修复时存在结构传播错误和块效应问题，提出了一种基于边缘缺失结构重构和改进优先权的壁画图像修复算法.文献［10］提出了一种改进的块匹配五台山壁画修复算法，通过引入相似度计算，减少块匹配错误的问题，取得了较好的修复效果.但该类方法对于大面积破损补丁块搜索匹配需要较多的计算资源，且无法获取图像整体语义信息，所以修复结果容易引入修复伪影、匹配重复等问题.

稀疏表示修复方法是在过完备字典上计算破损块的稀疏编码，从而将稠密样本转化为模型复杂度较低的稀疏表达形式，借助稀疏编码和过完备字典对受损区域进行重构.如文献［11］提出了一种结合全局一致性与局部连续性的壁画修复方法，分别对壁画全局信息和局部信息进行修复，较好地解决了在壁画修复时出现的纹理错误填充、结构不连续等问题.文献［12］针对稀疏表示在壁画图像修复时，未考虑壁画结构信息与纹理信息的差异性，导致修复结果易出现纹理模糊和结构线条断裂等问题，提出了一种基于多尺度轮廓波分解的群稀疏壁画修复算法，根据壁画图像特征进行分解修复，然后融合，最后取得了较好的修复效果.但该类方法对于待修复区域比较大、色彩浓烈的壁画图像，容易出现结构块效应、纹理模糊等问题.

深度学习类图像修复借助于强大的特征学习能力，通过学习壁画图像语义特征完成修复^［13］.根据修复策略不同可将深度学习类修复模型分为：基于编解码器的修复方法、基于卷积神经网络（convolutional neural network，CNN）的修复方法、基于生成对抗网络（generative adversarial networks，GAN）的修复方法.

其中，基于编解码器的修复方法主要由编码-解码器构成，编码器端负责将原始图像信息压缩变换为潜在空间中涵盖关键特征的表征向量，然后解码器将其作为输入特征，通过逐层解码逼近还原原始图像的信息分布.如文献［14］在编码网络基础上提出一种添加局部判别器的双判别模型，提高模型细节修复能力.文献［15］提出了一种基于多级解码网络的图像修复算法，通过注意力转移匹配机制来提高模型修复性能，但该方法在并联注意力传递匹配信息过程中未实现像素级修复.文献［16］提出一种渐进式解码器和梯度引导模块，结合梯度传递模块和多尺度特征生成联合编码来逐步填充并细化修复区域，但该方法未充分考虑语义先验信息，易出现结构扭曲的问题.文献［17］针对中国古画图像修复后结果图像内容不一致、存在明显人工痕迹、修复区域的细节信息丢失等问题，提出利用绘画图像的多级语义特征渐进式地修复中国古画的算法，分别从宏观、中观、微观角度对壁画进行修复.文献［18］提出了一种基于生成模型的古壁画非规则破损部分修复方法，采用自编码器结构对壁画进行特征提取并通过基于反卷积的解码器完成修复，但该方法未充分考虑壁画的纹理细节信息，导致修复结果存在细节缺失的问题.

卷积神经网络通常利用卷积、池化操作对输入图像进行特征提取、选择和信息过滤，实现图像特征映射，然后利用反馈传播机制持续优化权重，以减小修复结果与原始像素的差异.如文献［19］采用基于超图卷积的双阶段图像修复方法，在判别器中引入门控卷积增强修复结果的局部一致性，但该方法修复结果中存在纹理模糊的问题.文献［20］提出全分辨率残差修复模型，但该方法在颜色空间转换时易造成细节丢失.文献［21］设计周期特征推理模块迭代填充修复，但该模块在特征提取时通过级联标准卷积层进行编解码，缺乏对像素信息的有效预测和控制，易引入无效像素参与修复过程导致棋盘效应与纹理模糊的现象.文献［22］提出一种多级交互的高保真图像修复算法，采用多级交互式孪生滤波器和自适应损失函数在交互过程中实现对缺失部分的重建，但该算法修复结果语义一致性欠佳，存在不明色块、像素晕染的现象.文献［23］针对壁画修复时，未充分考虑破损区域与完好区域信息的一致性，提出了一种联合特征推理和语义增强的渐进式壁画修复算法，较好解决了边界效应和纹理模糊的问题.文献［24］提出一种融合动态特征选择和像素级通道注意力的壁画修复模型，采用有效可迁移卷积模块提升对特征的捕获能力，并设计像素级通道注意力模块增强模型对特征的学习能力，取得了较好的修复效果，但该方法在修复过程中未考虑壁画图像的全局语义信息，导致修复结果存在语义错误的问题.

生成对抗类修复网络是利用生成器和判别器之间的对抗性训练，使生成器具备修复损坏图像能力的网络.如文献［25］提出了双生成对抗网络联合进行结构预测和图像补全的分级修复算法，但其重构过程中易出现局部纹理模糊的问题.文献［26］提出递进重建视觉结构网络，采用单生成器进行线条颜色双阶段修复，但该方法修复结果存在语义偏差的问题.文献［27］提出不完整轮廓拟合引导缺失区域修复的方法，但其修复过程侧重于边缘结构而缺乏语义引导，导致修复结果易出现局部混乱的现象.文献［28］引入两阶段修复模型，先通过粗略预测再进行精修复，但该方法会因缺乏有效信息引导导致修复结果出现结构扭曲的问题.文献［29］提出预测卷积和深度特征生成网络联合修复的方法，通过预测卷积分支细化图像，并结合深度特征生成网络进行破损的内容修复，但该模型仅在输出端优化融合，未考虑内部结构特征细化，导致修复结果提升不明显.文献［30］提出了一种基于边缘生成引导修复的双阶段模型，但该方法未充分考虑语义一致性，结果存在局部模糊的现象.文献［31］提出一种图像纹理结构特征相互约束的图像修复算法，采用条件纹理生成器和条件结构生成器的双重特征生成策略，根据图像上下文和缺失区域的信息生成纹理和结构信息，但该算法修复结果仍存在像素模糊的问题.

综上所述，针对现有深度学习方法修复壁画过程中，未充分利用完好区域壁画语义和纹理等先验信息引导壁画修复，导致修复结果欠佳的问题，提出了一种基于语义先验和纹理增强引导的壁画修复算法.主要工作如下：

1）设计语义先验学习模块，将原始壁画的语义特征和破损壁画特征映射到语义先验学习器，并利用原始语义特征引导残缺特征修复.

2）构建纹理增强模块，提取原始壁画上下文信息并融合，得到增强后纹理特征.

3）设计聚合引导模块，将语义先验修复结果和增强纹理特征进行融合并解码后，通过与马尔可夫判别器对抗博弈，完成破损壁画修复.

1 本文方法

1.1 网络整体架构

敦煌壁画各类别间特征各异、线条结构复杂、纹理丰富^［7］.但现有大多数壁画修复模型通常在修复过程中缺乏纹理像素、语义结构等有效先验信息引导，致使修复结果易出现语义紊乱、纹理伪影等，导致修复效果不佳.因此，本文提出一种基于语义先验和纹理增强引导的壁画修复算法.该网络基于生成对抗模型，其中，生成器主要包括像素折叠模块、语义先验学习模块、纹理增强模块、聚合引导模块四部分，判别器采用谱归一化马尔可夫判别器.所提方法整体网络模型如图1所示.

模型工作时，首先，将待修复壁画输入语义先验学习模块，通过编码器分别提取破损壁画的壁画语义特征，在提取过程中采用像素折叠操作^［32］，将原始像素张量逐层折叠成小尺寸像素张量，保留折叠过程中像素的完整性，从而保证壁画语义特征提取的完整性.其次，调整残缺语义特征和完整语义特征尺寸，以适应语义学习器的输入维度，并在语义先验学习模块中引入先验损失，利用完整特征引导残缺特征进行修复，并将修复后的特征在解码变换过程中逐层展开，完成语义特征修复.然后，采用纹理增强模块设定不同膨胀率提取原始壁画的上下文信息并将其融合，形成壁画增强纹理特征.最后，采用聚合引导模块将语义特征和增强纹理特征进行融合并引入马尔可夫判别器进行对抗训练，最后输出修复后的壁画图像.

1.2 像素折叠

在图1中，为解决现有深度学习修复模型特征提取降维过程中存在细节像素丢失问题，本文在提取过程中引入像素折叠操作，将原始像素张量逐层折叠成尺寸较小的像素张量，折叠过程中减小壁画尺寸的同时保持折叠像素完整性，保留像素级先验知识用于特征修复过程，最大限度地利用不同尺寸的先验知识，以保证完整提取残缺特征和完整语义特征.像素折叠过程由折叠、展开两个操作组成，其中，折叠操作在空间上将像素张量分解为多个局部像素块，并将每个块折叠成尺寸较小但通道数增加的张量.在提取到壁画语义特征后，对折叠后的低维张量进行展开操作，恢复原始通道数的像素块，从而完成初步语义修复.像素折叠和展开过程如图2所示.

图2中像素折叠时，首先获取破损壁画张量的像素坐标(x,y)及其傅里叶特征，每个像素点的傅里叶特征基于像素坐标(x,y)计算得出，并通过可学习的权重矩阵和正弦激活函数进行变换，用于保存空间信息并捕获像素之间的关系，通过结合傅里叶特征和坐标嵌入获得像素张量的初始值，给定像素点(x,y)处的傅里叶特征e_{\mathrm{f}\mathrm{o}}(x,y)，由式（1）可得：

e_{\mathrm{f}\mathrm{o}}(x,y)=\mathrm{s}\mathrm{i}\mathrm{n}[{\mathit{B}}_{\mathrm{f}\mathrm{o}}(x^{\text{'}},y^{\text{'}}{)}^{\mathrm{{\rm T}}}]（1）

式中：x^{\text{'}}=\frac{\mathrm{2}x}{W-\mathrm{1}}-\mathrm{1}，y^{\text{'}}=\frac{\mathrm{2}y}{H-\mathrm{1}}-\mathrm{1}，W、H为张量维度，{\mathit{B}}_{\mathrm{f}\mathrm{o}}\in {\mathbb{R}}^{\mathrm{2}\times d}为投影权重矩阵.坐标嵌入为参数化向量，记为e_{\mathrm{f}\mathrm{o}}(x,y)\in {\mathbb{R}}^d，然后将二者连接起来并投影得到新像素张量，表示为{\mathit{S}}_i\in {\mathbb{R}}^{H\times W\times d},i=\mathrm{1,2}，其中{\mathit{S}}_{\mathrm{1}}为初始化的残缺像素张量，{\mathit{S}}_{\mathrm{2}}为初始化后的完整像素张量.

接着将大尺寸像素张量投影到低维空间中，然后将维度为2×2的局部像素块串联起来，缩小尺寸形成分辨率较小的新张量，特征维度缩小至原始张量的一半，且特征数目增加为初始特征的4倍.通过执行像素折叠操作完成下采样过程且没有丢失原始壁画输入的细节信息，在减小张量分辨率的同时，保持折叠像素块的完整性.将折叠后的特征张量记为{\mathit{S}}_m\in {\mathbb{R}}^{\frac{H}{k}\times \frac{W}{k}\times d}，其中k为折叠尺度.通过从特征维度对输入壁画进行两次像素折叠操作，将高维空间张量折叠为低维空间张量，形成壁画语义结构特征.

1.3 语义先验学习模块

在完成像素折叠操作后，为减小壁画语义修复的误差，本文设计语义先验学习模块，采用多分支编码器分别学习破损壁画的全局上下文语义特征和完好壁画的完整先验特征，同时引入先验损失，在完好壁画的完整语义先验监督下引导破损壁画进行语义结构修复，减小语义重构误差，使生成结果逐步逼近原始壁画特征.语义先验学习过程如图3所示.

图3中，首先对输入破损壁画获取张量内的像素坐标，保存其空间内各像素点的完整信息，形成残缺语义提取编码器E^S的输入I_m和M，通过两次像素折叠操作提取残缺语义特征{\mathit{S}}_m，其维度为\frac{H}{k}\times \frac{W}{k}\times d，并将其作为初步语义先验信息，其提取过程如式（2）所示：

{\mathit{S}}_m=E^S(I_m,M)（2）

同时在另一分支提供原始壁画作为完整语义提取编码器的输入，同样经过两次张量折叠操作将完整壁画语义特征映射为完整语义张量\mathit{S}，其维度与残缺语义特征张量相同.接着采用\mathrm{1}\times \mathrm{1}卷积操作调整残缺语义特征{\mathit{S}}_m和完整语义张量\mathit{S}尺寸，使其满足语义学习器的维度，其公式如式（3）和式（4）所示：

{\mathit{S}}_m^{\text{'}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{1}\times \mathrm{1}}({\mathit{S}}_m)（3）

{\mathit{S}}^{\text{'}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{1}\times \mathrm{1}}(\mathit{S})（4）

为使残缺特征{\mathit{S}}_m^{\text{'}}逼近完整语义张量{\mathit{S}}^{\text{'}}，本文在语义学习器中引入缺失区域约束的先验重建损失函数L_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}({{\mathit{S}}_m}^{\mathrm{\text{'}}},{\mathit{S}}^{\text{'}})作为语义先验的监督，逐步缩减残缺语义特征{\mathit{S}}_m^{\text{'}}的重构误差，得到破损壁画在完整先验语义特征引导下修复的特征F_{\mathrm{r}\mathrm{e}\mathrm{c}}，重构特征F_{\mathrm{r}\mathrm{e}\mathrm{c}}的生成过程如式（5）所示.

F_{\mathrm{r}\mathrm{e}\mathrm{c}}=||({\mathit{S}}^{\text{'}}-{\mathit{S}}_m^{\text{'}})\odot (\mathrm{1}+\alpha M_s)|{|}_{\mathrm{1}}（5）

式中：⊙表示Hadamard乘积算子；\alpha表示缺失掩膜M_{\mathrm{s}}的附加权重参数；M_s为与{\mathit{S}}^{\text{'}}具有相同空间大小的调整掩膜.

最后将语义重构特征F_{\mathrm{r}\mathrm{e}\mathrm{c}}输入至聚合引导模块中，初步完成破损壁画的语义特征修复，等待纹理特征引导并将二者聚合，完成纹理增强修复.

1.4 纹理增强模块

在语义修复基础上，为了减小纹理细节失真程度，本文提出了纹理增强模块（texture enhancement module）来增强纹理特征，如图4所示.纹理增强模块首先通过编码器进行特征提取，然后通过纹理增强模块对壁画有效区域进行多尺度特征密集提取，并将提取到的上下文信息融合形成纹理细节特征，通过利用先验信息指导纹理语义修复结果的合成，引导完成纹理增强修复过程，减小修复过程中的细节误差.

首先将输入壁画特征X_i转换为X_{\mathrm{1}}和X_{\mathrm{2}}两个分量，对于X_{\mathrm{1}}分量将膨胀率设置为1，采用卷积核维度为\mathrm{3}\times \mathrm{3}的标准卷积和\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}激活函数对其进行计算得出其映射输出结果X_{o\mathrm{1}}，其过程可表述为：

X_{o\mathrm{1}}=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(X_i))（6）

然后，将输入部分划分为四个子集作为X_{\mathrm{2}}分量的输入，各子集记为X_j.由于较大膨胀率可使卷积核提取输入壁画图像的较大范围局部区域信息，较小膨胀率的卷积核则集中于感受域较小的局部区域，因此，为全面捕获壁画细节特征，本文对各子集设定不同膨胀率对其进行不同变换，将不同感受野提取到的上下文信息进行串联整合，形成纹理增强特征，然后通过标准卷积进行特征融合以产生输出特征X_{o\mathrm{2}}：

X_{o\mathrm{2}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{4}}}Conv(X_j)\right)（7）

最后，对输出纹理特征分量X_{o\mathrm{1}}和X_{o\mathrm{2}}进行加权求和，得到最终的纹理增强特征F_{\mathrm{t}}.

F_{\mathrm{t}}=X_{o\mathrm{1}}\odot X_{o\mathrm{2}}+X_i\odot (\mathrm{1}-X_{o\mathrm{1}})（8）

1.5 聚合引导模块

得到增强纹理特征后，由于壁画纹理特征F_{\mathrm{t}}和语义结构特征F_{\mathrm{s}}有不同的特征侧重点，如果直接将二者拼接融合易导致壁画生成修复伪影，为有效融合壁画语义特征和纹理增强特征，最大化利用先验纹理特征引导完成细节修复，本文设计聚合引导模块（aggregate bootstrap module，ABM），保证壁画破损区域的修复结果具有更合理的像素分布，该模块由负责融合结构特征和多尺度纹理特征的Spade残差块^［33］级联构成.聚合引导模块示意图和Spade残差块结构细节图如图5所示.

图5中，首先通过纹理增强模块和语义先验学习模块分别获取壁画纹理特征F_{\mathrm{t}}和语义结构F_{\mathrm{s}}特征，然后经过聚合引导模块输出融合后的壁画特征.为自适应融合语义特征和纹理特征，将聚合引导模块设计为平行分支，其中第一分支由两级残差块级联构成，残差块内部结构为Spade模块、ReLU激活函数和卷积核为\mathrm{3}\times \mathrm{3}的卷积层，另一分支则采用一级残差块进行特征融合.其中，Spade模块结构图如图6所示.

图6中，首先对输入的语义结构特征F_{\mathrm{s}}进行卷积操作，设置卷积核为\mathrm{3}\times \mathrm{3}、步长为1、边缘填充参数为1，分别采用两层卷积层依次学习正则化层中的仿射参数—缩放因子\gamma和偏移量\beta，接着通过二维非参数实例归一化对语义结构特征F_{\mathrm{s}}进行归一化，并使用缩放因子和偏移量参数对纹理特征F_{\mathrm{t}}进行仿射变换，计算过程见式（9）和式（10）.

[\gamma ,\beta ]=\mathrm{S}\mathrm{p}\mathrm{a}\mathrm{d}\mathrm{e}[F_{\mathrm{s}}]（9）

F_{\mathrm{t}}^{\mathrm{\text{'}}}=\gamma ·\mathrm{I}\mathrm{N}(F_{\mathrm{t}})+\beta（10）

式中：仿射变换参数\gamma、\beta以及融合后壁画特征F_{\mathrm{t}}^{\mathrm{\text{'}}}均为维度为\frac{H}{\mathrm{4}}\times \frac{W}{\mathrm{4}}的张量；\mathrm{I}\mathrm{N}为非参数实例归一化操作.

最后，将输出特征F_{\mathrm{t}}^{\mathrm{\text{'}}}输入解码器中，将纹理细化后的特征恢复到原始分辨率，得到修复后的壁画图像I_{\mathrm{o}\mathrm{u}\mathrm{t}}.

1.6 谱归一化马尔可夫判别器

判别器网络用于判别输入壁画是否为原始壁画图像，通过二者对抗训练改善修复结果中的伪影现象，以提升完好区域与破损区域的特征一致性.本文采用谱归一化马尔可夫判别器.判别器由4层标准卷积构成，将壁画修复结果和原始壁画作为判别器的输入共同参与卷积过程，过程中特征图空间大小逐层减半，最后输出壁画修复结果图.修复结果可以表示为：

z=I_{\mathrm{g}\mathrm{t}}\odot (\mathrm{1}-m)+G(I_{\mathrm{g}\mathrm{t}}\odot (\mathrm{1}-m),m)\odot m（11）

原始壁画图像记为I_{\mathrm{g}\mathrm{t}}，对应掩膜为m，⊙为像素级点乘，G（）表示判别器操作.

1.7 损失函数

本文使用L_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}先验损失、L_rec重构损失和L_adv对抗损失来引导网络优化，提高壁画修复模型精度，增强壁画修复结果中结构和纹理细节.

其中，L_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}先验损失是指壁画修复结果和原始先验像素间的差异总和.L_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}损失值越小，壁画修复结果和原始图像之间的差异越小，说明修复结果更接近原始壁画，公式如式（12）所示.

L_{\mathrm{p}\mathrm{r}\mathrm{i}\mathrm{o}\mathrm{r}}={‖(I_{\mathrm{g}\mathrm{t}}-I_{\mathrm{o}\mathrm{u}\mathrm{t}})\odot (\mathrm{1}+\alpha M)‖}_{\mathrm{1}}（12）

L_{\mathrm{r}\mathrm{e}\mathrm{c}}重构损失通过计算修复图像和真实壁画特征的Gram矩阵之间的L1距离，衡量修复后壁画图像与原始壁画图像之间的特征差异，其公式如式（13）所示.

L_{\mathrm{r}\mathrm{e}\mathrm{c}}={‖I_{\mathrm{g}\mathrm{t}}-G(x\odot (\mathrm{1}-m),m‖}_{\mathrm{1}}（13）

L_adv对抗损失通过模拟各种噪声使模型在训练过程中生成与真实样本非常相似的“对抗样本”，从而更好地处理未知数据.通过最小化对抗损失，生成更加真实的壁画修复图像，其计算公式如下：

\begin{array}{l}{L}_{\mathrm{a}\mathrm{d}\mathrm{v}}^{}=\mathrm{m}\mathrm{i}{\mathrm{n}}_G\mathrm{m}\mathrm{a}{\mathrm{x}}_D{E}_{I_{\mathrm{g}\mathrm{t}}\sim P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}(I_{\mathrm{g}\mathrm{t}})}}[\mathrm{l}\mathrm{g}D(I_{\mathrm{g}\mathrm{t}})]+\\ E_{I_{\mathrm{o}\mathrm{u}\mathrm{t}}\sim p_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{p}(I_{\mathrm{o}\mathrm{u}\mathrm{t}})}}[\mathrm{l}\mathrm{g}(\mathrm{1}-D(I_{\mathrm{o}\mathrm{u}\mathrm{t}}))]\end{array}（14）

式中：\mathrm{m}\mathrm{i}{\mathrm{n}}_G表示最小化生成器的结果；\mathrm{m}\mathrm{a}{\mathrm{x}}_D表示最大化判别器的结果；P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}(I_{\mathrm{g}\mathrm{t}})}表示真实壁画图像的分布；p_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{p}(I_{\mathrm{o}\mathrm{u}\mathrm{t}})}表示修复壁画图像的分布.

2 实验结果与分析

2.1 实验环境与数据集

为验证所提方法的有效性，下面进行对比实验，对比实验软硬件环境相同.软件环境为Windows10，Python 3.6以及PyTorch 1.1搭建，硬件环境为Intel i7-10700K CPU， 32. 0 GB RAM，NVIDIA GeForce RTX 2060 SUPER.采用评价准则峰值信噪比和结构相似性进行客观评价，并与文献［19］纹理结构约束修复方法、文献［21］循环特征推理修复算法、文献［22］多级交互修复算法和文献［25］边缘引导修复方法进行对比.本文采用自制敦煌壁画数据集进行对比实验，采用数据扩充技术形成15 000张壁画数据集，其中训练数据集9 000张，测试集3 000张，验证集3 000张.

2.2 人为添加随机破损实验

首先进行不规则随机人为破损修复对比实验，如图7所示.其中图7（a）为原始图像，图7（b）为掩膜图像，图7（c）~图7（g）为不同方法修复结果.图7（f）为文献［25］边缘连接修复结果，可以看出该方法对壁画结构有一定的拟合能力，但在修复过程中缺乏语义特征引导，导致修复结果中易出现像素模糊的问题，存在明显的修复印痕.如第1幅佛像菩萨手部、横笛及手腕处均出现块效应及结构缺失；第2幅壁画佛像袈裟处出现像素晕染纹理模糊的问题.图7（d）为文献［21］循环特征推理算法修复结果，该方法具备推理重构破损信息的能力，但其采用普通卷积进行编解码，编码过程中易引入无效像素，导致其结果中存在结构紊乱、棋盘格效应等视觉伪影问题.如第3幅壁画存在预测结构缺失及棋盘格伪影等问题；第4幅有细节纹理生成，但菱形轮廓存在错位的现象；第5幅小面积破损结构预测较符合预期，但欠缺纹理细节信息.

图7（c）为文献［19］纹理结构约束修复结果，该算法对于小面积破损修复效果良好，但对于第4幅佛像脸部较大面积的破损情况存在结构未恢复完全和边缘晕染现象.图7（e）为文献［22］多级交互修复算法修复结果，可以看出该方法在细节处易出现错位偏移、晕染情况，易产生与先验信息违和的不明色块.如第1幅壁画菩萨手部出现黄色印记；第2幅菩萨耳环出现紫色不明色块的问题.图7（g）为本文算法修复结果，相较于对比算法，本文算法修复结果视觉效果相对合理，达到了边缘结构清晰合理的修复效果.如第1幅壁画的线条拟合程度较高，较好地修复了手指轮廓及横笛结构信息，第5幅壁画发髻和飘带线条拟合较为流畅自然，较对比算法修复结果视觉一致性更高.

下面采用客观评价指标峰值信噪比PSNR和结构相似度SSIM对图7壁画修复结果进一步进行客观定量评价，结果见表1.PSNR值和SSIM值均越大越好.从表1得出，本文算法在PSNR和SSIM上整体优于其他对比算法，表明本文方法修复质量更好.

2.3 真实破损壁画修复

为进一步验证本文算法有效性，选取五组真实破损壁画进行修复实验，不同方法修复结果如图8所示.其中，图8（a）为原始图像，图8（b）为掩膜图像，图8（c）~图8（g）分别为对比方法和本文算法的修复结果.对于第1幅壁画“观无量寿经变局部图”中叶子边缘存在的破损，文献［19］修复后印痕明显且修复不彻底，文献［22］破损未妥善修复，而本文算法整体修复结果合理性相对较高.对于第2幅壁画“弥勒经变之盥洗局部图”，文献［25］和文献［21］的脸部线条均出现缺口断裂的现象，本文算法修复结果的佛像脖颈处线条连续性较好.对于第3幅壁画“榆林25窟·弥勒经变之三会说法局部图”，文献［21］循环特征推理算法出现修复印痕及棋盘效应，文献［22］修复结果结构线条未妥善衔接，本文算法修复结果边缘较平整.对于第4幅壁画“榆林25窟·九品行生局部图”，文献［19］和文献［22］方法修复后佛光处及袈裟破损残留较多，本文算法的佛光结构流畅连贯.对于第5幅“藻井局部图”，文献［21］未能完全完成修复，文献［25］修复后存在破损边缘，出现锯齿效应，较对比方法，所提算法色彩一致性和结构连续性更为合理.

为进一步直观观察对比不同算法的修复效果，选取上述实验中人为破损修复结果第1幅佛像图和第3幅纹样图，以及真实破损修复结果第4幅图进行局部放大比较，如图9所示.由第1幅局部放大比较图可以看出，文献［19］和文献［21］算法的修复结果中佛像手部均存在纹理模糊、结构紊乱的现象，文 献［22］算法修复结果的红框中存在明显印痕现象，而本文方法较好地重构了手部结构.对于第2幅壁画放大图像，文献［25］算法的修复结果存在结构紊乱的问题.对于第3幅壁画佛像图像的佛光破损部分，文献［19］和文献［21］方法未能有效拟合破损佛光轮廓，存在不同程度的断裂问题.相较于对比实验，所提方法通过设计的语义先验学习和纹理增强模块，较好地完成了壁画修复，更符合视觉一致性.

2.4 不同壁画修复算法随机破损修复实验

最后，在完成上述基本修复算法实验对比后，为进一步验证所提方法对古壁画修复的有效性，选取文献［11］全局一致性与局部连续性的壁画修复方法、文献［12］多尺度轮廓波分解的群稀疏壁画修复算法和文献［23］联合特征推理和语义增强的渐进 式壁画修复三种同类壁画修复算法进行对比，实验比较结果如图10所示.其中图10（a）为原始图像，图10（b）为掩膜图像，图10（c）~图10（f）为不同方法修复结果.图10（c）为文献［11］全局一致性与局部连续性算法修复结果，从修改结果可以看出，该方法对于较大面积破损壁画修复后存在明显的模糊问题.这是因为该算法采用线描结构图作为引导信息并通过加权结合全局与局部邻域进行修复，但在较大面积破 损壁画区域时，该方法无法有效利用线描结构引导 信息完成修复，易出现明显纹理晕染模糊的问题，如第1幅壁画存在大面积模糊痕迹，结构不清晰且视觉效果较差.图10（d）为文献［12］多尺度轮廓波分解的群稀疏壁画算法修复结果，该算法将破损壁画分为低频与高频子带，分别进行针对性修复，能够有效弱化群稀疏算法的块模糊现象，但对于待修复区域较大、色彩浓烈的壁画图像，容易出现块效应，如第1幅壁画佛像右侧存在结构块效应现象.图10（e）为文献［23］联合特征推理和语义增强的渐进式壁画修复结果，该方法相比于前两种方法，修复结果相对较好，但仍存在修复语义不合理的问题，如第1幅壁画佛像右侧眼睛未能完全恢复，第3幅藻井壁画中穹顶圆形轮廓未能完成重构.这是因为该方法在古壁画修复时，考虑了到破损区域与完好区域信息的一致性，采用部分卷积在特征编码过程中屏蔽无效像素，在特征推理基础上联合语义增强进行语义推理和纹理细节迁移，该算法具备推理重构破损信息的能力，壁画修复效果相关较好，但对于微小细节区域，该方法在渐进推理时采用余弦相似度计算的方法，易出现计算误差，导致修复后结果会出现语义偏差的问题.图10（f）为本文算法修复结果，可以看出，所提方法修复后整体视觉效果相对合理，与原始语义契合误差较小，如第1幅佛像壁画语义恢复程度较高，第2幅飞天菩萨飘带线条流畅，较好地修复结构轮廓.其原因为，本文所提方法利用原始语义特征引导残缺特征修复，并设计纹理增强模块提升纹理细节修复，能够有效完成古壁画破损区域修复.

下面继续采用PSNR和SSIM对图10壁画修复结果进行客观定量评价，结果见表2.从表2得出，本文算法在PSNR和SSIM上略高一些，表明本文方法修复的有效性.

2.5 消融实验

为进一步分析本文算法各模块的有效性，分别选取飞天类、纹样类壁画共2幅进行消融实验，如 图11所示.其中，模型Ⅰ仅增加语义先验模块，模型Ⅱ仅增加纹理增强模块，模型Ⅲ则为本文算法.由图11实验结果可知：模型Ⅰ保留语义先验，通过原始语义监督引导修复，能够基本恢复待修复壁画的语义信息，如第1幅飞天类壁画修复结果，菩萨面部轮廓、项链、祥云结构恢复效果相对较好，修复结果较符合壁画的原始语义特征，但其结果中仍存在细节信息丢失的问题，如菩萨面部右侧出现了红色块、佩戴项链出现了铃铛颜色细节错误的问题（绿色铃铛错误恢复为红色）.模型Ⅱ仅增加纹理增强模块，从修复结果可以看出，修复结果较好保留了壁画的细节信息，如菩萨铃铛较好地完成了细节修复.但对于第2幅纹样类壁画修复结果，模型Ⅰ边框绿色和褐色色块均成功恢复，但色块衔接纹理细节紊乱，而模型Ⅱ未恢复出绿色色块.模型Ⅲ同时加入语义先验模块和纹理增强模块，兼顾语义引导修复和纹理细节修复，修复结果综合性较高，更加符合视觉一致性.

下面继续采用PSNR和SSIM对图11各模型消融实验修复结果进一步进行客观定量评价，结果见表3.从表3数据得出，所提方法将语义先验和纹理增强模块共同结合后修复效果评价指标更优.

3 结 论

针对现有深度学习方法修复壁画过程中，缺少纹理信息与语义先验信息的联合引导，未充分利用完好区域壁画纹理和语义等先验信息引导壁画修复，导致修复结果欠佳的问题，提出一种基于语义先验和纹理增强引导的壁画修复算法.首先，设计语义先验学习模块，通过像素折叠操作和语义先验学习，缩减了残缺特征与原始语义特征的差异.然后，设计纹理增强模块，通过融合上下文信息模块提取纹理细节并将其融合，实现破损区域的纹理增强修复，提升了壁画修复的精细度.最后，设计聚合引导模块，将语义特征和纹理增强后的特征融合并解码至原始分辨率，采用谱归一化马尔可夫判别器进行对抗博弈完成壁画修复.数字化修复实验结果表明，所提方法取得了更好修复效果.

参考文献

[1] 付心仪， 麻晓娟， 孙志军 ．破损壁画的数字化复原研究：以敦煌壁画为例［J］．装饰， 2019（1）： 21-27．

[2] FU X Y， MA X J， SUN Z J. Digital restoration of damaged murals：based on Dunhuang murals［J］. Art & Design， 2019（1）：21-27．（in Chinese）

[3] 付心仪， 李岩， 孙志军， 等 ．敦煌莫高窟烟熏壁画的数字化色彩复原研究［J］．敦煌研究， 2021（1）： 137-147．

[4] FU X Y， LI Y， SUN Z J，et al ．Digital color restoration of soot covered murals in the Mogao Grottoes at Dunhuang［J］. Dunhuang Research， 2021（1）： 137-147．（in Chinese）

[5] SHUMBHAM K W， SHREYA R H， SNEHA S T， et al. Image inpainting using total variation algorithm［J］. International Journal of Innovative Research in Engineering，2022，3（3）：101-105.

[6] LIU H S， CAO S T， LING Y Y，et al ．Inpainting for saturation artifacts in optical coherence tomography using dictionary-based sparse representation［J］．IEEE Photonics Journal，2021，13（2）：3900110．

[7] YANG T， ZHAO J H. An improved method of CRIMINISI algorithm［C］//2021 3rd International Conference on Advances in Computer Technology，Information Science and Communication （CTISC）. Shanghai， China. IEEE，2021：367-371．

[8] WANG H， LI Q Q， JIA S ．A global and local feature weighted method for ancient murals inpainting［J］．International Journal of Machine Learning and Cybernetics，2020，11（6）：1197-1216．

[9] 陈永，艾亚鹏，郭红光 ．改进曲率驱动模型的敦煌壁画修复算法［J］．计算机辅助设计与图形学学报，2020，32（5）：787-796．

[10] CHEN Y， AI Y P， GUO H G ．Inpainting algorithm for Dunhuang mural based on improved curvature-driven diffusion model［J］．Journal of Computer-Aided Design & Computer Graphics，2020，32（5）：787-796．（in Chinese）

[11] 李丽， 高若婉， 梅树立， 等. 基于Shannon-Cosine小波精细积分法的壁画降噪修复方法［J］. 浙江大学学报（理学版）， 2019， 46（3）： 279-287．

[12] LI L， GAO R W， MEI S L，et al ．Mural image de-noising based on Shannon-Cosine wavelet precise integration method［J］．Journal of Zhejiang University （Science Edition），2019， 46（3）：279-287．（in Chinese）

[13] 陈永，陈锦，艾亚鹏，等 ．基于边缘缺失重构和改进优先权的壁画图像修复［J］．激光与光电子学进展，2021，58（24）：2410009．

[14] CHEN Y， CHEN J， AI Y P， et al. Mural image inpainting based on edge missing reconstruction and improved priority［J］. Laser & Optoelectronics Progress， 2021， 58（24）： 2410009．（in Chinese）

[15] 焦莉娟， 王文剑， 李秉婧， 等. 改进的块匹配五台山壁画修复算法［J］．计算机辅助设计与图形学学报，2019，31（1）：118-125．

[16] JIAO L J， WANG W J， LI B J，et al ．Wutai mountain mural inpainting based on improved block matching algorithm［J］．Journal of Computer-Aided Design & Computer Graphics，2019，31（1）： 118-125．（in Chinese）

[17] 王欢，李利，李庆，等 ．一种结合全局一致性与局部连续性的壁画修复方法［J］．湖南大学学报（自然科学版），2022，49（6）：135-145．

[18] WANG H， LI L， LI Q， et al. A global uniform and local continuity repair method for murals inpainting［J］. Journal of Hunan University （Natural Sciences）， 2022， 49（6）： 135-145．（in Chinese）

[19] 陈永，赵梦雪，陶美风 ．多尺度轮廓波分解的群稀疏壁画修复算法［J］．西安电子科技大学学报， 2022， 49（6）：120-128．

[20] CHEN Y， ZHAO M X， TAO M F ．Mural inpainting algorithm for group sparse based on multi-scale contourlet transform decomposition［J］. Journal of Xidian University，2022，49（6）：120-128．（in Chinese）

[21] QIN J， BAI H H， ZHAO Y ．Multi-scale attention network for image inpainting［J］．Computer Vision and Image Understanding，2021，204：103155．

[22] IIZUKA S， SIMO-SERRA E， ISHIKAWA H ．Globally and locally consistent image completion［J］．ACM Transactions on Graphics，2017，36（4）： 1-14．

[23] 刘微容， 米彦春， 杨帆， 等 ．基于多级解码网络的图像修复［J］．电子学报， 2022， 50（3）： 625-636．

[24] LIU W R， MI Y C， YANG F，et al ．Generative image inpainting with multi-stage decoding network［J］. Acta Electronica Sinica，2022，50（3）： 625-636．（in Chinese）

[25] HOU S， DONG X C， YANG C C，et al ．Image inpainting via progressive decoder and gradient guidance［J］．Complex & Intelligent Systems， 2024，10（1）： 289-303．

[26] 赵磊， 林思寰， 林志洁， 等. 中国古画渐进式多级特征修复算法［J］. 计算机辅助设计与图形学学报，2023， 35（7）：1040-1051．

[27] ZHAO L， LIN S H， LIN Z J，et al ．Progressive multilevel feature inpainting algorithm for Chinese ancient paintings［J］．Journal of Computer-Aided Design & Computer Graphics，2023，35（7）：1040-1051．（in Chinese）

[28] 温利龙，徐丹，张熹，等 ．基于生成模型的古壁画非规则破损部分修复方法［J］．图学学报，2019，40（5）：925-931．

[29] WEN L L， XU D， ZHANG X，et al ．The inpainting of irregular damaged areas in ancient murals using generative model［J］．Journal of Graphics，2019，40（5）： 925-931．（in Chinese）

[30] WADHWA G， DHALL A， MURALA S，et al ．Hyperrealistic image inpainting with hypergraphs［C］//2021 IEEE Winter Conference on Applications of Computer Vision （WACV）． Waikoloa，HI，USA． IEEE， 2021： 3911-3920．

[31] GUO Z Y， CHEN Z B， YU T，et al ．Progressive image inpainting with full-resolution residual network［C］//Proceedings of the 27th ACM International Conference on Multimedia. Nice， France． ACM， 2019： 85-100．

[32] LI J Y， WANG N， ZHANG L F，et al ．Recurrent feature reasoning for image inpainting［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA，USA. IEEE， 2020： 7757-7765．

[33] LI X G， GUO Q， LIN D，et al ．MISF：multi-level interactive Siamese filtering for high-fidelity image inpainting［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA，USA. IEEE， 2022： 1859-1868．

[34] 陈永， 赵梦雪， 陶美风. 联合特征推理和语义增强的渐进式壁画修复［J］. 湖南大学学报（自然科学版）， 2023， 50（8）： 1-12．

[35] CHEN Y， ZHAO M X， TAO M F ．Progressive mural inpainting method based on joint feature reasoning and semantic enhancement［J］. Journal of Hunan University （Natural Sciences）， 2023， 50（8）： 1-12．（in Chinese）

[36] 刘仲民， 严梁 ．融合动态特征与注意力的敦煌壁画修复模型［J］．计算机工程， 2024， 50（5）：342-353．

[37] LIU Z M， YAN L. Inpainting model of Dunhuang mural fusing dynamic feature and attention［J］. Computer Engineering， 2024，50（5）： 342-353．（in Chinese）

[38] NAZERI K，NG E， JOSEPH T，et al. EdgeConnect：structure guided image inpainting using edge prediction［C］//2019 IEEE/CVF International Conference on Computer Vision Workshop （ICCVW）. Seoul， Korea （South）. IEEE， 2019： 3265-3274．

[39] LI J Y， HE F X， ZHANG L F，et al ．Progressive reconstruction of visual structure for image inpainting［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）. Seoul，Korea （South）. IEEE， 2019： 5961-5970．

[40] XIONG W， YU J H， LIN Z，et al ．Foreground-aware image inpainting［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach，CA，USA. IEEE，2019：5833-5841．

[41] YU J H， LIN Z， YANG J M，et al. Generative image inpainting with contextual attention［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City，UT，USA. IEEE， 2018： 5505-5514．

[42] GUO Q， LI X G， JUEFEI-XU F， et al. JPGNet：joint predictive filtering and generative network for image inpainting［C］//Proceedings of the 29th ACM International Conference on Multimedia. Virtual Event China. ACM， 2021： 386-394．

[43] 胡凯， 赵健， 刘昱， 等. 结构引导的图像修复［J］．北京航空航天大学学报， 2022， 48（7）： 1269-1277．

[44] HU K， ZHAO J， LIU Y，et al ．Images inpainting via structure guidance［J］．Journal of Beijing University of Aeronautics and Astronautics，2022，48（7）：1269-1277．（in Chinese）

[45] GUO X F， YANG H Y， HUANG D. Image inpainting via conditional texture and structure dual generation［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）． Montreal，QC，Canada． IEEE，2021：14114-14123．

[46] HE J， ZHOU Y Y， ZHANG Q， et al. PixelFolder： an efficient progressive pixel synthesis network for image generation［M］//Computer Vision-ECCV 2022. Cham：Springer Nature Switzer- land， 2022： 643-660．

[47] PARK T， LIU M Y， WANG T C，et al ．Semantic image synthesis with spatially-adaptive normalization［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Long Beach， CA， USA. IEEE， 2019： 2332-2341．

基金资助

教育部人文社会科学研究青年基金资助项目(19YJC760012)

Humanities and Social Sciences YouthFoundation of Ministry of Education(19YJC760012)

兰州交通大学基础研究拔尖人才项目(2023JC36)

Basic Top-notch Personnel Project of Lanzhou Jiaotong University(2023JC36)

兰州交通大学重点研发项目资助(ZDYF2304)

Key Research and Development Project of Lanzhou Jiaotong University(ZDYF2304)