基于风格引导与联合调制的古壁画修复算法

Style-guided and jointly modulated algorithm for ancient mural inpainting

摘要

针对现有深度学习方法修复古壁画过程中，对壁画的风格特征考虑不足，导致修复后的壁画出现风格不一致、伪影以及视觉断层等问题，提出了一种基于风格引导与联合调制的古壁画修复算法.首先，构建基于快速傅里叶卷积残差块的编码器，多尺度提取推理壁画的内容特征.其次，设计风格提取网络，学习并提取壁画的风格特征，并构建内容风格注意力模块，增强了壁画风格特征与内容特征关联性，解决修复后壁画风格不一致的问题.然后，设计双流解码器，构建联合全局空间调制块，利用全局调制实现对壁画语义感知和结构合成的统一，并进行空间调制，以空间自适应的方式调整壁画特征映射完成壁画修复.最后，敦煌壁画修复实验表明，所提方法具有更好的风格一致性，且客观评价指标优于比较算法.

Abstract

To address the limitations of the existing deep learning methods in ancient mural restoration， such as insufficient consideration of stylistic features leading to style inconsistency， artifacts， and visual discontinuities in restored murals， we propose a style-guided and jointly modulated inpainting algorithm for ancient murals. Firstly， an encoder based on fast Fourier convolution residual blocks is constructed to extract multi-scale content features of damaged murals. Secondly， a style extraction network is designed to learn mural style features， coupled with a content-style attention module to establish correlations between stylistic and content features， thereby mitigating style inconsistency. Subsequently， a dual-stream decoder incorporating joint global-spatial modulation blocks is developed： global modulation enables semantic-aware structural synthesis， followed by spatial modulation that adaptively adjusts feature maps in a spatially adaptive manner to generate restored mural images. Finally， experimental validation on authentic Dunhuang murals demonstrates that the proposed method achieves superior style consistency in restored murals and outperforms comparative algorithms across objective evaluation metrics.

Graphical abstract

关键词

壁画修复 / 风格引导 / 联合调制 / 语义感知 / 引导学习

Key words

mural inpainting / style guide / joint modulation / semantic perception / guided learning

古壁画作为古代绘画艺术的重要形式，不仅是艺术的呈现，更是历史、文化和宗教信仰的重要载体.它以独特的艺术表现方式记录了古人的社会生活、思想观念及其精神信仰，是中华文化发展的见证者和记录者，承载着中华民族独特的文化精神.其中，敦煌壁画作为中国古代文明的“中世纪百科全书”，凝聚了数千年的历史文化，是古代丝绸之路的重要遗存.然而，由于外界环境以及人为内在因素的影响，造成壁画出现不同程度的裂缝、脱落等病害，亟待保护^［1］.传统人工修复存在修复结果不可逆的缺陷.而数字化修复可以克服人工修复现存的问题，所以采用数字化修复技术修复壁画图像，已成为当前的研究热点^［2］，也是能够长久留存和保护这些珍宝的重要手段之一.

壁画图像修复是在缺失区域生成逼真视觉内容的任务^［3］.图像修复方法主要分为传统修复方法和深度学习修复方法.其中，传统修复方法主要基于先验信息或样本复制等方式修复^［4］，如采用传播机制将完好区域的信息扩散到缺失区域以实现图像内容补全^［5-6］、利用样本块匹配的方式寻找最佳匹配块进行缺失区域填补^［7-8］与利用图像信息稀疏的特点，通过稀疏组合与信号重构的方式实现图像缺失部分的恢复^［9-10］.但由于该类传统方法未考虑图像的高级语义信息，所以只针对较小区域缺失的修复有效.

基于深度学习的图像修复方法基于图像数据集的特征学习，能够实现对破损图像缺失区域的推理和生成式修复.目前，基于深度学习的方法已经成为壁画修复的主流方法.国内外学者开展了大量的研究工作，根据深度学习网络修复过程及机理，其主要分为：①单阶段修复模型、②多阶段修复模型、③引导性修复模型.

其中，单阶段修复模型通常以编码-解码结构为基础，直接从输入的破损图像学习到完整图像的预测映射，其中编码器用于提取原图的多尺度语义特征，解码器则根据提取的上下文信息逐步恢复缺失区域的内容与纹理细节.如Li等^［11］提出了一种整体的视觉结构重建网络，通过在编-解码器中添加视觉结构重建层来重建图像的破损信息，但是忽略了纹理信息的重要性，导致修复结果纹理模糊.Zhao等^［12］提出了一种共调制的生成对抗网络，该网络使用映射的随机噪声向量来增强编码表示，以获得对大区域破损较好的修复效果，但由于该网络中缺少图像的语义约束，导致修复结果中存在全局语义不一致的现象.Yildirim等^［13］利用生成对抗网络的反演技术将图像与随机采样的潜在编码结合，实现对图像修复的多样性，但该方法未考虑待修复图像的细节信息，导致修复后结果存在细节缺失的问题.Huang等^［14］提出了一种基于稀疏自注意力机制的Transformer模型，设计局部-全局稀疏注意力模块，捕捉图像的长程依赖关系，并结合多尺度卷积细化局部结构，但由于该方法对于结构细节考虑不足，导致在修复具有复杂纹理结构的破损时，存在结构断裂和细节丢失的问题.Schmidt等^［15］提出了一种壁画盲修复算法，设计自适应重采样和实例归一化网络修复壁画图像的结构和细节，较好解决了修复后壁画伪影问题.Li等^［16］提出了一种基于注意力机制的渐进式的壁画修复模型，通过逐步推理壁画中心像素值，生成视觉上合理且语义一致的壁画图像.张勉等^［17］提出了一种基于空谱增强变换的生成对抗网络，提升了壁画修复过程中光谱特征建模能力，取得了较好的修复效果.但该方法对壁画的风格特征考虑不足，导致修复后结果存在风格不一致的问题.赵磊等^［18］提出了一种渐进式多级特征古画修复算法，构建卷积层捕获不同尺度壁画特征，并利用解码网络还原特征并修复，但该方法在特征提取过程采用普通卷积层堆叠的方式，其特征提取能力有限，导致修复后纹理细节模糊.上述方法通常依赖编码器对上下文特征的建模能力，并在解码过程中完成结构补全与纹理生成，由于缺乏显式的粗细阶段分解与高层次语义约束，面对大面积缺损或结构复杂的区域时，易出现语义错误、纹理模糊等问题.

多阶段修复模型一般将修复过程分为两个步骤.通常第一阶段先对受损图像的缺失区域进行初步的结构或语义估计，第二阶段再根据第一阶段得到的估计信息，对缺失区域进行更精细的纹理和细节填充，生成最终的修复图像.如Nazeri等^［19］提出了基于两阶段的边缘修复模型EdgeConnet，先修复破损的边缘图像，再对图像进行补全，该算法的内容补全依赖前面修复好的边缘图像，会产生误差累积的问题，且两个阶段孤立训练，忽略了图像的上下文信息的连贯性.Yu等^［20］使用双阶段网络对图像进行修复，第一阶段生成粗糙的修复图，第二阶段再进行纹理增强，然而第二阶段过度依赖第一阶段的修复结果，存在误差累积的问题.Wadhwa等^［21］也是使用两阶段的从粗到精的网络架构，在空间特征中引入超图卷积，但是该方法缺少对图像语义信息的约束，导致修复结果存在局部语义不一致，结构扭曲的问题.Zheng等^［22］提出了一种桥接全局上下文交互的方法进行图像修复，先生成粗略修复图像，然后细化第一阶段修复图，由于其将可见区域和生成区域分开建模，忽略了图像的全局语义约束，导致修复结果存在全局结构不一致的问题.Li等^［23］提出了一种多级交互联合调制的滤波修复方法，联合像素级特征与语义级特征进行联合调制过滤，有效修复破损图像.赵磊等^［24］提出了基于多路编码器和双重注意力的古壁画修复算法，设计多路编码器来学习古壁画不同尺度的语义特征，并通过解码器完成修复.陈永等^［25］提出了一种基于双向自回归Transformer与快速傅里叶卷积增强的壁画修复算法，通过改进的多头注意力全局语义壁画修复模块，有效提高对全局语义特征的修复能力，但该方法未考虑壁画的风格特征，修复后的壁画存在一定程度的伪影问题.王真言等^［26］先利用Transformer模块修复壁画图像的整体结构，并设计解码网络恢复图像缺失区域的纹理细节特征，但该方法修复过程中仅利用图像自身信息进行修复，缺乏外部特征引导，导致结果易出现边界效应.上述多阶段图像修复方法通过将修复任务划分为结构推理与纹理细化两个子任务，在大面积缺损区域中表现出更强的语义建模与纹理重建能力，然而此类方法对第一阶段输出结果的依赖性较强，若初始结构估计不准确，将直接影响后续纹理生成的有效性与合理性，甚至引入累积误差，造成语义偏差或伪影干扰.

引导性修复模型一般引入风格信息、结构特征、语义特征或其他模态作为引导信息，以提供更丰富的先验约束，辅助模型在缺失区域内生成语义一致且风格匹配的图像内容.如Zhu等^［27］提出一种多尺度梯度注意引导和自适应风格融合的图像修复方法，利用已知区域的信息为缺失区域提供风格和结构指导，增强结构连贯性与风格一致性，但该方法在修复过程中全局语义与局部修复协同不足，导致对不规则或大范围缺失区域修复时，修复结果仍存在局部细节模糊、边缘伪影问题.Wu等^［28］提出通过局部二值模式特征引导修复网络进行修复，由于局部二值网络可以较好地学习到图像的边缘轮廓，所以该方法取得了较好的边缘细节修复效果.Wang等^［29］提出了一种基于样式引导的双分支修复网络，通过双分支结构学习图像的艺术风格，并引导图像修复，但该方法忽略了图像的全局一致性，导致修复结果存在全局内容不连贯的问题.Deng等^［30］提出了一种基于结构信息引导的双分支古壁画修复模型，使用快速傅里叶卷积残差块重建壁画的缺失结构，然后利用重建的结构引导壁画缺失内容的修复，并提出级联注意力模块，缓解了修复后壁画纹理模糊和颜色偏差的问题.Guo等^［31］提出一种纹理和结构联合的修复方法，但由于对图像的全局语义考虑不足，导致修复结果存在全局信息不一致的问题.上述方法基于引导性的修复方法，通过外部特征的引入指导修复，虽具有较强的结构还原能力，但其引导过程中缺乏有效的特征对齐与一致性控制过程，导致修复后结果易出现语义不一致的现象.

综上所述，目前的壁画修复方法在修复古壁画过程中，仍存在对壁画的风格特征考虑不足，导致修复后的壁画出现风格不一致、伪影以及视觉断层等问题.因此，本文提出一种基于风格引导与联合调制的古壁画修复算法.主要工作包括：1）构建基于快速傅里叶卷积残差块的编码器，多尺度提取并推理壁画的内容特征.2）设计风格特征提取网络，提取并学习壁画的风格特征，构建风格注意力模块，增强壁画风格内容与内容特征的关联性，解决修复后壁画风格不一致的问题.3）设计双流解码器，构建联合全局与空间调制块，将全局编码调制与空间编码调制级联，促进壁画特征的处理，同时更好地将全局上下文注入到空间区域，生成修复后的壁画.4）最后，通过真实敦煌壁画修复实验，所提方法取得了较好的修复效果.

1 本文算法

1.1 整体网络框架

本文提出的基于风格引导与联合调制的古壁画修复算法，主要以壁画的风格特征作为引导，整体网络架构图由多尺度风格提取网络、内容编码网络与双流解码网络组成，如图1所示.首先，将破损壁画分别输入到多尺度风格提取网络和内容编码网络，分别提取壁画图像的风格特征和内容特征，然后输入到内容风格注意力模块，建立风格特征与内容特征的关联性.然后在风格特征的引导下，使用双流解码器对壁画的内容特征进行解码，为确保修复后壁画全局与空间尺度上生成的一致性，设计联合全局空间调制结构对壁画进行解码修复，全局调制块利用全局代码对低分辨率特征进行上采样，而空间调制块则进一步注入细粒度的视觉细节，最后，得到修复后的壁画.

1.2 多尺度风格提取网络

壁画不同于其他的绘画艺术作品，在破损壁画修复过程中，要保持壁画原生风格特征的完整性，避免文物风格被主观篡改，避免引入外部风格导致修复后的壁画不协调，所以本文采用内部风格引导策略，从待修复壁画自身的完好区域提取风格特征，确保修复区域与原壁画风格的一致性.因此本文设计风格提取编码器对壁画的风格进行提取.

风格提取编码器用于提取破损壁画的风格特征.壁画的风格特征属于全局特征，是对内容特征的渲染方式，且同一幅壁画任意位置的风格特征是相同的，即从破损壁画完好区域的任意位置提取的风格特征都可以对修复后的壁画进行风格渲染.本文设计的风格特征编码器获得壁画图像的多尺度风格特征，其结构如图2所示.首先将破损壁画输入到编码器中提取壁画的多层风格特征[f_m^{\mathrm{1}},f_m^{\mathrm{2}},f_m^{\mathrm{3}},f_m^{\mathrm{4}}]，然后对多尺度特征进行聚合，通过多尺度融合模块获得壁画多尺度风格特征{\mathit{F}}_{\mathrm{s}}.

利用多尺度融合模块对风格特征进行聚合，其结构图如图3所示.多尺度融合模块主要由2倍上采样和残差卷积层组成，目的是保持不同层风格特征大小的一致性.

多尺度特征融合采用上采样及加和操作将图像中不同尺度的特征进行融合.以特征图f_m^{\mathrm{4}}与f_m^{\mathrm{3}}融合为例，首先对f_m^{\mathrm{4}}和f_m^{\mathrm{3}}进行1×1卷积得到{\widehat{f}}_m^{\mathrm{4}}和{\widehat{f}}_m^{\mathrm{3}}，然后对{\widehat{f}}_m^{\mathrm{4}}进行2倍上采样，然后与{\widehat{f}}_m^{\mathrm{3}}进行加和融合，最后通过残差卷积层，得到融合后的特征与后续特征进行后续融合.最终得到融合后的特征{\mathit{F}}_{\mathrm{s}}.

1.3 内容编码网络

图1中，内容编码网络主要是提取破损壁画的内容特征并进行推理，由部分卷积和快速傅里叶卷积残差块组成.传统的空间卷积通常受限于局部卷积感受野的缺陷，而快速傅里叶卷积通过在频域中对壁画图像的特征进行建模，可以克服传统空间卷积的缺陷^［32］.对于风格复杂、结构重复的古壁画图像，利用快速傅里叶卷积在频域中进行卷积操作相当于对壁画图像的频谱进行调制，这使得网络可以在全局范围内捕捉纹理分布与风格模式，有效增强上下文建模能力.与仅在空间域中操作的普通卷积相比，频域卷积具有更大的感受野和更强的跨区域特征交互能力^［33］.此外，频域卷积支持对壁画图像特征的频率选择性增强与抑制，从而提升修复区域的风格一致性与细节表达能力.

内容编码网络结构如图4所示，首先使用卷积块对破损壁画进行下采样，得到破损壁画的图像特征，然后使用快速傅里叶卷积残差块进行处理.快速傅里叶卷积由两个平行的分支构成，局部分支使用常规卷积负责提取局部特征信息，全局分支使用频域卷积和常规卷积来考虑全局上下文信息，提升细节特征的捕获能力.

快速傅里叶卷积网络将经过下采样得到的壁画特征图按照通道分为全局特征与局部特征两部分，对于全局特征，采用频谱转换将全局特征转换至频域，利用频域特性联系全局纹理特征，获取壁画图像中不同尺度的纹理细节特征，并使用频域卷积对全局特征进行推理，然后使用快速傅里叶变换（FFT）将频域推理结果转换到空间域，将其结果与局部分支中普通卷积结果融合输出.对于局部特征，使用3×3卷积后与全局分支卷积后特征进行逐元素相加，并通过批量归一化层激活后输出.最终将全局和局部分支融合，得到融合后的特征.

快速傅里叶变换中频域卷积如图5所示，特征图利用快速傅里叶变换转换至频域，在频域中使用同样的卷积、归一化和激活函数等操作后，采用快速傅里叶逆变换将频域图变换至空间域以恢复壁画空间结构，以确保图像在频域进行卷积处理后再通过傅里叶逆变换转换至空间域.

快速傅里叶卷积对于壁画图像进行频域卷积处理过程步骤为：首先，对输入的全局分支的特征图X\in {\mathbb{R}}^{H\times W\times C}应用二维实数快速傅里叶变换（2D Real FFT），变换公式为

\mathrm{ℱ}(u,v)={\displaystyle \sum _{x=\mathrm{0}}^{W-\mathrm{1}}}{\displaystyle \sum _{y=\mathrm{0}}^{H-\mathrm{1}}}X(y,x){\mathrm{e}}^{-\mathrm{2}\mathrm{\pi }i(ux/W+vy/H)}（1）

式中：u和v分别为水平和垂直频率索引，u\in [\mathrm{0},⌊W/\mathrm{2}⌋],v\in [\mathrm{0},H-\mathrm{1}]；{\mathrm{e}}^{-\mathrm{2}\mathrm{\pi }i(uxi/W+vy/H)}是傅里叶基函数.即输出过程可以表示为

{\mathbb{R}}^{H\times W\times C} \to {\mathbb{C}}^{H\times \frac{W}{\mathrm{2}}\times C}（2）

然后，将复数频谱分解为实部和虚部，并在通道维度上进行拼接，即将复数张量转换为实数张量，其数学表示为

\left\{\begin{array}{l}{Y}_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}=\mathrm{ℛ}(\mathrm{ℱ})\\ Y_{\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{g}}=\mathit{𝒮}(\mathrm{ℱ})\\ Y=[Y_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}||Y_{\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{g}}]\end{array}\right.（3）

式中：\mathrm{ℛ}(\cdot )和\mathit{𝒮}(\cdot )分别表示取复数的实部和虚部；Y_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}和Y_{\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{g}}分别表示全局特征频谱的实部和虚部；||表示按通道维度进行拼接.

即输出过程可以表示为

{\mathbb{C}}^{H\times \frac{W}{\mathrm{2}}\times C} \to {\mathbb{R}}^{H\times \frac{W}{\mathrm{2}}\times \mathrm{2}C}（4）

接着，在频域表示上应用卷积，包括1×1卷积、批归一化和ReLU激活函数，其数学表示为

Z=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(\mathrm{B}\mathrm{N}(\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{1}\times \mathrm{1}(Y)))（5）

其中，Z\in {\mathbb{R}}^{H\times \frac{W}{\mathrm{2}}\times \mathrm{2}C}.则输出过程可以表示为

{\mathbb{R}}^{H\times \frac{W}{\mathrm{2}}\times \mathrm{2}C}\to {\mathbb{R}}^{H\times \frac{W}{\mathrm{2}}\times \mathrm{2}C}（6）

最后，应用逆实数快速傅里叶变换恢复空间结构，其数学表示为

\tilde{X}(y,x)=\frac{\mathrm{1}}{HW}\mathrm{ℛ}({\displaystyle \sum _{u=\mathrm{0}}^{W-\mathrm{1}}}{\displaystyle \sum _{v=\mathrm{0}}^{H-\mathrm{1}}}\widehat{\mathrm{ℱ}} (u,v){\mathrm{e}}^{-\mathrm{2}\mathrm{\pi }i(ux/W+vy/H)})（7）

其中，\widehat{\mathrm{ℱ}} =Z_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}+\mathrm{i}\cdot Z_{\mathrm{i}\mathrm{m}\mathrm{a}\mathrm{g}}为重建的复数频域表示.经过逆变换处理后的频域特征恢复为空间域表示，\tilde{X}\in {\mathbb{R}}^{H\times W\times C}，则输出过程表示为：

{\mathbb{R}}^{H\times W\times \mathrm{2}C}\to {\mathbb{C}}^{H\times \frac{W}{\mathrm{2}}\times C}\to {\mathbb{R}}^{H\times W\times C}（8）

1.4 内容风格注意力模块

为了使风格特征更好地引导图像修复，设计内容风格注意力模块细化壁画图像的风格特征，如图6所示.首先将风格特征{\mathit{F}}_{\mathrm{s}}和壁画特征{\mathit{F}}_{\mathrm{c}}输入到内容风格注意力模块，用归一化层和两个1×1的卷积进行处理，得到g({\mathit{F}}_{\mathrm{s}})和h({\overline{\mathit{F}}}_{\mathrm{c}}).然后，计算g({\overline{\mathit{F}}}_{\mathrm{s}})和h({\overline{\mathit{F}}}_{\mathrm{c}})之间的相关性权重，并与内容特征进行卷积操作得到注意力特征A，其计算公式为

A=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(g({\overline{\mathit{F}}}_{\mathrm{s}})\otimes h({\overline{\mathit{F}}}_{\mathrm{c}}))\otimes w({\mathit{F}}_{\mathrm{c}})（9）

式中： g(\cdot )、h(\cdot )和w(\cdot )为1×1的卷积操作；\otimes为矩阵乘法运算.

为了增强修复结果的风格特征，对风格特征进行空间注意力计算.然后，将注意力特征与风格的空间注意力特征进行连接，然后输入到残差块中，生成特征{\widehat{\mathit{F}}}_{\mathrm{c}}，计算公式如下：

{\widehat{\mathit{F}}}_{\mathrm{c}}=\gamma (f_{\mathrm{c}}(\kappa (F_{\mathrm{s}}),A))（10）

式中：\gamma (\cdot )表示残差操作；f_{\mathrm{c}}表示连接操作；\kappa为空间注意力模型.

图7为空间注意力图.首先，将风格特征{\mathit{F}}_{\mathrm{s}}输入到1×1的卷积中得到特征{\mathit{F}}_{\mathrm{s}}^q和{\mathit{F}}_{\mathrm{s}}^v.其次，对{\mathit{F}}_{\mathrm{s}}^q进行最大池化和Softmax操作，然后将输出特征和{\mathit{F}}_{\mathrm{s}}^v进行点积运算，之后，利用Sigmoid函数生成注意力图{\mathit{A}}_{\mathrm{s}}，计算公式为

{\mathit{A}}_{\mathrm{s}}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{p}\mathrm{o}\mathrm{o}\mathrm{l}({\mathit{F}}_{\mathrm{s}}^q))\otimes {\mathit{F}}_{\mathrm{s}}^v（11）

最后，将注意力图{\mathit{A}}_{\mathrm{s}}与风格特征{\mathit{F}}_{\mathrm{s}}进行哈达玛积乘法计算，并输入到1×1卷积中，输出空间注意力特征图\kappa ({\mathit{F}}_{\mathrm{s}})，计算公式为

\kappa ({\mathit{F}}_{\mathrm{s}})=\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}({\mathit{F}}_{\mathrm{s}}\odot \mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}({\mathit{A}}_{\mathrm{s}}))（12）

1.5 联合调制解码网络

解码修复阶段设计双流解码器，在风格特征的引导下，分别对全局与空间信息进行解码，每个尺度之间设计联合全局与空间级联调制块，进行联合学习.在每个解码器块中，首先应用全局调制进行壁画的粗语义感知结构合成，然后进行空间调制，细化壁画图像的纹理细节，促进修复后壁画内容与纹理细节的一致性.

在解码器的每一层，由并行的全局调制块和空间调制块组成，它们通过空间调制连接在一起，对壁画的全局信息与空间信息进行上下文建模.这种并行块将全局特征{\mathit{F}}_{\mathrm{g}}和空间特征{\mathit{F}}_{\mathrm{b}}作为输入，输出{\mathit{F}}_{\mathrm{g}}^{\mathrm{o}\mathrm{u}\mathrm{t}}和{\mathit{F}}_{\mathrm{b}}^{\mathrm{o}\mathrm{u}\mathrm{t}}.具体操作为，全局调制快通过上采样层和卷积层生成中间特征X和全局输出{\mathit{F}}_{\mathrm{g}}^{\mathrm{o}\mathrm{u}\mathrm{t}}.这两个特征都由风格特征{\mathit{F}}_{\mathrm{s}}调制，以捕获全局上下文.

全局解码用于捕获全局上下文信息，但在壁画修复时，{\mathit{F}}_{\mathrm{s}}可能包含噪声和无效特征，导致修复后壁画出现上下文不一致、伪影等问题，所以将全局调制与空间调制进行级联，以纠正无效特征，同时进一步修复壁画图像的空间细节.将风格特征和空间特征输入到空间调制块，通过上采样层生成特征 Y，然后 Y 按照调制卷积解调原理以空间自适应方式进行联合调制.

全局空间特征调制具体过程为：首先将全局特征{\mathit{F}}_{\mathrm{g}}输入到全局调制块，然后经初始上采样层生成中间特征全局调制特征 X，之后将调制特征X输入到一个2层卷积仿射参数网络（affine parameter network，APN）中，得到空间张量{\mathit{A}}_{\mathrm{0}}：

{\mathit{A}}_{\mathrm{0}}=\mathrm{A}\mathrm{P}\mathrm{N}(\mathit{X})（13）

其中，\mathrm{A}\mathrm{P}\mathrm{N}(\cdot )表示仿射参数网络操作.然后，从风格特征中获取风格特征向量\mathit{\alpha }，以合并全局上下文特征和风格特征：

\mathit{\alpha }=\mathrm{f}\mathrm{c}({\mathit{F}}_{\mathrm{s}})（14）

式中：{\mathit{F}}_{\mathrm{s}}为风格提取特征；\mathrm{f}\mathrm{c}(\cdot )为全连接操作.最后，将空间张量与分各个特征向量进行融合得到融合特征向量\mathit{A}：

\mathit{A}={\mathit{A}}_{\mathrm{0}}+\mathit{\alpha }（15）

而后与特征Y进行哈达玛积运算：

\overline{\mathit{Y}}=\mathit{Y}\odot \mathit{A}（16）

式中：\overline{\mathit{Y}}表示空间调制特征；\odot表示哈达玛积运算.然后，将空间调制特征和学习核K进行3×3卷积运算，得到\widehat{\mathit{Y}}：

\widehat{\mathit{Y}}=\overline{\mathit{Y}}\times K（17）

接下来进行空间感知解调，由于批量归一化操作可能会使修复后壁画存在伪影问题^［34］，所以设计空间感知解调产生归一化输出\tilde{\mathit{Y}}.假设输入特征\mathit{Y}是独立随机变量，即{\mathbb{E}}_{y\in \overline{Y}}[\mathrm{V}\mathrm{a}\mathrm{r}(y)]=\mathrm{1}，则解调运算为

\tilde{\mathit{Y}}=\widehat{\mathit{Y}}\odot D（18）

其中，D=\frac{\mathrm{1}}{\sqrt[]{K^{\mathrm{2}}\odot {\mathbb{E}}_{\alpha \in A}[a^{\mathrm{2}}]}}为解调系数.为了进一步增加来自特征 X 的空间变化，将归一化后的特征\tilde{Y}与空间张量{\mathit{A}}_{\mathrm{0}}进行融合，得到空间调制特征F_{\mathrm{b}}^{\mathrm{o}\mathrm{u}\mathrm{t}}：

{\mathit{F}}_{\mathrm{b}}^{\mathrm{o}\mathrm{u}\mathrm{t}}=\tilde{\mathit{Y}}+{\mathit{A}}_{\mathrm{0}}（19）

最后，对生成特征进行融合得到修复后的壁画图像I_{\mathrm{g}\mathrm{e}\mathrm{n}}.

为了进一步验证所提出联合调制模块在训练过程中的收敛性，本文从结构设计合理性方面进行了分析.在结构上，联合调制块采用并行的全局与空间调制结构，均由可学习的仿射参数网络（APN）生成调制系数，保证了整个模块的可微性与梯度传递的稳定性.同时，为避免批量归一化在小批量训练中引入分布漂移问题，空间感知解调过程中去除了BN操作，减小了由归一化引发的伪影风险，提高了模型训练的稳定性.

1.6 损失函数

本文采用联合损失对总体模型进行训练，包括重建损失、感知损失、风格损失和总变分损失以生成风格一致、内容完整的壁画图像.

为了约束壁画的修复质量，采用L1重建损失进行约束.重建损失用于计算修复后壁画与真实壁画之间的像素差异，以确保网络在训练过程中不断减少修复后壁画与真实壁画之间的差异，从而提高修复图像的质量.其表达式为

L_{\mathrm{r}\mathrm{e}\mathrm{c}}=||I_{\mathrm{g}\mathrm{e}\mathrm{n}}-I_{\mathrm{g}\mathrm{t}}|{|}_{\mathrm{1}}（20）

式中：I_{\mathrm{g}\mathrm{e}\mathrm{n}}为修复后的壁画图像；I_{\mathrm{g}\mathrm{t}}为真实壁画图像.

感知损失有助于更好地捕捉修复后壁画图像的高级语义特征，所以采用感知损失从修复后的壁画与真实壁画中提取语义特征，保证图像语义的正确性.其公式表示为

L_{\mathrm{p}}=\frac{\mathrm{1}}{C_i{H}_i{W}_i}||{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}(I_{\mathrm{g}\mathrm{e}\mathrm{n}})-{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}(I_{\mathrm{g}\mathrm{t}})|{|}_{\mathrm{2}}^{\mathrm{2}}（21）

式中：C_i,H_i,W_i分别为第i个特征图的通道数、高度和宽度.

在此基础上，进一步引入风格损失，我们将来自第i个池化层的真实的壁画图像I_{\mathrm{g}\mathrm{t}}的特征图与修复后的壁画图像I_{\mathrm{g}\mathrm{e}\mathrm{n}}的特征图进行比较，使其能够学习整体壁画风格特征，计算如下：

{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}^{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}={\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}^{\mathrm{T}}（22）

L_{\mathrm{s}}={\displaystyle \sum _{i=\mathrm{1}}^N}\frac{\mathrm{1}}{C_i\times C_i}||\frac{\mathrm{1}}{C_i{W}_i{H}_i}\left[{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}^{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}(I_{\mathrm{g}\mathrm{t}})-{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}^{\mathrm{s}\mathrm{t}\mathrm{y}\mathrm{l}\mathrm{e}}(I_{\mathrm{g}\mathrm{e}\mathrm{n}})\right]|{|}_{\mathrm{1}}（23）

式中：pool表示VGG-16网络中的池化操作；{\varphi }_{\mathrm{p}\mathrm{o}\mathrm{o}{\mathrm{l}}_i}(\cdot )为VGG-16网络中第i个池化层的特征映射.

为了降低训练过程中噪声对修复结果的影响，采用总变分损失L_{\mathrm{t}\mathrm{v}}对修复结果进行约束，表示为

L_{\mathrm{t}\mathrm{v}}=\left[(I_{m,n+\mathrm{1}}-I_{m,n}{)}^{\mathrm{2}}+(I_{m+\mathrm{1},n}-I_{m,n}{)}^{\mathrm{2}}\right]（24）

式中：m,n为修复后壁画I_{\mathrm{o}\mathrm{u}\mathrm{t}}中的像素坐标.

因此，总损失可以表示为

L={\lambda }_{\mathrm{r}\mathrm{e}\mathrm{c}}{L}_{\mathrm{r}\mathrm{e}\mathrm{c}}+{\lambda }_{\mathrm{p}}{L}_{\mathrm{p}}+{\lambda }_{\mathrm{s}}{L}_{\mathrm{s}}+{\lambda }_{\mathrm{t}\mathrm{v}}{L}_{\mathrm{t}\mathrm{v}}（25）

式中：{\lambda }_{\mathrm{r}\mathrm{e}\mathrm{c}}、{\lambda }_{\mathrm{p}}、{\lambda }_{\mathrm{s}}、{\lambda }_{\mathrm{t}\mathrm{v}}分别为重建损失、感知损失、风格损失和总变分损失的对应权重.

2 实验结果与分析

本文以敦煌壁画数据集主要来源，通过图像增强等方式，获得21 000张壁画数据进行实验.采用人为添加破损和真实破损壁画与文献［28］、文献［18］、文献［14］、文献［27］和文献［25］进行实验对比分析.

本文所有实验均在相同的配置环境下进行，硬件环境为Intel（R） Core i7-10700K，32.0 GB RAM，NVIDIA GeForce RTX 2060 SUPER.

2.1 随机破损壁画修复

首先进行随机掩膜修复实验，结果如图9所示.图9（b）为掩膜图，图9（c）为文献［28］利用二值图引导的壁画修复算法，由于壁画属于绘画艺术作品，具有复杂的纹理结构，但该方法存在明显的结构提取不足，并且该方法缺乏对壁画风格的考虑，导致修复后的壁画存在内容模糊和视觉断层的问题.如第一幅图和第五幅存在内容模糊的问题，第二幅存在结构断裂的问题，第四幅图和第七幅图存在视觉断层的问题.图9（d）为文献［18］渐进式多级特征修复算法结果，第一幅图存在结构紊乱的现象，第八幅出现填充修复不彻底的问题，其原因是该方法通过堆叠多层普通卷积构成特征提取网络与解码网络，但是普通卷积对于全局特征提取能力较弱，易导致修复结果出现块效应现象.图9（e）为文献［14］自适应风格融合算法的修复结果，由于该方法在壁画修复过程中全局语义与局部修复协同不足，导致修复结果存在边缘伪影和局部细节模糊问题，如第一幅、第三幅、第七幅和第八幅图像均存在不同程度的边缘伪影问题，第六幅存在局部细节模糊的问题.图9（f）为文献［27］基于稀疏自注意力的图像修复方法，但该方法在修复过程中对壁画的风格语义和细节信息考虑不足，导致修复结果存在修复不完整和细节缺失的问题，如第二幅图和第三幅图存在修复不完整的问题，第五幅和第六幅图像存在细节缺失的问题.图9（g）为文献［25］基于双向自回归Transformer与快速傅里叶卷积增强的壁画修复算法，但该方法在修复过程中对壁画的风格特征考虑不足，导致修复结果存在伪影的问题，如第一幅图、第二幅图和第五幅图存在修复伪影的问题.图9（h）为本文算法，不仅考虑到了壁画图像属于绘画艺术品，具有独特的风格特征，采用内部风格引导策略，更注重修复后壁画整体风格一致性，确定修复区域与周围的视觉上无缝衔接，并且考虑到了壁画全局与空间特征的特性，采取联合学习逐步修复的策略，克服了修复后壁画伪影结构断裂和内容错误的问题，所以本文算法相较对比算法，取得了较好的修复效果.

针对图9的修复结果，采用峰值信噪比（PSNR）和结构相似性（SSIM）进行定量比较.其中，PSNR值和SSIM值越大，说明修复性能越好.从表1的比较结果看出，所提方法修复图像后评价值均高于比较算法，说明所提方法对壁画图像的修复效果更好.

2.2 真实破损壁画修复

为全面验证本文算法在处理真实破损壁画修 复中的实际性能，进行对比修复实验，结果如图10所示.图10（a）为真实破损的壁画原图，图10（b）为真实破损区域掩膜图，图10（c）~（g）为文献［28］、文 献［18］、文献［14］、文献［27］和文献［25］的修复结果.由修复结果可以看出，在第一幅壁画和第六幅壁画，文献［28］与文献［18］均存在明显的修复裂痕.且文献［28］在第二幅、第三幅和第四幅壁画均存在色彩不一致、细节缺失和内容错误的问题.文献［14］和文献［25］的修复结果普遍存在伪影和局部模糊的问题.对于第四幅壁画，文献［18］的修复结果出现模 糊的现象，文献［27］在第四幅壁画修复中存在错误像素和细节错误的问题.而对于第五幅壁画，对比算法均存在修复未完成、视觉断层的问题.与对比方法相比，本文算法风格一致性和纹理细节修复效果更优.

2.3 消融实验

为了更好地分析本文所提算法各模块在壁画修复中的作用，选取2张壁画图像进行消融实验，如图11所示.其中，模型Ⅰ代表基础模型，模型Ⅱ代表在模型Ⅰ的基础上增加了风格特征引导机制，模型Ⅲ代表在模型Ⅱ的基础上增加了空域调制，本文模型代表在模型Ⅲ的基础上增加了双流调制解码网络.

由图11修复结果可知，图11（c）模型Ⅰ修复结果存在明显的修复未完成，伪影问题，如飞天图像飘带处存在像素模糊和伪影问题.图11（d）模型Ⅱ修复结果相比模型Ⅰ，伪影问题明显有所改善，但是存在修复后细节缺失的问题，比如山水图中存在明显的细节缺失现象.图11（e）模型Ⅲ在模型Ⅱ的基础上增加了空域调制机制，可以发现修复结果细节相较前面的模型有所提升.图11（f）为加入双流调制解码网络后的结果，可以看出该修复结果更加完整.

针对图11的消融实验结果，采用PSNR和SSIM进行定量比较.由表2可以发现本文模型修复性能更好.

3 结 论

1）针对破损壁画修复过程中，未考虑到壁画的风格特征，导致修复结果风格不一致、伪影的问题，提出了一种基于风格引导与联合调制的古壁画修复算法.

2）设计风格特征提取网络和风格注意模块，实现对壁画风格的提取，并利用风格特征对壁画修复进行引导.

3）构建双流解码器，分别从空间特征和全局特征上对壁画进行修复，并且为了解决孤立修复导致的误差累积问题，设计空间全局联合调制块，在风格特征的引导下进行联合学习.

4）通过真实破损壁画进行修复，结果表明，本文算法更加有效地完成修复，且视觉效果和定量评价指标均优于其他算法.

参考文献

[1] WANG H， LI Q Q， JIA S. A global and local feature weighted method for ancient murals inpainting［J］. International Journal of Machine Learning and Cybernetics， 2020， 11（6）： 1197-1216．

[2] 陈永， 艾亚鹏， 郭红光. 改进曲率驱动模型的敦煌壁画修复算法［J］. 计算机辅助设计与图形学学报， 2020， 32（5）： 787-796．

[3] CHEN Y， AI Y P， GUO H G ．Inpainting algorithm for Dunhuang mural based on improved curvature-driven diffusion model［J］．Journal of Computer-Aided Design & Computer Graphics，2020，32（5）： 787-796．（in Chinese）

[4] WASNIK SHUMBHAM K.， SHREYA R， et al. Image inpainting using total variation algorithm［J］. International Journal of Innovative Research in Engineering，2022，3（3）：101-105.

[5] YANG T， ZHAO J H ．An improved method of CRIMINISI algorithm［C］//2021 3rd International Conference on Advances in Computer Technology，Information Science and Communication （CTISC）， April 23-25，2021．Shanghai，China．IEEE，2021：367-371．

[6] THELJANI A， BELHACHMI Z， MOAKHER M ．High-order anisotropic diffusion operators in spaces of variable exponents and application to image inpainting and restoration problems［J］．Nonlinear Analysis：Real World Applications，2019，47：251-271．

[7] ZHA Z Y， YUAN X， WEN B H，et al ．Image restoration using joint patch-group-based sparse representation［J］. IEEE Transactions on Image Processing，2020，29：7735-7750．

[8] QIN J， BAI H H， ZHAO Y ．Multi-scale attention network for image inpainting［J］．Computer Vision and Image Understanding，2021，204：103155．

[9] ZHANG L B， LIU Y N ．Image generation based on texture guided VAE-AGAN for regions of interest detection in remote sensing images［C］//ICASSP 2021-2021 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）. June 6-11， 2021， Toronto， ON，Canada．IEEE，2021：2310-2314．

[10] 王欢，李利，李庆，等 ．一种结合全局一致性与局部连续性的壁画修复方法［J］．湖南大学学报（自然科学版），2022，49（6）：135-145．

[11] WANG H， LI L， LI Q，et al. A global uniform and local continuity repair method for murals inpainting［J］. Journal of Hunan University （Natural Sciences），2022，49（6）：135-145．（in Chinese）

[12] 陈永，杜婉君，赵梦雪 ．改进多重字典联合自适应学习的稀疏壁画修复［J］．湖南大学学报（自然科学版），2023，50（12）：1-9．

[13] CHEN Y， DU W J， ZHAO M X ．Improved sparse mural restoration algorithm using joint adaptive learning of multiple dictionaries［J］．Journal of Hunan University （Natural Sciences），2023，50（12）：1-9．（in Chinese）

[14] LI J Y， HE F X， ZHANG L F，et al ．Progressive reconstruction of visual structure for image inpainting［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV）．October 27 - November 2，2019，Seoul，Korea. IEEE，2020：5961-5970．

[15] ZHAO S Y， CUI J， SHENG Y L，et al ．Large scale image completion via co-modulated generative adversarial networks［EB/OL］. 2021：arXiv：2103.10428．

[16] YILDIRIM A B， PEHLIVAN H， BILECEN B B，et al ．Diverse inpainting and editing with GAN inversion［C］//2023 IEEE/CVF International Conference on Computer Vision （ICCV）．October 1-6，2023，Paris，France．IEEE，2024：23063-23073．

[17] HUANG W L， DENG Y， HUI S Q，et al ．Sparse self-attention transformer for image inpainting［J］．Pattern Recognition，2024，145：109897．

[18] SCHMIDT A， MADHU P， MAIER A，et al ．ARIN：adaptive resampling and instance normalization for robust blind inpainting of Dunhuang cave paintings［C］//2022 Eleventh International Conference on Image Processing Theory，Tools and Applications （IPTA）．April 19-22，2022，Salzburg，Austria．IEEE，2022：1-6．

[19] LI J C， SHI Y Q， LIU W J，et al ．Progressive Dunhuang murals inpainting based on attention mechanism［C］//2023 IEEE 4th International Conference on Pattern Recognition and Machine Learning （PRML）．August 4-6，2023，Urumqi，China．IEEE，2023：350-356．

[20] 张勉， 赵家昱， 周晗，等 ．基于空谱增强变换的高光谱壁画图像修复［J］．光谱学与光谱分析，2025， 45（7）： 2045-2053．

[21] ZHANG M， ZHAO J Y， ZHOU H，et al ．Hyperspectral mural image inpaint based on spatial-spectral enhancement transform［J］. Spectroscopy and Spectral Analysis，2025，45（7）： 2045-2053．（in Chinese）

[22] 赵磊， 林思寰， 林志洁， 等. 中国古画渐进式多级特征修复算法［J］. 计算机辅助设计与图形学学报， 2023， 35（7）： 1040-1051．

[23] ZHAO L， LIN S H， LIN Z J，et al ．Progressive multilevel feature inpainting algorithm for Chinese ancient paintings［J］．Journal of Computer-Aided Design & Computer Graphics，2023，35（7）：1040-1051．（in Chinese）

[24] NAZERI K，NG E， JOSEPH T，et al ．EdgeConnect：generative image inpainting with adversarial edge learning［EB/OL］．2019：arXiv：1901.00212．

[25] YU J H， LIN Z， YANG J M，et al ．Free-form image inpainting with gated convolution［C］//2019 IEEE/CVF International Conference on Computer Vision （ICCV），October 27-November 2，2019．Seoul，Korea．IEEE，2019：4470-4479．

[26] WADHWA G， DHALL A， MURALA S，et al ．Hyperrealistic image inpainting with hypergraphs［C］//2021 IEEE Winter Conference on Applications of Computer Vision （WACV），January 3-8，2021. Waikoloa，HI，USA．IEEE，2021：3911-3920．

[27] ZHENG C X， CHAM T J， CAI J F，et al ．Bridging global context interactions for high-fidelity image completion［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 18-24，2022，New Orleans，LA，USA． IEEE，2022： 11502-11512．

[28] LI X G， GUO Q， LIN D，et al ．MISF：multi-level interactive Siamese filtering for high-fidelity image inpainting［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， June 18-24，2022，New Orleans，LA，USA． IEEE，2022： 1859-1868．

[29] 赵磊，吉柏言，邢卫，等 ．基于多路编码器和双重注意力的古画修复算法［J］．计算机研究与发展，2023， 60（12）：2814-2831．

[30] ZHAO L， JI B Y， XING W，et al ．Ancient painting inpainting algorithm based on multi-channel encoder and dual attention［J］．Journal of Computer Research and Development，2023，60（12）：2814-2831．（in Chinese）

[31] 陈永，张世龙，杜婉君 ．双向自回归Transformer与快速傅里叶卷积增强的壁画修复［J］．湖南大学学报（自然科学版），2025，52（4）：1-15．

[32] CHEN Y， ZHANG S L， DU W J ．Bidirectional autoregressive transformer and fast Fourier convolution enhanced mural inpainting［J］. Journal of Hunan University （Natural Sciences），2025，52（4）： 1-15．（in Chinese）

[33] 王真言，蒋胜丞，宋奇鸿，等 ．基于Transformer的文物图像修复方法［J］．计算机研究与发展，2024，61（3）：748-761．

[34] WANG Z Y， JIANG S C， SONG Q H，et al ．Transformer-based image restoration method for cultural relics［J］．Journal of Computer Research and Development，2024，61（3）：748-761．（in Chinese）

[35] ZHU Y， WANG C， GENG S Z，et al ．Multi-scale gradient attention guidance and adaptive style fusion for image inpainting［J］．Journal of Visual Communication and Image Representation，2022，89：103681．

[36] WU H W， ZHOU J T， LI Y M ．Deep generative model for image inpainting with local binary pattern learning and spatial attention［J］．IEEE Transactions on Multimedia，2022，24：4016-4027．

[37] WANG Q， WANG Z C， ZHANG X P，et al ．Art image inpainting with style-guided dual-branch inpainting network［J］. IEEE Transactions on Multimedia，2024，26：8026-8037．

[38] DENG X C， YU Y. Ancient mural inpainting via structure information guided two-branch model［J］. Heritage Science，2023，11：131．

[39] GUO X F， YANG H Y， HUANG D ．Image inpainting via conditional texture and structure dual generation［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV），October 10-17，2021，Montreal，QC，Canada． IEEE，2022：14114-14123．

[40] CHI L， JIANG B R， MU Y D. Fast Fourier convolution［J］. Advances in Neural Information Processing Systems， 2020， 33： 4479-4488.

[41] SUVOROV R， LOGACHEVA E， MASHIKHIN A，et al ．Resolution-robust large mask inpainting with Fourier convolutions［C］//2022 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV），January 3-8，2022，Waikoloa，HI，USA． IEEE， 2022： 3172-3182．

[42] KARRAS T， LAINE S， AITTALA M，et al ．Analyzing and improving the image quality of StyleGAN［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR），June 13-19，2020．Seattle，WA，USA．IEEE，2020：8107-8116．

基金资助

国家自然科学基金资助项目(62462043)

National Natural ScienceFoundation of China(62462043)

教育部人文社会科学研究青年基金资助项目(19YJC760012)

Humanities and Social Sciences Youth Foundation of Ministry of Education(19YJC760012)