多层次特征融合与超图卷积的生成对抗壁画修复

陈永; 陶美风; 赵梦雪

工程科学与技术 ›› 2024, Vol. 56 ›› Issue (03) : 208 -218.

陈永, 陶美风, 赵梦雪

作者信息 +

Author information +

文章历史 +

摘要

针对现有壁画深度学习修复方法，存在上下文信息关注不足及结果欠佳的问题，提出了一种多层次特征融合与超图卷积的生成对抗修复模型。首先，利用金字塔特征分层对壁画进行多尺度层次特征提取，并采用混合空洞卷积单元扩大多层特征提取感受野，以克服单尺度卷积操作对于壁画特征提取能力不足的问题。然后，提出多分支短链融合层及门控机制融合多分支特征方法，将相邻分支间的特征信息进行融合，使融合后的壁画特征图中既有同分支的特征，又有相邻分支的特征，以提高特征信息的利用率；并引入门控机制对特征进行选择融合，以减少细节信息的丢失。接着，将融合特征通过卷积长短期记忆网络（ConvLSTM）特征注意力方法，增强对壁画上下文信息的关注。最后，设计超图卷积壁画长程特征增强模块，通过在编码器和解码器的跳跃连接之间建立超图卷积层，利用超图卷积捕获编码器的空间特征信息，并将其迁移到解码器中，有助于解码器更好地生成壁画图像，以加强特征的长程依赖关系，并与SN–PatchGAN判别器对抗博弈从而完成修复。通过敦煌壁画数字化修复实验，结果表明：所提方法客观评价优于对比算法，对于破损壁画修复结果更加清晰自然。