双向自回归Transformer与快速傅里叶卷积增强的壁画修复

摘要

针对现有深度学习算法在壁画修复时，存在全局语义一致性约束不足及局部特征提取不充分，导致修复后的壁画易出现边界效应和细节模糊等问题，提出一种双向自回归Transformer与快速傅里叶卷积增强的壁画修复方法.首先，设计基于Transformer结构的全局语义特征修复模块，利用双向自回归机制与掩码语言模型（masked language modeling, MLM），提出改进的多头注意力全局语义壁画修复模块，提高对全局语义特征的修复能力.然后，构建了由门控卷积和残差模块组成的全局语义增强模块，增强全局语义特征一致性约束.最后，设计局部细节修复模块，采用大核注意力机制（large kernel attention, LKA）与快速傅里叶卷积提高细节特征的捕获能力，同时减少局部细节信息的丢失，提升修复壁画局部和整体特征的一致性.通过对敦煌壁画数字化修复实验，结果表明，所提算法修复性能更优，客观评价指标均优于比较算法.

关键词

壁画修复 / 双向自回归Transformer / 掩码语言模型 / 快速傅里叶卷积 / 语义增强

基金资助

教育部人文社会科学研究青年基金资助项目（19YJC760012）; 兰州交通大学基础研究拔尖人才项目（2023JC36）;兰州交通大学重点研发项目（ZDYF2304）