联合核预测和特征推理的渐进式壁画修复算法

摘要

针对现存深度模型修复壁画时，未兼顾像素级特征与语义级特征，而导致纹理精细度欠缺、结构扭曲等问题，提出一种联合核预测和特征推理的渐进式壁画修复算法.首先，设计区域渐进模块，通过部分卷积实现壁画特征渐进式映射.然后，提出双分支修复模块，其中核预测卷积分支实现破损区域的像素级修复；而语义特征推理分支中引入门控可变形卷积，并结合语义一致性注意力机制实现特征推理，完成破损壁画的语义级修复.最后，将双分支修复结果融合输出，最大限度地减少重构误差，提升修复精度.通过对敦煌壁画进行数字化修复实验，结果表明所提方法修复后的壁画具备较好的结构纹理特征，在评价指标上优于比较算法.

关键词

图像重构 / 壁画修复 / 核预测 / 语义特征推理 / 特征融合

基金资助

国家自然科学基金资助项目（61963023）; 教育部人文社会科学研究青年基金资助项目（19YJC760012）; 兰州交通大学基础研究拔尖人才项目（2022JC36）;兰州交通大学重点研发项目（ZDYF2304）