面向图像修复的注意力协同调制对抗网络

摘要

以往的虚拟修复方法在不伤害壁画本体的前提下取得了令人瞩目的结果，但存在已知破损区域位置的假设，而现实中破损区域是未知的且难以准确获取。对于含有复杂结构的破损区域，现有图像修复方法会产生严重的伪影失真。为解决这个问题，提出了一种基于注意力协同调制对抗网络的古代壁画图像盲修复模型。该模型包括破损检测和孔洞修复2个阶段，在破损检测阶段，设计了多路径注意力模块，联合区域候选网络和预测分支模块，估计破损区域的位置掩模；在孔洞修复阶段，采用了融入门控卷积的协同调制生成对抗网络修复破损区域。在古代壁画数据集上进行实验，并与最新的4种方法进行了比较，AP值比性能第二的破损检测模型提高了15%,FID值比性能第二的孔洞修复模型降低了4.6%。实验结果证明：所提方法改善了壁画图像修复结果，在定性和定量评估上超过现有流行方法，能够准确检测古代壁画破损区域的位置掩模，生成高逼真的壁画图像修复结果。

关键词

图像补全 / 深度学习 / 对抗网络 / 古代壁画 / 颜料脱落

基金资助

国家社会科学基金项目(20BKG031)