EMMA注意力与多尺度融合下的图像修复

摘要

针对图像缺失区域与其周围的纹理、结构密切相关而无法准确推断缺失区域内容的问题，提出一种单阶段图像修复模型.通过卷积层和FastStage模块对特征进行压缩、重建和增强，结合自注意力和多层感知机来捕捉特征之间的上下文关系.在模型中引入EMMA机制.以增强生成器对特征的注意力和重要性感知，避免模型参数的更新出现抖动和振荡现象，从而提高生成器的性能和生成结果的质量.通过判别器对修复后的图像与原始图像的一致性进行评估.针对CelebA、Places2以及Paris StreetView数据集进行的端到端实验结果表明，相较于现有的经典方法，该模型的修复结果更符合视觉语义，能够精细地修复图像的细节纹理和局部特征.

关键词

图像修复 / 注意力机制 / 膨胀卷积 / 深度学习

基金资助

甘肃省自然科学基金项目（23JRRA913）; 全国高等院校计算机基础教育研究会项目（2023-AFCEC-039）