基于纹理和结构交互的人脸图像修复

摘要

针对基于学习的人脸图像修复方法在提取深层特征时存在丢失上下文语义信息的问题，提出一种具有高效归一化注意力机制的生成器，有效提取人脸图像中的深层特征，并在多个尺度上更好地聚合低级和高级特征。为增强生成图像的一致性，提出一种具有残差主路径转换的双级门控特征融合模块，进一步融合解码后的纹理和结构信息，并设计一种增强的上下文特征聚合块，其中改进的提示生成块使提示参数在多尺度上进行特征间的交互，指导修复网络动态调整，生成现实、可信的人脸图像。试验结果表明，在CelebA-HQ数据集上，本研究方法的峰值信噪比R_PSN、结构相似性S_SIM、平均绝对误差E_MA、Fréchet初始距离D_FI分别为37.74 dB、0.983 0、0.24%、1.489;在LFW数据集上，本研究方法的R_PSN、S_SIM、E_MA、D_FI分别为39.19 dB、0.987 7、0.21%、3.555。与其他5种主流方法相比，本研究方法取得相当有竞争力的结果。定性和定量试验结果表明，本研究方法能有效恢复残损的人脸结构和纹理信息。

关键词

人脸图像修复 / 归一化注意力模块 / 提示生成模块 / 多尺度特征融合 / 双流判别器

基金资助

国家自然科学基金资助项目(62062024); 贵州民族大学校级科研资助项目(GZMUZK[2021]YB23); 贵州省教育厅自然科学研究资助项目(黔教技[2022]015号)