交叉注意力机制优化FusionGAN的高精度图像融合模型

摘要

红外图像与可见光图像的融合旨在结合两者的优势，互补彼此在不同环境下的局限，以生成更全面、信息更丰富的图像，从而提升在多种应用场景下的目标检测与识别能力。针对FusionGAN在融合图像时出现的细节不丰富、图像不清晰等问题，本文提出了一种基于交叉注意力机制的改进的GAN方法。该方法将自编码器结构融入生成器中，以增强生成器的表达能力。在自编码器的融合层引入了交叉注意力机制，促进了不同模态特征的有效对齐和融合。通过生成器与判别器的对抗学习，利用深度学习网络实现高质量图像融合。通过对经典算法和改进模型进行主客观评估，改进算法在相关系数、差异相关性总和以及基于伪影的指标这三项客观指标上，分别取得了0.575、1.742和0.011的成绩，均位列第一。所研究融合方法产生的融合图像不仅信息含量丰富，而且具备一定的视觉舒适度，符合人眼的感知习惯。

关键词

GAN / 图像融合 / 自编码器 / 交叉注意力