基于类激活映射的红外与可见光图像融合方法

摘要

针对当前图像融合算法信息选择策略较为固定单一导致源图像重要信息丢失且无效信息干扰融合图像质量等问题，本文提出了一种基于类激活映射的可解释红外与可见光图像融合方法。根据类激活映射机制获取不同源图像的类激活权值（反映了网络对于源图像不同特征的重要性的关注程度），利用类激活权值分配不同通道的特征权重，根据特征权重对提取到的深度特征进行加权融合，以保留源图像更丰富的显著目标和纹理细节等重要信息并抑制噪声信息。实验结果表明，本文所提出的方法在TNO和Road Scene数据集上的表现优于现有的大多数先进算法，其中，TNO数据集上信息熵和视觉保真度分别达到7.327 2和0.692 7，远高于其他方法，这表明本文方法能够在充分保留源图像关键特征信息的同时兼具优秀的视觉感知性能。

关键词

图像融合 / 信息选择 / 类激活映射 / 权重分配 / 深度学习