温度引导的CNN-Transformer红外与可见光图像融合方法

摘要

红外与可见光图像轻量化融合是计算机视觉领域研究的一项重要任务，融合模型可部署在边缘设备上实现实时融合．然而，基于CNN的方法仍然存在局限性，轻量化的实现使得模型牺牲了一定程度的融合性能，单调的卷积结构导致融合的泛化能力较低，在某些复杂场景仍然表现出不足．针对以上问题，提出了一种基于温度引导的CNNTransformer红外与可见光图像融合方法．首先引入像素预增强模块来增强输入图像，同时将Transformer与CNN结合作为特征提取与重建网络的结构，捕获红外与可见光图像之间的关联信息，提高模型的融合效果．在公开数据集及自建变电数据集上将提出的方法与其他11种融合方法进行对比分析，实验结果验证提出的算法显著提高了融合性能．

关键词

深度学习 / 图像融合 / 红外与可见光图像 / CNN-Transformer