基于TransNeXt的红外与可见光图像融合

摘要

针对红外与可见光图像融合过程中出现的细节丢失和易产生伪影等问题，本文提出了一种基于TransNeXt的融合算法.首先，通过卷积神经网络与TransNeXt对源图像进行浅层与深层特征提取，并通过信息补偿模块对红外浅层特征进行信息补偿，使其具有更多的语义信息.然后，通过基于交叉注意力的融合模块进行特征融合，它能够根据源图像不同区域的重要性调整权重以适应场景变化，提高融合结果的鲁棒性和准确性.最后，通过基于Transformer的模块进行图像重建以得到最终融合图像.此外，本文通过基于VGG19显著区域掩膜的损失函数约束融合过程，使融合结果在重要区域保留更丰富的信息.实验结果表明，与其他7种对比方法相比，本文方法的客观评价指标信息熵、标准差、差异相关性总和、峰值信噪比和像素特征互信息分别平均提高了10.92%、14.85%、24.80%、2.26%、1.30%，并且能够在保留丰富的纹理信息的同时伪影较少，具有优异的夜间灯光融合效果，在目标检测上相较对比方法也取得了更好的效果.

关键词

红外与可见光图像融合 / 卷积神经网络 / Transformer / TransNeXt