动态残差协同梯度增强的双分支跨模态图像融合

摘要

红外与可见光图像融合通过整合热辐射目标与细节纹理信息，为复杂环境感知提供关键技术支持。然而，现存方法因模态特征分布差异显著、动态场景适应性不足及高频细节易退化等问题，导致融合图像中热目标弱化或纹理模糊，影响之后的视觉应用。为此，提出一种基于自编码器的双分支融合网络，其核心在于跨模态特征互补、动态残差调制与梯度引导的协同优化。该网络首先通过双分支编码器分别提取两模态的深层特征，设计跨模态融合模块(CMF)在全局通道维度区分红外与可见光特征的语义特异性，以解决在异质区域适应性差的问题；在分解阶段，设计梯度提高模块(DTEM)和特征强度显著性增强模块(FISEM)来处理分解的图像，最后通过解码器进行图像融合。提出的损失函数可保证图像信息的完整性。实验结果表明，所提方法在红外和可见光图像融合中表现优异，熵(EN)、标准差(SD)、标准色差(SCD)等指标均表现良好。

关键词

图像融合 / 深度学习 / 残差学习 / 计算机视觉 / 特征提取