照度条件自适应的粒度渐进多模态图像融合方法

摘要

为应对光照条件复杂多变下的多场景视觉感知挑战，本文提出了一种照度条件自适应的粒度渐进多模态图像融合方法.首先，设计了基于大模型的场景信息嵌入模块，通过预训练的图像编码器对输入的可见光图像进行场景建模，并利用不同的线性层对场景向量进行处理.随后，利用处理后的场景向量对图像重建阶段的图像特征在通道维度上进行调控，使得融合模型能够根据不同的场景光照生成不同风格的融合图像.其次，为了解决现有特征提取模块在特征表达上的不足，本文设计了基于状态空间方程的特征提取模块，以线性复杂度实现全局特征感知，减少了信息传输过程中的信息丢失，提升了融合图像的视觉效果.最后，设计了粒度渐进融合模块，利用状态空间方程对多模态特征进行全局聚合，并引入跨模态坐标注意力机制对聚合后的特征进行精细调优，从而实现多模态特征从全局到局部的多阶段融合，增强了网络的信息整合能力.在训练过程中，本文采用先验知识生成增强图像作为标签，并根据不同环境构建同源与异构的损失函数，以实现场景自适应的多模态图像融合.实验结果显示，本文方法在暗光场景数据集MSRS和LLVIP、混合光照数据集TNO、连续场景数据集RoadScene以及雾霾场景数据集M3FD上的表现均优于11种先进算法，在定量和定性对比中取得了更好的视觉效果和更高的定量指标.所提出的方法在自动驾驶、军事侦察和环境监控等任务中展现出较大的潜力.

关键词

视觉感知优化 / 图像融合 / 多模态 / 场景自适应 / 状态空间模型 / 跨模态注意力机制

基金资助

国家自然科学基金资助项目（61703287,61972016,62171295）; 辽宁省自然科学基金计划项目（2024-MS-137）; 辽宁省应用基础研究项目（2023JH2/101300204）