基于特征增强和对齐融合的可见光–红外图像融合目标检测

摘要

可见光–红外图像融合目标检测可以通过融合不同模态的信息来实现更好的检测性能.然而，来自不同模态的特征图的精确对齐以及这些不同模态信息的高效融合仍然是可见光–红外图像融合目标检测中的关键挑战.为了解决这些问题，本文提出了一种名为F3M-Det的可见光–红外图像融合目标检测方法，该方法利用跨模态特征增强、对齐和融合，实现了可见光–红外图像融合目标检测.首先，设计了一个基于跨模态交叉注意力的特征增强模块，插入骨干网络的各个阶段，引导骨干网络关注目标的所在区域，提升了来自两种模态的特征表示能力.其次，设计了一个全局到局部的特征对齐模块，从全局到局部渐进地对齐了来自两种模态的特征图，使模型适用于非对齐可见光–红外图像的场景.最后，提出了基于频率感知的特征融合模块，克服了来自不同模态的特征图差异，有效地融合了红外和可见光的多模态特征.本文在常用数据集DVTOD和LLVIP上进行了全面的实验评估.与其他算法的对比实验结果表明，所提出的方法优于现有的可见光–红外图像融合目标检测方法，消融实验结果进一步证明了所设计的各个模块的有效性.

关键词

可见光–红外图像融合目标检测 / 跨模态特征增强 / 全局–局部特征对齐 / 频率感知特征融合 / 多尺度特征融合

基金资助

装备智能运用教育部重点实验室开放基金课题(2024-AAIE-KF04-03); 云南省软件工程重点实验室开放基金资助项目(2023SE206); 四川省科技计划资助项目(2024YFHZ0212)