挑战性环境下基于双尺度CBAM的毫米波雷达与视觉特征融合目标检测

摘要

针对恶劣天气和低光照对基于深度学习的视觉目标检测算法带来的挑战，提出一种基于双尺度卷积注意力模块(convolutional block attention module, CBAM)的双模态目标检测算法，旨在通过视觉与毫米波雷达数据的特征融合，提高目标检测算法在挑战性环境下的鲁棒性和准确性。该算法采用双分支的一阶段检测结构，图像分支采用预训练的CSPDarkNet53骨干网络提取图像特征，雷达分支采用基于体素的雷达特征生成网络提取雷达特征。然后，分别在颈部网络前后利用提出的基于双尺度CBAM的特征融合模块进行雷达-视觉特征融合。最后，使用解耦检测头实现目标的分类和定位。在nuScenes数据集上，利用对比实验和消融实验验证了该特征融合检测算法在挑战性环境下的有效性和优越性。

关键词

深度学习 / 目标检测 / 毫米波雷达 / 特征融合 / 多模态 / 注意力机制

基金资助

国家重点研发计划资助项目(2023YFC3904605); 国家自然科学基金资助项目(62125301,62203022)