基于多源传感器融合的抗天气干扰目标检测方法

摘要

在复杂天气条件下，单一传感器的目标检测性能易受影响，难以满足自动驾驶与智能交通等应用对鲁棒性的需求.针对这一问题，本文提出一种基于四维（4D）毫米波雷达与激光雷达数据融合的目标检测方法——SeparateFusion.该方法利用两类传感器在感知能力上的互补性，通过神经网络模型实现多源信息的高效融合.首先，设计了三维早期融合模块GSE编码器，将两类点云映射至相同的柱状体视图，并分别对LiDAR和Radar点云的几何信息与语义信息进行增强处理，再提取柱状体特征，实现多模态数据的底层融合.其次，提出二维特征提取增强模块BMM，在鸟瞰图（BEV）视图下引入MambaVisionMixer结构增强空间特征建模能力，并结合门控机制自适应过滤冗余信息，提升特征表达的有效性.在公开的多模态数据集Viewof-Delft(VOD)上的实验表明，该方法在一般天气及雨雾等恶劣天气下的目标检测精度和稳定性均优于多种现有的目标检测方法，能够有效减弱天气干扰对检测性能的影响.研究结果验证了结合GSE编码器与BMM模块的SeparateFusion网络在多源传感器融合与抗干扰目标检测中的有效性，为全天候智能感知提供了一种可行方案.

关键词

多传感器融合 / 4D毫米波雷达 / 激光雷达 / 抗天气干扰 / 目标检测

基金资助

科技部国家重点研发计划青年科学家项目(2022YFF0902800); 江苏省自然科学基金面上资助项目(BK20242028)