融合事件数据的交通多目标检测方法

摘要

在交通领域,传统视觉传感器在恶劣光照条件下的检测性能有限,事件相机通过捕捉像素级亮度变化,提高对高速运动和光照变化的捕捉和检测能力,但在静态或光照变化微弱的场景中表现不足.为解决该问题,设计动态特征融合模块和应用上下文增强模块,提出一种结合RGB帧和事件帧的多模态目标检测方法.特征融合模块结合通道和空间注意力机制,聚焦显著特征,其网络结构包括多个卷积层与激活函数,实现高效的特征提取和融合;上下文增强模块则处理不同尺寸输入的特征图,利用上采样和卷积操作提升特征融合与调用能力.在公开数据集与自制数据集分别进行与现有主流方法的对比试验,结果表明:相较于次优算法,该方法将平均精度提升3.2%,帧率提升45%.消融试验结果表明,其平均精度达到96.4%,帧率为48 f/s.

关键词

事件相机 / 交通场景目标检测 / 多模态融合 / 注意力机制 / 深度学习