基于驾驶场景的高效多模态融合检测方法

摘要

目标检测是自动驾驶中重要的组成部分。为解决在弱光条件下单一的可见光图像不能满足实际驾驶场景检测的需求并进一步提高检测精度，提出一种用于红外和可见光融合图像的交通场景检测网络，简称AM-YOLOv5。AM-YOLOv5中改进的Repvgg结构可以提升对融合图像特征的学习能力。此外，在主干网络末端引入自注意力机制并提出一种新的空间金字塔模块(SimSPPFCSPC)充分获取信息；为提升网络推理速度，在颈部网络的前端使用一种全新的卷积(GS卷积)。实验结果表明，AM-YOLOv5在FLIR数据集融合图像上的mAP_(0.5)达到了69.35%,与原YOLOv5s相比，在没有牺牲推理速度的前提下，检测精度提升了1.66%。

关键词

目标检测 / 多模态融合 / 驾驶场景 / 融合图像

基金资助

辽宁省重点科技创新基地联合开放基金项目(2021-KF-12-05)