融合空间语义的自动驾驶视觉联合感知算法

摘要

【目的】作为自动驾驶关键部分，视觉联合感知系统可完成自动驾驶场景中的目标检测、可行驶区域分割及车道线检测等多项任务，在实际应用中需实现精度与速率的合理权衡。自动驾驶视觉联合感知框架YOLOP在实时性方面取得了优异表现，但存在特征金字塔不同尺度间的特征冲突及下采样过程的纹理细节损失问题。为缓解这些问题，提出一种融合空间语义的自动驾驶视觉联合感知算法，以空间语义嵌入和融合为核心，从特征增强及特征融合两方面改进YOLOP原有语义融合网络。【方法】在特征增强方面，提出双向注意力信息增强模块，减少多尺度特征图生成过程中的空间信息损失，从水平和垂直两个正交维度对全局上下文先验及对应精确位置信息建模，将通道注意力语义信息嵌入至空间细节，有效突出关键区域，提升特征图纹理细节表征能力；在特征融合方面，设计多分支级联特征融合模块，缓解各层级特征对应空间位置的相互干扰，采用不同扩张率空洞卷积与指数加权池化增大感受野范围，级联融合空间上下文语义信息，利用动态卷积对多尺度场景特征进行自适应交互聚合，实现纹理细节与高层语义的信息互补。此外，针对模型中各子任务训练不均衡问题，引入自适应参数对损失函数加权系数进行改进，有效提升网络检测和分割性能。【结果】在BDD100K数据集的实验表明，相比于YOLOP，所构建自动驾驶视觉联合感知模型保证了网络推理实时性，在车道线检测及目标检测平均精度方面分别提升了8.9%和1.6%。

关键词

自动驾驶 / 视觉联合感知 / 语义融合 / 双向注意力信息增强 / 多任务 / 多尺度

基金资助

科技创新2030-新一代人工智能重大项目（2022ZD0160400）; 国家自然科学基金资助项目（C0049120）