融合双目视觉与多阶段特征的交通车辆三维尺寸估计

摘要

为解决交通车辆超限检测问题，提出一种融合双目视觉与多阶段特征的车辆三维尺寸估计方法。首先，采用YOLOv8网络检测车辆并提取感兴趣区域，通过ResNet18网络提取深层语义特征；利用HRNet网络检测车辆的预定义关键点，以车辆物理尺寸为约束，通过梯度下降法迭代优化双目相机内、外参数，结合三角测量原理计算初始三维尺寸；最后，将深层特征与初始尺寸拼接为多模态特征，输入至本文设计的双目特征融合多层感知机(BFMLP)模型进行回归，输出车辆的长、宽、高的精确值。在真实交通场景下开展对比实验、消融实验及典型案例分析，结果表明：本文方法估计的三维尺寸平均相对误差(MRE)为0.040 9，显著优于传统端到端回归方法，验证了多模态特征融合与几何约束协同优化的有效性，在受控交通场景中具有稳定的测量精度与工程可行性。该方法实现了基于深度学习的高精度实时车辆三维尺寸估计，为交通运输智能化管理提供了有效技术支撑。

关键词

双目视觉 / 三维尺寸估计 / 多阶段特征融合 / 关键点检测 / 几何约束 / 特征融合多层感知机(BFMLP)

基金资助

国家自然科学基金项目(52205548)