时序特征与几何约束辅助的三维目标检测技术及应用

摘要

当前主流的单目3D目标检测网络采用关键点检测，在时序特征建模、几何约束与深度估计方面存在局限性，限制了3D检测器的性能发挥．本文提出一种改进的单目3D目标检测算法MonoTGD，引入时序特征交互模块，利用多帧序列的长短期时序信息增强特征表达的一致性和动态建模能力;几何结构增强模块通过扩展关键点集合并引入几何一致性约束提升关键点预测的准确性;伪深度生成与监督模块在不引入激光雷达数据的同时生成的伪深度图为深度估计提供有效的监督信号．上述模块仅在训练阶段使用，推理阶段不引入额外的计算成本．在KITTI3D数据集上的实验结果表明，相比基线方法 MonoCon,MonoTGD在验证集上的3D检测平均精度指标，在简单类别上提高了4.25个百分点，而在测试集上，中等难度类别提高了4.82个百分点．特别是测试集上中等难度类别的性能提升，充分验证了本方法在实际应用场景中的有效性．

关键词

3D目标检测 / 时序特征建模 / 多关键点约束 / 深度估计 / 几何一致性