基于时空交互信息融合的车辆违规超车识别

摘要

为提升车辆违规超车行为的识别精度，本文提出了基于时空交互信息融合的违规超车识别算法.该算法以TimeSformer为主干模型，融合RGB图像、光流、深度图以及超车交互图四种模态信息，构建统一的超车信息图，从外观特征、运动特性、三维空间结构以及车辆间交互关系等多个维度对超车行为进行联合建模.通过引入分离时空注意力机制以及多模态特征融合策略，有效刻画超车过程中目标车辆的动态演化特征及其与周围车辆之间的时空交互模式，从而弥补复杂交通场景下多车辆交互关系表述不足的问题.在PREVENTION数据集上的实验结果表明，所提算法在违规超车识别任务中取得了94.04%的识别准确率，较多种主流基准算法表现出更优的识别性能，验证了多模态时空交互信息融合策略在复杂交通行为识别中的有效性.

关键词

智能交通 / 车辆违规超车行为识别 / 时空交互信息融合 / 多车辆交互建模 / TimeSformer

基金资助

国家自然科学基金项目(41971343); 江苏省前沿技术研发计划项目(BF2024005)