基于改进TSM的船舶驾驶员行为识别方法

陈晨; 魏月楠; 马枫; 胡松涛; 王腾飞

交通信息与安全 ›› 2025, Vol. 43 ›› Issue (1) : 120 -129+140.

基于改进TSM的船舶驾驶员行为识别方法

陈晨, 魏月楠, 马枫, 胡松涛, 王腾飞

作者信息 +

Author information +

文章历史 +

摘要

船舶驾驶员不规范操作是诱发水上交通事故重要因素，设计1种实时船舶驾驶员行为检测方法意义重大。相比汽车驾驶、安防监控等，船舶驾驶舱环境更为复杂，存在无法兼顾多个船员、效率低下和准确率不高等问题。针对这种情况，研究了1种多目标跟踪和行为识别相结合的“两步式”多人行为识别方法。利用YoloV7与ByteTracker建立多目标跟踪器，形成单人的连续特征图。在单目标行为识别算法时间偏移模块（temporal shift module,TSM）的基础上，借助超采样、跨帧拼接等手段处理连续特征图，同时通过EfficientNet-B3与坐标注意力（coordinate attention,CA）模块输出高准确率的识别结果。研究建立了船舶驾驶舱行为数据集“SC-Action”，数据来自不同的船舶驾驶舱监控录像，包含常规行为以及违规行为共计2 000例行为样本。在该数据集上对本文提出的模型进行迁移学习和消融实验，实验结果表明：提出的方法可实现3名驾驶员24帧/s的实时行为识别，识别速度和准确率均优于主流算法。在针对单人行为识别的测试中，方法在应用图像增强模块之后，相比基准TSM模型准确率提升了1.3%；结合注意力机制后，准确率进一步提升1.78%，达到了82.1%，而运算量仅增加0.1%。在多目标测试中，方法的实际推理速度和效果，也超越了该领域的主流方法如SlowFast，验证了其有效性。