基于双分支和可变形卷积网络的驾驶员行为识别方法

胡宏宇; 张争光; 曲优; 蔡沐雨; 高菲; 高镇海

doi:10.13229/j.cnki.jdxbgxb.20230313

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (01) : 93 -104. DOI: 10.13229/j.cnki.jdxbgxb.20230313

基于双分支和可变形卷积网络的驾驶员行为识别方法

胡宏宇, 张争光, 曲优, 蔡沐雨, 高菲, 高镇海

作者信息 +

Author information +

文章历史 +

摘要

针对汽车座舱内的驾驶员行为识别任务，本文提出了一种基于双分支神经网络的识别方法。网络模型的主分支以ResNet 50作为主干网络进行特征提取，利用可变形卷积使模型适应驾驶员在图像中的形状和位置变化。辅助分支在梯度反向传播过程中辅助更新主干网络的参数，使主干网络能够更好地提取有利于驾驶员行为识别的特征，从而提高模型的识别性能。网络模型在State Farm公开数据集的消融实验和对比实验结果表明：本文网络模型的识别准确率可以达到96.23%，针对易于混淆的行为类别识别效果更佳。研究结果对于汽车座舱内的驾驶员行为理解与保障行车安全具有重要意义。