时序向量引导的多特征融合驾驶员疲劳检测方法

摘要

疲劳驾驶检测是降低交通事故发生率，提高驾驶安全的关键技术.现有技术主要依赖提取驾驶员面部特征判断疲劳状态.由于光照条件、拍摄角度等复杂的交通场景带来的各类干扰信息，使得驾驶疲劳状态难以准确检测.因此，本文提出了一种时序向量引导的多特征融合驾驶员疲劳视频检测方法.首先，通过局部图像及节点图特征提取模块分别提取对应分支的疲劳特征块，减少低质图像区域对整体检测的负面影响；其次，通过关键点间的变化向量构建时序向量邻接矩阵，得到包含疲劳状态信息的时序向量；最后，通过Transformer多特征融合模块，使用时序向量引导双分支增强对疲劳状态动态变化的检测，提高疲劳检测的精度.在公共数据集YAWDD和NTHU-DDD的实验结果表明了本文方法的准确率分别至少提高了2.8%和3.2%.

关键词

疲劳驾驶检测 / 时序向量 / Transformer融合 / 交叉注意力

基金资助

国家自然科学基金项目(61975124)资助; 道路交通安全公安部重点实验室开放课题基金项目(2023ZDSYSKFKT04)资助; 四川省重点研发项目(2024YFFK0443)资助; 上海市自然科学基金项目(25ZR1401266)资助