基于驾驶员多种侧面状态的疲劳驾驶检测方法

A fatigue driving detection method based on multiple side states of drivers

摘要

当前计算机视觉的疲劳驾驶检测方法很少能应用于驾驶员侧面和斜侧面状态，而复杂的现实环境中采集到的驾驶员视频角度可能各不相同，为解决此问题提出一种基于驾驶员侧面状态的疲劳驾驶检测方法。方法适用于驾驶员多种角度的正面、侧面和斜侧面状态，在各角度状态下直接提取和判别眼部、嘴部和头部特征状态并计算相关疲劳指标，通过加权计算的方法综合多特征计算出多项指标，进而实现对正面、侧面和斜侧面状态下驾驶员的疲劳判别。其中眼部、嘴部和头部特征提取方法基于YOLOv8进行改进，再通过MobileNetV3实现眼部和嘴部状态的判别，通过坐标系转换计算判别三维头部姿态，最终通过层次分析法计算多指标最优权重分配，实现多指标综合分析正面、侧面和斜侧面状态下驾驶员的疲劳状态。实验结果表明，本文中提出的方法对各角度正侧面状态下驾驶员疲劳判别准确率平均达到了94.8%，能够适用于多种侧面状态下的驾驶员疲劳驾驶检测。

Abstract

In view of the fact that the current fatigue driving detection methods based on computer vision can rarely be applied to the driver's side and oblique profile status, and the driver's video angles collected in the complex real environment may be different, a fatigue driving detection method based on the driver's side states was proposed to solve this problem. The method was applicable to the driver's front, side and oblique side states from various angles. The feature states of eyes, mouth and head were directly extracted and distinguished under each angle state, and the related fatigue indexes were calculated. After that, the multiple indexes calculated by multi-features were integrated by weighted calculation method, and the fatigue discrimination of drivers under front, side and oblique side states was realized. The feature extraction method of eyes, mouth and head was improved based on YOLOv8, and then the state identification of eyes and mouth was realized by MobileNetV3, the three-dimensional head pose was calculated by coordinate system transformation, and the optimal weight allocation of multiple indicators was calculated by analytic hierarchy process. To realize multi-index comprehensive analysis of driver fatigue state under front, side and oblique side conditions. The experimental results showed that the accuracy of the method was 94.8% on average, which can be applied to the driver fatigue detection under various side conditions.

Graphical abstract

关键词

疲劳驾驶 / 侧面状态 / 特征提取 / 特征判别

Key words

fatigue driving / side states / feature extraction / feature discrimination

随着我国经济的发展和人民生活水平的提高，汽车已成为主要交通工具。截至2023年6月，我国机动车驾驶人达5.13亿，其中汽车驾驶人4.75亿^[1]；然而，汽车的普及也引起了交通事故频发的问题，其中疲劳驾驶是导致事故死亡的主要原因之一，每年占机动车事故死亡人数的10.9%以上，事故占比为14%~20%，在大型卡车和高速公路上更为突出，约占37%，重型机动车事故约占43%^[2]，因此，及时提醒驾驶员疲劳驾驶并促其休息，对减少交通事故的发生具有重大意义。

当前疲劳驾驶检测多基于驾驶员正面状态，通过分析眼睛、嘴巴和头部姿态等特征来判断疲劳程度。例如，梁元辉等^[3]提出了一种多特征融合的眼睛状态检测算法，通过融合眼睛纵横比 (eye aspect ratio，EAR)、虹膜特征和眼角张开角度，实现疲劳驾驶检测。朱艳等^[4]结合人脸跟踪算法提取面部特征点，通过曲线拟合和归一化指标计算眼睛和嘴巴的开合度，并利用卷积神经网络 (convolutional neural network，CNN)建立疲劳状态识别模型。郑伟成等^[5]使用改进的多任务级联卷积神经网络进行人脸检测，并提取眨眼频率、嘴部张开程度和点头频率等疲劳特征。Zhu等^[6]通过轻量化人脸检测模型和轻量化人脸关键点检测模型提取面部特征并评估疲劳状态。Savas等^[7]使用多任务CNN结合Dlib算法计算眼睑闭合时间百分比(percentage of eyelid closure over the pupil over time，PERCLOS)和打哈欠频率，从而判定疲劳状态。现有研究主要针对正面状态，但这些方法存在角度受限、易受遮挡、对光照变化敏感以及实时性不足等问题。侧面检测能够更好地适应驾驶员头部的转动，减少遮挡影响，对光照变化的鲁棒性更强，因此，本文中提出一种基于侧面特征的疲劳驾驶检测方法。依据图1中展示的眼部、嘴部和头部特征来判别驾驶员的疲劳状态^[8]。为了验证方法的有效性，构建了一个包含0°、30°、60°、90°不同角度的正常和疲劳驾驶状态的数据集，并使用该数据集进行了实验验证。

检测时，首先输入驾驶员视频，再将连续视频分为连续帧图像，在帧图像中分别使用YOLOv8-ROI网络提取眼部感兴趣区域(region of interest，ROI)、嘴部ROI并使用YOLOv8-Keypoints网络提取面部重要关键点；在眼部ROI、嘴部ROI提取完成后，通过MobileNetV3网络判别眼部状态、嘴部状态；在面部关键点提取完成后，通过坐标系转换的方法计算判别头部姿态，并根据3种特征判别结果计算疲劳指标，最后根据层次分析法计算出的最优权重做多指标融合，综合多指标分析判别驾驶员疲劳状态。具体方法如图2所示。

1 侧面状态疲劳特征提取及状态判别

本文提出的基于驾驶员侧面状态的疲劳驾驶检测方法采用多特征融合技术。研究采用提取眼部ROI和嘴部ROI图像的方法进行特征提取，并对其状态进行算法分类判别。头部姿态的提取和判别方法与眼部、嘴部特征不同，须要通过几个重要的面部关键点计算头部姿态，因此须使用另一网络实现对头部特征的提取和判别。

图像识别领域可以采用传统的图像处理方法，如Haar特征^[9]、HOG特征^[10]等，或者使用深度学习方法，如CNN进行特征提取。考虑到模型的准确性和实时性，本文中以YOLOv8为基础改进适用于驾驶员侧面眼部、嘴部和头部特征提取的2个网络结构，并使用MobileNetV3^[11]进行眼部、嘴部状态分类，使用坐标系转换的方法判别头部状态。然后根据3种特征的状态计算疲劳指标并进行多特征融合的疲劳状态判别。

1.1 眼部、嘴部特征提取网络

YOLOv8作为YOLO系列^[12-18]的先进目标检测模型，具有高精度和轻量化的特点，适合作为基础架构。本文中以YOLOv8n为起点，对驾驶员侧面状态下的眼部和嘴部ROI进行特征提取网络的优化。通过在快速实现的2卷积CSP瓶颈模块(faster implementation of CSP bottleneck with 2 convolutions，C2f)和空间金字塔池化融合模块(spatial pyramid pooling fusion，SPPF)之间引入无参注意力机制(simple and effective attention mechanism，SimAM)^[19]，进一步提升模型的特征提取能力和精度，同时保证模型的轻量化和检测速度。YOLOv8-ROI模型以检测头(detection head)作为输出模块，通过自建数据集训练，实现了对驾驶员90°侧面状态下眼部和嘴部ROI的提取，网络结构如图3所示。

1.2 头部特征提取网络

驾驶员头部姿态变化特征的提取是通过人脸特征点计算得出的。YOLOv8-Keypoints在YOLOv8n基础上，在C2f和SPPF之间加入SimAM注意力机制优化性能。以关键点检测模块(pose)为输出，能够实现90°侧面状态下驾驶员面部关键点的定位，并通过关键点计算三维头部姿态，判别头部状态。网络结构如图4所示。

1.3 眼部、嘴部状态判别网络

MobileNetV3^[11]是一种高效轻量级深度神经网络架构，包含Large和Small 2种变体，分别适用于不同计算资源和延迟需求的场景。本文使用Mobile-NetV3-Small进行多角度眼部、嘴部图像分类，判别其开闭状态。实验中，将0°、30°、60°、90°多角度下的眼部和嘴部ROI图像输入模型进行分类。

1.4 基于坐标系转换的头部状态判别方法

在采集头部特征之前需要完成以下四步：提取2D人脸关键点信息；建立3D坐标，匹配2D面部特征；利用转换公式求解维度转换关系；利用罗德里格斯旋转矩阵进行代数运算求解欧拉角。1.2节中的方法实现了在多角度下对驾驶员面部关键点的定位，得到了2D人脸关键点信息。本节根据2D关键点信息处理计算驾驶员头部的三维姿态变化，进而判别驾驶员头部状态。

1.4.1 坐标系转换求解三维姿态变化

求解欧拉角的要点在于转换旋转矩阵。已知三维点P的世界坐标为(U,V,W)，其图像坐标为(x,y)，相机坐标为(X,Y,Z)。坐标系变换如图5所示，首先是世界坐标到相机坐标的变换，然后是相机坐标到图像坐标的二维映射，由此得到旋转矩阵 R。

坐标系转换过程中，首先通过摄像头采集驾驶员的头部姿态，根据式(1)转换矩阵相机模型。

s\left(\begin{array}{c}x\\ y\\ l\end{array}\right)=\left(\begin{array}{ccc}{f}_x& \mathrm{0}& c_x\\ \mathrm{0}& f_y& c_y\\ \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right)\left(\begin{array}{cccc}{r}_{\mathrm{11}}& r_{\mathrm{12}}& r_{\mathrm{13}}& t_{\mathrm{1}}\\ r_{\mathrm{21}}& r_{\mathrm{22}}& r_{\mathrm{22}}& t_{\mathrm{2}}\\ r_{\mathrm{31}}& r_{\mathrm{32}}& r_{\mathrm{33}}& t_{\mathrm{3}}\end{array}\right)\left(\begin{array}{c}U\\ V\\ W\\ I\end{array}\right)(1)

式中：f_x、f_y、c_x、c_y是相机内参矩阵系数；r_{i,j}与t_i是旋转矩阵和平移矩阵元素。由于比例因子s和平移矩阵都为已知参数，可直接求解旋转矩阵\mathit{R}。使用旋转矩阵\mathit{R}表示欧拉角，其计算公式如式(2)—(4)所示。

{\mathit{R}}_x(a)=\left(\begin{array}{ccc}\mathrm{1}& \mathrm{0}& \mathrm{0}\\ \mathrm{0}& cos\alpha & sin\alpha \\ \mathrm{0}& -sin\alpha & cos\alpha \end{array}\right)(2)

{\mathit{R}}_y(\beta )=\left(\begin{array}{ccc}cos\beta & \mathrm{0}& -sin\beta \\ \mathrm{0}& \mathrm{1}& \mathrm{0}\\ sin\beta & \mathrm{0}& cos\beta \end{array}\right)(3)

{\mathit{R}}_z(\gamma )=\left(\begin{array}{ccc}cos\gamma & sin\gamma & \mathrm{0}\\ -sin\gamma & cos\gamma & \mathrm{0}\\ \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right)(4)

将上式代入\mathit{R}={\mathit{R}}_x(\alpha ){\mathit{R}}_y(\beta ){\mathit{R}}_z(\gamma )，可表示为欧拉角的正余弦矩阵，计算公式如式(5)所示：

\left\{\begin{array}{l}\mathit{R}=\left(\begin{array}{ccc}cosacos\beta & sin\gamma sin\beta -cos\gamma sin\alpha & cos\gamma sin\beta +sin\gamma sin\alpha \\ cosasin\beta & sin\gamma sin\beta +sin\gamma sin\alpha & cos\gamma sin\beta -sin\gamma cos\alpha \\ -sin\beta & sinacos\beta & cosacos\beta \end{array}\right)\\ \mathit{R}=\left(\begin{array}{ccc}{r}_{\mathrm{11}}& r_{\mathrm{12}}& r_{\mathrm{13}}\\ r_{\mathrm{21}}& r_{\mathrm{22}}& r_{\mathrm{23}}\\ r_{\mathrm{31}}& r_{\mathrm{32}}& r_{\mathrm{33}}\end{array}\right)\end{array}\right.(5)

通过解方程可以计算得出欧拉角，如式(6)所示：

\left\{\begin{array}{l}a=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{r_{\mathrm{32}}}{r_{\mathrm{33}}}\right)\\ \beta =\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{-r_{\mathrm{31}}}{\sqrt[]{r_{\mathrm{32}}^{\mathrm{2}}+r_{\mathrm{33}}^{\mathrm{2}}}}\right)\\ \gamma =\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}\left(\frac{r_{\mathrm{21}}}{r_{\mathrm{11}}}\right)\end{array}\right.(6)

计算得出的\alpha、\beta、\gamma分别对应世界坐标系上x、y和z转动角度，因此可通过上述坐标系转换的方法实现对三维头部姿态的计算。

1.4.2 三维姿态变化判别头部状态

当驾驶员处于疲劳状态时，其头部姿势往往有相应的变化，通常表现为频繁点头和头部姿态异常。从文献[15]可知，头部姿态的角度变化分为3个角度，即俯仰角Pitch、偏航角Yaw、翻滚角Roll。其三维变动方向如图6所示。

根据坐标系转换计算得出的驾驶员头部在三维轴(x、y、z)上的转动角度，可判别头部状态。其中，频繁点头表现为Pitch的明显波动；头部倾斜和晃动表现为Roll的变化；摆头则表现为Yaw的变化。Ferrario等^[20]研究发现，正常情况下头部姿态变化范围为Pitch[-60.4°，69.6°]、Yaw[-90°，75°]、Roll[-40.9°，36.3°]，因此，当Pitch变化超出此范围时，可判别为点头行为；当Yaw或Roll变化超出此范围时，可判别为头部异常行为。据此可进一步判别驾驶员疲劳状态。

2 侧面状态下疲劳状态判别算法

2.1 疲劳指标

2.1.1 PERCLOS

通过驾驶员眼部特征判别疲劳采取的方法是对驾驶员的眨眼频率和眼部闭合时间进行计算。利用文献[21]经过大量的实验和验证提出的测量疲劳的PERCLOS参数判别驾驶员疲劳程度，是当前被认为根据眼部特征判别疲劳状态中最可靠、最有效、最常用的方法。\mathrm{P}\mathrm{E}\mathrm{R}\mathrm{C}\mathrm{L}\mathrm{O}\mathrm{S}指的是在单位时间内眼睛闭合程度超过某一标准（例如：70%、80%）的时间占总时间的百分比。可以根据\mathrm{P}\mathrm{E}\mathrm{R}\mathrm{C}\mathrm{L}\mathrm{O}\mathrm{S}参数判断驾驶员在单位时间内的疲劳程度。其计算公式如式(7)所示：

\mathrm{P}\mathrm{E}\mathrm{R}\mathrm{C}\mathrm{L}\mathrm{O}\mathrm{S}=\frac{N_{\mathrm{B}}}{N_{\mathrm{Z}}}\times \mathrm{100}\mathrm{\%}(7)

式中：N_B为眼睛闭合帧数；N_Z为检测时间段总帧数。

2.1.2 眨眼频率

驾驶员的眨眼频率也是判别疲劳的一种方式，其计算公式如式(8)所示：

f_{\mathrm{B}}=\frac{N_{\mathrm{T}\mathrm{B}}}{N_{\mathrm{T}}}\times \mathrm{100}\mathrm{\%}(8)

式中：f_{\mathrm{B}}为单位时间内眨眼频率；N_{\mathrm{T}\mathrm{B}}为单位时间内眨眼的次数；N_{\mathrm{T}}为单位时间总帧数。

2.1.3 打哈欠频率

人在疲劳时，容易发生频繁的打哈欠行为，因此可通过打哈欠的频率判别疲劳状态，其计算公式可用式(9)表示：

f_{\mathrm{Y}}=\frac{N_{\mathrm{T}\mathrm{Y}}}{N_{\mathrm{T}}}\times \mathrm{100}\mathrm{\%}(9)

式中：f_{\mathrm{Y}}为单位时间内打哈欠频率；N_{\mathrm{T}\mathrm{Y}}为单位时间内打哈欠的次数。

2.1.4 单位时间内打哈欠占比

单位时间内打哈欠的帧数占总帧数的百分比P_Y也可以作为疲劳判别的指标之一，其计算公式可用式(10)计算：

P_{\mathrm{Y}}=\frac{N_{\mathrm{M}\mathrm{O}}}{N_{\mathrm{T}}}\times \mathrm{100}\mathrm{\%}(10)

式中：N_MO为嘴部张开程度超阔值帧数。

2.1.5 点头频率

驾驶员疲劳时通常会伴随频繁点头现象，因此点头频率可作为疲劳判别指标，其通过式(11)计算得到：

f_{\mathrm{N}}=\frac{N_{\mathrm{T}\mathrm{N}}}{N_{\mathrm{T}}}\times \mathrm{100}\mathrm{\%}(11)

式中：f_{\mathrm{N}}为单位时间内点头频率；N_{\mathrm{T}\mathrm{N}}为单位时间内点头的次数。

2.1.6 归一化处理

由于多项疲劳指标的单位和取值范围不尽相同，因此，在指标融合前首先对所有指标进行归一化处理。本文通过离差标准化方法进行归一化处理，其计算公式如式(12)所示：

x^{*}=\frac{x-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}{x_{\mathrm{m}\mathrm{a}\mathrm{x}}-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}(12)

式中：归一化处理将所有指标的取值范围均被映射在[0，1]之间；x为原始数据点的值，最小值为x_{\mathrm{m}\mathrm{i}\mathrm{n}}，最大值为x_{\mathrm{m}\mathrm{a}\mathrm{x}}；x^{*}为归一化处理后的数据点的值。

2.2 指标融合

2.2.1 指标权重分析

层次分析法是一种定性与定量结合的决策分析方法。本文中各元素同属一层，步骤为构造判断矩阵、计算权重、一致性检验。

本文构造的判断矩阵如式(13)所示：

\mathit{F}=\left(\begin{array}{ccccc}\mathrm{1}& \mathrm{3}& \mathrm{5}& \mathrm{5}& \mathrm{5}\\ \frac{\mathrm{1}}{\mathrm{3}}& \mathrm{1}& \mathrm{3}& \mathrm{3}& \mathrm{3}\\ \frac{\mathrm{1}}{\mathrm{5}}& \frac{\mathrm{1}}{\mathrm{3}}& \mathrm{1}& \mathrm{1}& \mathrm{1}\\ \frac{\mathrm{1}}{\mathrm{5}}& \frac{\mathrm{1}}{\mathrm{3}}& \mathrm{1}& \mathrm{1}& \mathrm{1}\\ \frac{\mathrm{1}}{\mathrm{5}}& \frac{\mathrm{1}}{\mathrm{3}}& \mathrm{1}& \mathrm{1}& \mathrm{1}\end{array}\right)(13)

最终各指标计算得出的权重为：\mathrm{P}\mathrm{E}\mathrm{R}\mathrm{C}\mathrm{L}\mathrm{O}\mathrm{S}占0.500，f_{\mathrm{B}}占0.236，f_{\mathrm{Y}}占0.088，P_{\mathrm{Y}}占0.088，f_{\mathrm{N}}占0.088。

2.2.2 综合评价

根据各指标加权计算综合疲劳指数，其计算公式如式(14)所示：

S=w_i{x}_i^{\mathrm{*}}(14)

式中：w_i为各项指标对应的权重；x_i^{\mathrm{*}}为该指标当前归一化数值。综合疲劳指数最终分为5个等级，数值越高，疲劳程度越深。

3 实验设计与结果分析

为了评估所提方法的性能，本文设计实验验证特征提取、特征判别和侧面状态下疲劳判别。实验在真实驾驶环境中进行，考虑眼部、嘴部特征和头部姿态，每个受试者提供时长为1 min视频，帧率为30帧/s。视频帧用于训练、验证和测试特征提取和判别。

采用10倍交叉验证，每次用1名受试者的数据测试，其余9名用于训练。评估指标包括准确性、灵敏度和特异性，选择模型时考虑这些指标的平均值。数据集划分比例为8∶1∶1，先增强后划分以保持随机性。模型训练使用默认超参数，实验环境如表1所示。

3.1 眼部、嘴部特征提取实验

3.1.1 数据集准备

由于公开数据集中缺少驾驶员侧面状态下眼部、嘴部位置标注的数据集，因此实验中首先要进行数据集准备。将自建数据集采集的各角度视频数据按帧提取图片，并使用LabelImg工具对图片上人脸的眼部、嘴部位置进行标注，标注时每张人脸图片上标注左眼、右眼和嘴部3种信息，形成训练集、验证集和测试集用于模型训练测试。训练集共7 656张样本图片，验证集共957张样本图片，测试集共957张样本图片。眼部、嘴部特征提取数据集如图7所示，每张图片均有一个对应的txt标注文件。

3.1.2 实验设计

为了实现对眼部、嘴部状态的分析，通过对眼部、嘴部特征提取数据集训练来验证不同算法在多角度侧面状态下各项性能，通过多种算法与实验结果的对比分析本文方法准确性和实时性。

3.1.3 实验结果及分析

眼部、嘴部在所有角度下特征提取实验综合结果如表2所示。根据实验结果可知，本文中提出的YOLOv8-ROI模型能够有效用于提取驾驶员侧脸的眼部和嘴部特征提取，模型在准确性和实时性方面都具有很好的性能。0°、30°、60°、90°下模型综合精确率达到了95.3%，YOLOv8-ROI模型的每秒帧数(frames per second，FPS)达到197帧/s，仅次于Dlib方法的261帧/s，表现出良好的实时性，适用于驾驶员疲劳驾驶检测。

3.2 头部特征提取实验

3.2.1 数据集准备

人脸面部关键点数据集是使用野外人脸面部(Wider Face)关键点数据集进行人脸面部关键点实验，是目标检测领域中最大的人脸检测数据集之一，包含32 203张不同场景、尺寸、姿态和遮挡程度的人脸图像。数据集支持多角度侧脸的面部关键点定位。本文利用Wider Face训练模型，实现基于面部关键点的头部特征提取。

3.2.2 实验设计

为了计算头部姿态，需要在多角度侧脸上准确定位5个关键点。对比常用头部特征提取算法，通过评价指标分析本文方法的准确性和实时性。

3.2.3 实验结果及分析

在所有角度下头部特征提取实验综合结果如表3所示。根据实验结果可知，本文中提出的YOLOv8-Keypoints模型能够有效用于侧面状态下驾驶员头部特征提取，且模型的准确性和实时性都较好。0°、30°、60°、90°下模型综合精确率达到92.5%。而且YOLOv8-Keypoints模型的FPS达到了207帧/s，具有良好的实时性，能够用于疲劳驾驶检测。

3.3 眼部、嘴部状态判别实验

3.3.1 数据集准备

在眼部和嘴部特征状态判别阶段，使用了开源的野外闭眼数据集(closed eyes in the wild，CEW)和打哈欠检测数据集(yawning detection dataset，YawDD)以及自建的侧面多角度数据集。CEW提供了眼部开闭样本，YawDD提供了嘴部开闭样本，自建数据集则提供了多角度的眼部和嘴部样本。所有样本被分为训练集（9 080张）、验证集（1 442张）和测试集（1 135张），这些数据集包含不同光照和角度下的图像，有助于准确判别眼部和嘴部的状态。

3.3.2 实验设计

实验将CEW、YawDD及自建的侧脸多角度下眼部和嘴部区域开闭各状态的数据集输入MobileNetV3-Small模型，分别训练得到眼部状态分类器和嘴部状态分类器，实验时采用模型测试10次结果的平均值。

3.3.3 实验结果及分析

在所有角度下眼部、嘴部状态判别实验综合结果如表4所示。根据实验结果可知，该方法在所有角度下眼部、嘴部特征状态判别的F₁分数分别达到90.5%和92.1%，F₁平均分数也达到了91.3%。实现了对侧面状态下眼部和嘴部状态的判别，可应用于侧脸驾驶员疲劳状态判别。

3.4 头部姿态判别实验

3.4.1 数据集准备

头部姿态计算数据集使用的是自建数据集，实现对自建数据集中90°侧面状态下驾驶员各种头部姿态的计算。为了验证头部姿态判别方法的准确性，从自建数据集中找出57个包含开车状态中的各种头部动作的视频，包括正常、点头和各种异常的头部姿态行为。

3.4.2 实验设计

为验证坐标系转换方法在头部状态判别上性能，使用数据集对算法进行性能测试，测试采用10次实验结果的平均值。

3.4.3 实验结果及分析

所有角度下头部状态判别的实验综合结果如表5所示。该方法在所有角度下点头状态和头部姿态异常状态的F₁分数分别达到了85.7%和86.1%，F₁分数平均值也达到了85.9%，实现了对侧面状态下头部状态的判别，可应用于侧脸驾驶员疲劳状态判别。

3.5 侧面状态下疲劳判别实验

3.5.1 数据集准备

采用文献[1]驾驶员嗜睡检测数据集中白天的视频内容作为驾驶员正面状态的数据集，视频帧的分辨率为640像素×480像素，每段视频平均时长约为60 s，数量为90个。

由于公开数据集中缺少驾驶员侧面状态下的驾驶数据集，因此自建数据集采集15名驾驶员在车内驾驶环境下多角度侧面状态的清醒、轻度疲劳、中度疲劳、重度疲劳的视频，视频规格为每秒30帧图像，单个视频时长为30~45 s。其中包含15名驾驶员0°、30°、60°、90°多角度侧脸状态下各种驾驶状态的多个视频数据集，数据集共计154个。

3.5.2 权重融合实验设计

为了验证多角度侧面状态下疲劳判别方法的准确性，使用自建数据集进行了详细的性能测试。采用两种不同的权重分配方案：一种方案是通过层次分析法优化得到的权重分配，分别为PERCLOS(0.567)、EAR(0.234)、嘴部纵横比(mouth aspect ratio，MAR)(0.112)、打哈欠频率(0.065)和头部姿态变化(0.022)；另一种方案是基于经验设定的权重分配，分别为PERCLOS(0.400)、EAR(0.200)、MAR(0.200)、打哈欠频率(0.150)和头部姿态变化(0.050)。为了确保结果的可靠性和稳定性，每个角度的测试重复进行10次，并取其平均值作为最终的性能指标。对比本文方法与基于经验设定的权重分配方法，实验结果表明，本文方法在所有角度下均展现出更高的精确率、召回率和F₁分数，不仅验证了层次分析法优化权重分配在疲劳检测中的有效性，还表明该方法能够在不同侧面角度下稳定地识别疲劳状态，显著提升了疲劳驾驶检测的鲁棒性和准确性。各角度侧面状态下实验结果如图8所示。

3.5.3 对比实验设计

为了验证本文所提出的方法在正面状态下的有效性，采用与检测侧面状态相同的层次分析法进行权重分配，确保实验设计的一致性和可比性。具体权重分配方案与第3.5.1节中侧面状态检测所使用的方案一致。正面状态与侧面状态实验结果对比如图9所示。

3.5.4 实验结果及分析

实验结果如表6所示，多角度疲劳判别方法在0°、30°、60°、90°不同侧面状态下均取得了良好的准确性。各角度的F₁分数分别为97.7%、96.8%、92.8%和91.1%，综合F₁分数为94.6%。正面状态下，该方法的漏检率为5.3%，精确率和召回率均为93.2%，F₁分数为91.7%，表明本文提出的方法能够有效判别不同角度下的驾驶员疲劳状态，具有较高的准确性和可靠性，可广泛应用于实际场景。

4 结论

本文中提出了一种基于多角度的驾驶员疲劳检测方法，该方法具有非侵入性，能适应多角度视频，有效提取驾驶员的眼部、嘴部和头部特征，实现驾驶员疲劳状态的综合判别。

改进的YOLOv8模型，即YOLOv8-ROI和YOLOv8- Keypoints，分别用于提取ROI和定位面部关键点，均支持实时检测。MobileNetV3用于判别眼部和嘴部状态。通过层次分析法计算得到的综合疲劳指数在多角度下的准确率为94.8%，显示出该方法在速度和精度上的优势。实验覆盖了0°到90°的范围，并在正面状态下进行了测试，结果显示，该方法在平均精度和速度上还有提升空间。未来将通过更细致的实验优化模型，以适应更复杂的场景。

参考文献

[1] 李珺. 2024年上半年全国机动车达4.4亿辆 驾驶人达5.32亿人[J]. 上海商业, 2024(6): 7.

[2] AMODIO A, ERMIDORO M, MAGGI D, et al. Automatic detection of driver impairment based on pupillary light reflex[J]. IEEE Transactions on Intelligent Transportation Systems, 2019, 20(8): 3038-3048.

[3] 梁元辉, 吴清乐, 曹立佳. 基于多特征融合的眼睛状态检测算法研究[J]. 计算机技术与发展, 2021, 31(2): 97-100.

[4] 朱艳, 谢忠志, 于雯, 等. 低光照环境下基于面部特征点的疲劳驾驶检测技术[J]. 汽车安全与节能学报, 2022, 13(2): 282-289.

[5] 郑伟成, 李学伟, 刘宏哲, 等. 基于深度学习的疲劳驾驶检测算法[J]. 计算机工程, 2020, 46(7): 21-29.

[6] ZHU J W, MA Y E, XIA J, et al. A lightweight fatigue driving detection method based on facial features[J]. Signal, Image and Video Processing, 2024, 18(1): 335-343.

[7] SAVAŞ B K, BECERIKLI Y. Real time driver fatigue detection system based on multi-task ConNN[J]. IEEE Access, 2020, 8: 12491-12498.

[8] 王畅, 李雷孝, 杨艳艳. 基于面部多特征融合的疲劳驾驶检测综述[J]. 计算机工程, 2023, 49(11): 1-12.

[9] KAUR N, RANI S, KAUR S. Real-time video surveillance based human fall detection system using hybrid haar cascade classifier[J]. Multimedia Tools and Applications, 2024, 83(28): 71599-71617.

[10] PARVIN S, ROZARIO L J, ISLAM M E. Vision-based on-road nighttime vehicle detection and tracking using taillight and headlight features[J]. Journal of Computer and Communications, 2021, 9(3): 29-53.

[11] JIANG B, LI N, CUI X, et al. Research on facial expression recognition algorithm based on improved MobileNetV3[J]. EURASIP Journal on Image and Video Processing, 2024, 2024: 22.

[12] CHENG G, CHAO P, YANG J, et al. SGST-YOLOv8: an improved lightweight YOLOv8 for real-time target detection for campus surveillance[J]. Applied Sciences, 2024, 14(12): 5341.

[13] WANG T, REN S, ZHANG H.Nighttime wildlife object detection based on YOLOv8-night[J]. Electronics Letters, 2024, 60(15): e13305.

[14] LI Y S, WANG J R, ZHANG K H, et al. Lightweight object detection networks for UAV aerial images based on YOLO[J]. Chinese Journal of Electronics, 2024, 33(4): 997-1009.

[15] BOCHKOVSKIY A, WANG C Y, LIAO H Y M. YOLOv4: optimal speed and accuracy of object detection[DB/OL]. (2020-04-23)[2025-01-15].

[16] GE Z, LIU S, WANG F, et al. YOLOX: exceeding YOLO series in 2021[DB/OL]. (2021-07-18) [2025-01-25].

[17] LI C, LI L, JIANG H, et al. YOLOv6: a single-stage object detection framework for industrial applications[DB/OL]. (2022-09-07)[2025-01-15].

[18] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. YOLOv7: trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Vancouver, BC, Canada: IEEE, 2023: 7464-7475.

[19] YANG L, ZHANG R Y, LI L, et al. SimAM: a simple, parameter-free attention module for convolutional neural networks[J]. PMLR, 2021, 139: 11863-11874.

[20] FERRARIO V F, SFORZA C, SERRAO G, et al. Active range of motion of the head and cervical spine: a three-dimensional investigation in healthy young adults[J]. Journal of Orthopaedic Research, 2002, 20(1): 122-129.

[21] States United, Federal Motor Carrier Safety Administration, Division Technology. PERCLOS: a valid psychophysiological measure of alertness as assessed by psychomotor vigilance: FHWA-MCRT-98-006[R]. Washington, DC: Federal Motor Carrier Safety Administration, 1998.

[22] MA Y H, YUAN G W, YUE K, et al. CJS-YOLOv5n: a high-performance detection model for cigarette appearance defects[J]. Mathematical Biosciences and Engineering, 2023, 20(10): 17886-17904.

[23] WANG C Y, BOCHKOVSKIY A, LIAO H Y M. Scaled-YOLOv4: scaling cross stage partial network[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA :IEEE, 2021: 13024-13033.

[24] LI K N, GONG Y B, REN Z L. A fatigue driving detection algorithm based on facial multi-feature fusion[J]. IEEE Access, 2020, 8: 101244-101259.

[25] REN S Q, HE K M, GIRSHICK R, et al. Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[26] LI H, WANG Y B, NAN Y. Motion fatigue state detection based on neural networks[J]. Computational Intelligence and Neuroscience, 2022, 2022: 9602631.

[27] 陆荣秀, 张笔豪, 莫振龙. 基于脸部特征和头部姿态的疲劳检测方法[J]. 系统仿真学报, 2022, 34(10): 2279-2292.

[28] WAN Y, LIU M, FAN J, et al. Multi-feature analysis fatigue driving based on conditional local neural fields algorithm detection method[J]. Journal of Physics: Conference Series, 2019, 1237: 022157.

[29] 王鹏, 神和龙. 基于深度学习的船舶驾驶员疲劳检测算法[J]. 交通信息与安全, 2022, 40(1): 63-71.

基金资助

国家自然科学基金项目(62362055)

内蒙古自治区高等学校青年科技英才支持计划项目(NJYT22084)

内蒙古自治区自然科学基金项目(2023MS06008)