多模态数据在驾驶疲劳监测中的有效性分析

Analysis of effectiveness of multimodal data in driving fatigue detection

摘要

现有的多模态驾驶疲劳研究主要集中于应用层面，缺乏对各模态与驾驶疲劳之间内在机理的深入探讨。本文旨在探究常用数据源（包括脑电图、心电图及车辆运动信息参数）与驾驶疲劳之间的关系，分析这些数据源在驾驶疲劳中的潜在关联性。通过驾驶模拟试验收集了32组数据，并使用卡罗琳斯卡嗜睡量表评估主观疲劳等级，以眼睑闭合度作为客观疲劳等级的指标。3个模态中参与分析的参数分别为心电R峰间期的标准差（RMSSD）、脑电频段功率比（α+θ/β）以及车辆横向偏移的标准差（SDLP）。探索性因子分析结果中，前3个因子的方差解释率超过50%。采用结构方程模型构建了各模态与驾驶疲劳之间的潜在关系模型，分析结果表明：各模态均能在一定程度上解释驾驶疲劳的变异性，其中，RMSSD和SDLP在预测主观疲劳方面具有显著优势，而α+θ/β与客观疲劳表现出密切的关联性。

Abstract

The existing research on multimodal driving fatigue detection mainly focuses on the application level， lacking in-depth exploration of the underlying mechanisms between each mode and driving fatigue. This study aims to explore the relationship between commonly used data sources （including electroencephalogram， electrocardiogram， and vehicle motion information parameters） and driving fatigue， and analyze the potential correlation between these data sources in driving fatigue detection. We collected 32 sets of data through driving simulation experiments and evaluated subjective fatigue levels using the Karolinska Sleepiness Scale， with eyelid closure as an indicator of objective fatigue levels. The parameters of the three modalities are the standard deviation of the R-peak interval of the electrocardiogram （RMSSD）， the power ratio of the EEG frequency band （α+θ/β）， and the standard deviation of the vehicle lateral offset （SDLP）. In the exploratory factor analysis results， the variance explained by the first three factors exceeds 50%. A potential relationship model between various modes and driving fatigue was constructed using structural equation modeling. The analysis results showed that each mode can explain the variability of driving fatigue to a certain extent. Among them， RMSSD and SDLP have significant advantages in predicting subjective fatigue， while α+θ/β shows a close correlation with objective fatigue.

Graphical abstract

关键词

交通运输系统工程 / 驾驶疲劳 / 多模态 / 结构方程模型

Key words

engineering of communication and transportation system / driving fatigue / multimodal / structural equation model

0 引 言

疲劳是一种复杂的多维现象，包括生理和心理两个都分，可通过主观和客观测量进行评估^［1］。主观疲劳体验通常通过自我报告问卷等指标进行评估，自我报告能够快速提供有关疲劳水平的洞察，并能捕捉精神疲劳和/或感知的重要维度^［2］。相较而言，客观测量则通过脑电图（EEG）、眼动追踪或眼动仪以及警觉性任务等技术更为精准地评估疲劳。与主观测量相比，客观测量通常更复杂，需要更多资源，并且在技术上具有挑战性（例如，这些测量可能需要专门设备、受控环境和更耗时的设置）^［3］。

在当前的驾驶疲劳领域，脑电图（EEG）、心电图（ECG）和车辆运动信息是常用的数据源^［4］。EEG被誉为驾驶疲劳的“黄金标准”^［5］。其早期研究主要集中于特定脑区的熵特征和光谱功率测量。例如，有研究发现，在驾驶疲劳期间，枕部区域的样本熵会降低，并且在中央、顶叶和枕部区域也观察到了类似的疲劳减少^［6］。相关的脑网络研究则集中在区域连接和全脑平均方面，应用了大量相关参数^［7］。近年来，诸如EEGNet等自动特征提取器的出现，使得EEG信号的应用更加便捷。EEG信号在驾驶疲劳中表现出高度的准确性和可靠性，因为其特征可以始终如一地识别驾驶疲劳^［8］。

ECG在驾驶疲劳中的应用相对较晚，通常基于心率变异性（HRV）分析^［9］。HRV分析是一种基于ECG信号中R峰间隔（即RR间期）的系列分析方法。尽管ECG在驾驶疲劳识别中也具有较高的可靠性，由于人体心跳间隔的特性，常规的HRV分析窗口通常需要包含多个心跳周期，因而时间分辨率较低^［10］。

车辆运动信息在以往的驾驶安全研究中也是常用的指标，例如，车速降低、车速波动增加和车道保持能力下降都被证明与驾驶警觉性下降具有很强的相关性^［11］。本文采用卡罗琳斯卡嗜睡量表（KSS）得分和眼睑闭合度（PERCLOS）作为主观和客观疲劳程度的测量指标。基于先前研究，选择脑电图中的α+θ/β比值、心电图中的RMSSD（R峰间期的标准差）以及车辆运动信息中的SDLP（车辆横向偏移的标准差）作为研究指标，因为这些指标在文献中被多次证明与驾驶疲劳具有强相关性。本文通过结构方程模型（SEM），将主观、客观疲劳与脑电图、心电图和车辆运动信息的测量指标进行潜在多维结构建模，以建立多模态数据与疲劳之间的潜在联系。

1 驾驶模拟试验

为实现研究目标，本文搭建了一个驾驶模拟试验平台，如图1所示。该平台使用了Bitbrain-256 Hz-8导半干式脑电仪、1 024 Hz单极导联式心电测量模块、Tobii Glass 3眼动仪和罗技C922摄像头作为获取数据的传感器。模拟试验在SCANeR Studio驾驶模拟仿真平台上进行，仿真场景的搭建通过该平台完成，数据流的同步则由Ergolab数据同步平台实现。试验设计参考多种心理学范式，分场景进行驾驶模拟，整体试验流程由Psychopy心理学试验软件平台控制。

1.1　参与人

本文的参与者为持有有效驾照的健康且未被剥夺睡眠的志愿者。参与者从普通人群中招募，并报告称他们在试验前一晚获得了充足的睡眠（约8 h），在试验前24 h内没有饮酒，且在12 h内未饮用含咖啡因的饮料。为避免昼夜节律或任何昼夜变化的混淆影响，所有试验均安排在上午9点至12点之间进行。在驾驶过程中，不允许使用手机和手表。所有参与者都符合以下选择标准：

①试验当天，在试验开始前未进行其他驾驶活动；② 试验前一晚有充足的睡眠；③ 视力正常或矫正至正常。

1.2　试验设计

由于“短时间内高需求的反应是否与长时间内低需求的反应相同？”这一关于操作员疲劳研究的经典问题至今尚未得到充分解答，仍需相关研究来解决。因此，本文设计了两个驾驶场景。

场景1：此场景为长直线或大半径曲线的道路线形，无额外驾驶任务。受试者被要求在环境单调、交通流量低的高速公路上行驶60 min。

场景2：此场景为城市道路，包含信号交叉口、跟车任务以及次要任务。受试者被要求在有负载任务的环境下驾驶60 min。

1.3　负载任务

该任务仅在场景2中进行，使用了心理学中常用的心算任务^［12］。预先编写的音频会每3 s播放一个1~9的随机数。参与者需要在驾驶时对当前数字和之前听到的数字进行加法计算，并大声说出结果。数字每10 min播放5 min，以增加参与者的心理负荷。

1.4　屏幕警惕任务

该任务在所有场景中均需进行。在试验前后均设置5 min的屏幕警惕任务。该任务设计基于Psychopy心理学试验设计软件，包括N-back工作记忆（Working memory， WM）测试、Stroop认知干扰（Cognitive interference， CI）测试、反应能力（Reaction capacity， RC）测试和注意力（Attention， A）测试4个模块。这些模块分别对应于认知心理学中信息加工模型（见图2）的记忆系统、控制系统、反应系统和感觉系统。

1.5　主观问卷调查

主观问卷调查在所有场景中均需进行。在整个试验过程中，由车载语音助手每5 min询问一次KSS（卡罗琳斯卡嗜睡量表）得分。在试验结束后，要求受试者填写WP（工作压力）问卷。此外，受试者还需在试验前和试验后额外记录一次KSS得分。

2 试验结果

2.1　数据收集情况

在驾驶模拟试验中，本文共收集了20名被试的32次试验数据，其中场景1和场景2各进行16次。收集的数据类型如表1所示。

2.2　试验有效性分析

通过分析试验前后的主观问卷和屏幕警惕任务数据，本文采用配对样本t检验来确定各评分平均差异（平均值M，标准差SD）是否具有显著的统计学意义，从而验证试验的有效性。结果显示，KSS和WP得分均存在显著差异（见表2）。场景1和场景2的WP得分差异显著，这表明认知负载任务确实增加了驾驶负荷。在场景1中，完成1 h的驾驶任务后，KSS得分显著增加（t=4.357， p<0.05， d=0.97）。在场景2中，完成1 h的驾驶任务后，KSS得分变化更加显著（t=5.929， p<0.05， d=1.33），且KSS得分增加的幅度比场景1更大。这可能意味着长时间低负载场景相比于短时间高负载场景更容易引起驾驶者困倦程度的增加。

屏幕警惕任务的结果统计如表3、表4所示。完成驾驶任务后，场景1与场景2的认知干扰测试结果无显著差异，但反应能力和注意力均显著下降。唯一不同的是，在工作记忆能力上，场景2表现出比场景1更好的性能。这可能意味着短时间高负载相较于长时间低负载更容易对工作记忆能力（即记忆系统）造成损害。

屏幕警惕任务的准确性是基于信号检测理论（见表4）计算的，计算公式见式（1），计算结果见表5。

\mathrm{准确}\mathrm{率}=\frac{\mathrm{击中}+\mathrm{正确}\mathrm{拒绝}}{\mathrm{击中}+\mathrm{Ⅰ}\mathrm{类错}\mathrm{误}+\mathrm{Ⅱ}\mathrm{类错}\mathrm{误}+\mathrm{正确}\mathrm{拒绝}}（1）

2.3　结果解析

共有6种指标参与分析，具体来说，RMSSD代表心电层面的神经生理性疲劳，α+θ/β代表脑电层面的神经生理性疲劳，SDLP代表由于疲劳导致的驾驶能力下降，PERCLOS代表由于疲劳引起的客观眼部变化，KSS评分代表驾驶员的主观疲劳感受。最近的研究提出了一种混合指标K，该指标结合了主观和客观疲劳，其公式如式2所示^［13］。该指标也被纳入本文的分析体系，作为变量参与分析。混合指标K同时考虑了主观和客观的影响因素。

K=\mathrm{0.4}{K}_{\mathrm{1}}+\mathrm{0.6}{K}_{\mathrm{2}}（2）

式中：K₁为由主观因素决定的疲劳指数；K₂为由客观因素决定的疲劳指数。

采用双变量相关分析来评估多模态数据源与驾驶员主观、客观疲劳及混合指标之间的关系。结果表明，SDLP与PERCLOS在两种场景下均呈显著正相关（r=0.28， p=0.03/ r=0.31， p=0.02），PERCLOS与KSS在两种场景下也均呈显著正相关（r=0.32， p= 0.016/ r=0.35， p=0.02）。其余指标之间的相关性均不显著。

结合试验结果的统计分析和双变量相关分析，发现短时间高负载与长时间低负载的潜在影响可能更多地体现在工作记忆等心理层面，而在主观与客观疲劳方面差异不显著。因此，将两个场景的样本数据合并，以进一步分析多模态数据源对驾驶疲劳的潜在影响。

对所有变量进行Promax旋转主轴因子的探索性因子分析（EFA），提取3个主轴因子，分别解释了总方差的28.9%、22.1%和4.9%。表6展示了探索性因子分析中使用的变量以及因子分析的载荷矩阵。因子1由KSS和PERCLOS共同加载，因子2则由RMSSD和SDLP与KSS共同加载，因子3由α+θ/β与PERCLOS共同加载。值得注意的是，因子1和因子3之间呈显著正相关。

结合探索性因子分析结果，可以为结构方程模型的构建提供信息，以测试不同维度的疲劳。具体来说，EFA结果表明，RMSSD和SDLP与主观疲劳关系密切，而α+θ/β可能更能体现客观疲劳。

3 模型建立

3.1　建模分析

本文采用数据驱动的方法，通过驾驶模拟试验收集驾驶疲劳的多模态数据，并结合主观和客观疲劳参数，考察当前研究中常用数据源与驾驶疲劳之间的潜在关系。在结构方程模型（SEM）构建过程中，疲劳被构建为潜在因素。考虑到多维疲劳结构的构建，具体的SEM模型规格并不直接类似于EFA因子结构。本文将主观、客观和混合疲劳维度分开，然后采用偏最小二乘结构方程模型（PLS-SEM）探讨选取指标之间的关系。使用偏最小二乘估计对结构模型进行测试，分别运行模型以预测疲劳的潜在结构。该潜在疲劳变量通过观察到的主观、客观和混合层面分别进行测量。使用引导样本评估SEM模型中路径的重要性，并根据p<0.05的阈值识别出显著的路径。

在KSS参与的模型中，RMSSD对疲劳状态的影响显著（p<0.01），而其他变量没有显著影响；在PERCLOS参与的模型中，只有α+θ/β对疲劳状态有显著影响（p<0.01）；在K参与的模型中，所有变量对疲劳状态的影响均显著（p<0.01）。3个模型的SEM路径图如图3~图5所示。

本文发现，RMSSD和SDLP在主观疲劳方面具有良好的预测能力，而α+θ/β在预测客观疲劳方面表现更为出色。需要注意的是，本文弱化了指标高低对疲劳的绝对影响（即参数与疲劳之间的正/负相关关系），原因在于本文更关注从所选指标中研究其背后模态数据的有效性。

拟合结果表明：RMSSD和SDLP对疲劳有显著影响，而α+θ/β的影响相对较小。当KSS和K作为潜变量时，模型的拟合度较高，而PERCLOS的拟合度相对较低。作为综合变量，K结合了KSS和PERCLOS的特性，在模型中表现稳定，更适合作为疲劳状态的综合指标。其中，RMSSD、α+θ/β、SDLP的路径系数分别为0.308、0.231和0.229。

3.2　讨论

在本文中，RMSSD、α+θ/β、SDLP均表现出一定的预测能力，这与先前的研究结果一致^［14］。RMSSD和SDLP未显示出显著的独立关系，这可能是因为车辆控制和驾驶能力的下降通常发生在疲劳的后期阶段，与RMSSD检测到的早期自主神经系统变化相比，表现得不那么明显。

对于研究问题“短时间内高需求的反应是否与长时间内低需求的反应相同”，本文基于信息加工理论进行了试验。结果表明：这两种情况下引发的驾驶疲劳区别更多体现在心理层面，尤其是注意力方面。

由于驾驶疲劳受人体神经系统控制，影响因素众多，因此，本研究在模拟驾驶任务的背景下评估疲劳，并在场景设计中添加了负载任务元素。研究结果可能包含了驾驶者通常经历的更普遍的疲劳水平，而不仅仅是与驾驶本身独特相关或由驾驶引起的疲劳。然而，多模态数据指标可以独立于具体评估活动，反映潜在的疲劳模式，这也是本文合并场景数据的可行性依据。

4 结束语

本文建立的结构方程模型（SEM）对主观、客观和混合层面的疲劳变异解释度分别达到了0.304、0.130和0.201，这证明了RMSSD、α+θ/β和SDLP作为驾驶疲劳预测因子的有效性。特别是RMSSD和SDLP在主观疲劳方面，以及α+θ/β在客观疲劳方面的性能。同时，本文也证明了混合指标K作为一种新型疲劳标准，更适合应用于多模态的驾驶疲劳识别问题。这些结论为未来的多模态驾驶疲劳研究指明了方向。

此外，这些指标的有效性也印证了脑电、心电和车辆运动信息作为多模态数据源在驾驶疲劳中的价值，并部分解释了不同模态在不同疲劳维度上的效用差异。未来的研究可以关注这些模态的其他指标，或基于原始数据信号进行进一步的数据挖掘。

参考文献

[1] 苏瑞芝, 唐巾卜, 阿地力·吐合提, 等. 基于生理参数的驾驶疲劳检测方法综述[J]. 复旦学报: 自然科学版, 2023, 62(4): 419-427.

[2] Su Rui-zhi, Tang Jin-bu, Tuheti Adili, et al. Review of driving fatigue detection methods based on physiological parameters[J]. Fudan Journal (Natural Science Edition), 2023, 62(4): 419-427.

[3] 金立生, 牛清宁, 刘景华, 等. 不同道路线形下驾驶人认知分散状态监测[J]. 吉林大学学报: 工学版, 2014, 44(3): 642-647.

[4] Jin Li-sheng, Niu Qing-ning, Liu Jing-hua, et al. Driver cognitive distraction detection in different road lines[J]. Journal of Jilin University(Engineering and Technology Edition),2014,44(3): 642-647.

[5] 孙一帆, 吴超仲, 张晖, 等. 个体差异对转向指标疲劳辨识能力的影响分析[J]. 中国公路学报, 2020, 33(6): 157-167.

[6] Sun Yi-fan, Wu Chao-zhong, Zhang Hui, et al. Analysis of the influence of individual differences on the fatigue identification ability of steering indicators[J]. Chinese Journal of Highways, 2020, 33 (6): 157-167.

[7] Wang Y, Liu X, Zhang Y, et al. Driving fatigue detection based on EEG signal[C]∥Fifth International Conference on Instrumentation and Measurement, Computer, Communication and Control, Qinhuangdao, China, 2015: 715-718.

[8] Lan Z, Zhao J, Liu P, et al. Driving fatigue detection based on fusion of EEG and vehicle motion information[J]. Biomedical Signal Processing and Control, 2024, 92: 106031.

[9] Wang H, Dragomir A, Abbasi N I, et al. A novel real-time driving fatigue detection system based on wireless dry EEG[J]. Cognitive Neurodynamics, 2018, 12(4): 365-376.

[10] Chen J, Wang H, Wang Q, et al. Exploring the fatigue affecting electroencephalography based functional brain networks during real driving in young males [J]. Neuropsychologia, 2019, 129: 200-211.

[11] Harvy J, Bezerianos A, Li J. Reliability of EEG measures in driving fatigue[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2022, 30: 2743-2753.

[12] Van R C M, Kollee L A, Hopman J C, et al. Heart rate variability[J]. Annals of Internal Medicine, 1993, 118(6): 436-447.

[13] Bhardwaj R, Natrajan P, Balasubramanian V. Study to determine the effectiveness of deep learning classifiers for ECG based driver fatigue classification[C]∥Proceedings of the IEEE 13th International Conference on Industrial and Information Systems, Rupnagar, India, 2018: 98-102..

[14] Zhang X, Wang X, Yang X, et al. Driver drowsiness detection using mixed-effect ordered logit model considering time cumulative effect[J]. Analytic Methods in Accident Research, 2020, 26: 100114.

[15] Hu X, Lodewijks G. Exploration of the effects of task-related fatigue on eye-motion features and its value in improving driver fatigue-related technology[J]. Transportation Research Part F: Traffic Psychology and Behaviour, 2021, 80: 150-171.

[16] Zhang H, Ni D, Ding N, et al. Structural analysis of driver fatigue behavior: a systematic review[J]. Transportation Research Interdisciplinary Perspectives, 2023, 21: 100865.

[17] Srinivasan A G, Smith S S, Pattinson C L, et al. Heart rate variability as an indicator of fatigue: a structural equation model approach[J]. Transportation Research Part F: Traffic Psychology and Behaviour, 2024, 103: 420-429.

基金资助

国家重点研发计划项目(2021YFC3001500)