数字化学习中认知负荷智能化评估研究进展

刘娟 ,  胡雪莲 ,  王军豪 ,  刘清堂 ,  付雅瑄

武汉大学学报(理学版) ›› 2025, Vol. 71 ›› Issue (4) : 427 -441.

PDF (710KB)
武汉大学学报(理学版) ›› 2025, Vol. 71 ›› Issue (4) : 427 -441. DOI: 10.14188/j.1671-8836.2024.0211
综述

数字化学习中认知负荷智能化评估研究进展

作者信息 +

Research Progress on Intelligent Assessment of Cognitive Load in Digital Learning

Author information +
文章历史 +
PDF (726K)

摘要

随着智能技术的飞速发展,数字化学习的逐渐普及为学习者们提供了多样化的资源和途径,然而这一学习方式在丰富学习体验的同时也对学习者的认知负荷带来了复杂的挑战。传统的认知负荷测量方法存在过程性不足、动态监测缺失以及即时反馈缺乏等精准度方面的问题,因此,认知负荷智能化评估逐渐成为研究的热点。智能化评估通过结合生理指标,利用机器学习与深度学习等非侵入性技术手段,实现对学习者认知负荷的精准评估。本文系统梳理了支持向量机、随机森林、线性判别分析等传统机器学习算法,以及前馈神经网络、卷积神经网络、长短期记忆网络和混合模型等深度学习算法在认知负荷智能化评估中的应用,探讨数字化学习中认知负荷智能化评估的启示和发展方向,并探索了大语言模型在认知负荷智能化评估中的潜力,旨在为高效的数字化学习提供帮助。

Abstract

With the rapid development of intelligent technology, the gradual popularization of digital learning has provided learners with diversed resources and pathways to learn. However, while this learning mode enriches the learning experience, it also brings complex challenges to learners' cognitive load. Traditional cognitive load measurement methods have problems with accuracy, such as insufficient processing, a lack of dynamic monitoring, and a lack of immediate feedback. Therefore, intelligent assessment of cognitive load has gradually become a popular research topic. Intelligent assessment can achieve accurate assessment of cognitive load by combining physiological indicators and using non-invasive technical means such as machine learning and deep learning. This study systematically reviews the applications of traditional machine learning algorithms, such as Support Vector Machine (SVM), Random Forest, and Linear Discriminant Analysis (LDA), as well as deep learning algorithms, including Feedforward Neural Networks (FNN), Convolutional Neural Networks (CNN), and Long Short-Term Memory networks (LSTM), in the intelligent assessment of cognitive load. It also explores the applications of the hybrid models. Finally, the study proposes insights and development directions for the intelligent assessment of cognitive load in digital learning and explores the potential of the large language model(LLM) in the intelligent assessment of cognitive load, aiming to provide assistance for efficient digital learning.

关键词

数字化学习 / 认知负荷 / 智能化评估 / 机器学习 / 深度学习

Key words

digital learning / cognitive load / intelligent assessment / machine learning / deep learning

引用本文

引用格式 ▾
刘娟,胡雪莲,王军豪,刘清堂,付雅瑄. 数字化学习中认知负荷智能化评估研究进展[J]. 武汉大学学报(理学版), 2025, 71(4): 427-441 DOI:10.14188/j.1671-8836.2024.0211

登录浏览全文

4963

注册一个新账户 忘记密码

0  引 言

21世纪以来,伴随着互联网、多媒体、人工智能等信息技术的飞速发展,数字化学习逐渐普及。数字化学习凭借其突破时空限制的优势和高度的灵活性,让学习者能够通过互联网获得大量的信息资源和多样的学习方式。虽然这为学习者个性化学习提供了强大支持,但也给师生在资源信息的筛选和处理上带来了难题与挑战。当学习者处于学习或任务情境中时,如果大脑中认知资源的消耗超过自身的认知能力,就会产生认知负荷[1]。认知负荷过高或过低均不利于数字化学习效果,只有保持合理的认知负荷,才能有效提升数字化学习质量。应用认知负荷评价学习质量,是提升数字化学习效果的重要前提,传统的认知负荷测量方法虽然取得了很多成效,但存在过程性、动态性和即时性缺失等精准性问题。随着智能技术的发展,尤其是机器学习和深度学习技术的应用,认知负荷智能化评估逐渐成为研究的热点,这弥补了传统认知负荷测量的不足。

尽管前人已开展相关研究,但现有综述多聚焦于传统测量方法或单一技术应用,缺乏对智能化评估技术进行系统梳理。近年来,深度学习技术的飞速发展为认知负荷评估提供了新的思路和方法,在精度、动态性和即时性方面展现出显著优势。本文针对支持向量机、随机森林、线性判别分析等传统机器学习算法,以及前馈神经网络、卷积神经网络、长短期记忆网络等深度学习算法在认知负荷智能化评估中的应用进行系统性梳理与批判性分析。通过整合生理信号与行为数据,探讨不同算法的特征提取机制、分类性能边界及其在动态监测中的适配性,揭示算法设计与数据模态之间的协同关系,进一步剖析了混合模型与多模态融合技术的创新路径,强调其在提升评估鲁棒性与泛化能力方面的关键作用。尽管深度学习是机器学习的重要分支,但其多层神经网络模型与传统机器学习方法在特征提取机制、数据需求及性能表现上存在显著差异。为了清晰对比两类技术的应用特点,本文分别讨论传统机器学习与深度学习在认知负荷评估中的实践。此外,针对大语言模型时代的技术变革,探索了Transformer架构在跨任务认知负荷表征中的潜力,为突破传统模型的时序建模瓶颈提供了理论依据。本研究可望为教育技术开发者优化学习资源设计、构建自适应学习系统提供方法论支持,为教育者动态调整教学策略、实现个性化学习干预提供技术基础。通过揭示算法创新与教育场景需求之间的映射关系,推动认知负荷评估从实验室研究向真实学习环境的高效迁移,为数字化学习质量的科学化、智能化提升开辟新的研究方向。

1  相关介绍

1.1 认知负荷与数字化学习

在20世纪80年代,澳大利亚教育心理学家Sweller[2]在研究如何更有效地学习复杂任务时,发现了工作记忆的有限性规律,并提出了认知负荷理论,旨在通过理解和管理工作记忆中的学习知识来提高学习效率和发展学生信息能力。认知负荷是指在工作记忆处理信息时所付出的心理努力,它影响着学习新知识的效率[3]。认知负荷可以分为内在认知负荷(取决于学习材料复杂性)、外在认知负荷(受信息呈现方式左右)和相关认知负荷(关乎新旧知识整合。YDL(Yerkes-Dodson Law)认为过高的内在、外在认知负荷不利于学习者的表现,让学习保持恰当内外认知负荷和唤醒水平,需优化学习策略与教学内容提升学习效果[4]。相关认知负荷有利于加深理解、促进深度学习和知识迁移,但相关认知负荷过重则会因消耗过多认知资源,降低学习效率与效果[5-8]

数字化学习是指学习者在数字化的学习环境中,利用数字化学习资源,以数字化方式进行学习的过程。通过数字技术(如在线平台、互动多媒体、虚拟现实等)支持的学习活动,涵盖在线课程、自适应学习系统、模拟训练等多种形式,旨在提升学习者的知识获取与技能培养效率。数字化学习环境凭借先进的数字技术和工具,为学习者提供了丰富的数字化资源和多样化的交互体验,同时保证了知识信息的持续更新。认知负荷理论主张在教学设计中剔除无关元素,防止工作记忆过载,避免学习效果的潜在下降,诸如虚拟现实情境、交互式学习媒体等数字化元素的添加会增加学习者的外在认知负荷[9],极易给学习带来负面效应,降低学习效果[8]。但也研究发现,学习者能够通过数字媒体进入虚拟现实环境,与数字产品进行互动,并利用资源搜索、行为轨迹分析和个性化内容推荐等智能化工具轻松地获取知识,从而有效提高学习成效[10]。这种数字化元素的添加虽然增加了外在认知负荷,却往往能够提升学习效果,这与现有认知负荷理论的观点相悖[11],也给学习者的认知负荷带来了复杂的挑战。传统认知负荷测量方法缺乏过程性、动态性和即时性的精准监控,导致数字化学习中的认知负荷难以进行精确测量和过程性评估,进而阻碍了有效数字化学习的实现。因此,精准认知和深入剖析数字化学习中的认知负荷状况至关重要,同时,应用智能技术实现认知负荷的智能化评估也极为关键。

1.2 传统认知负荷测量方法

研究人员基于认知负荷理论框架,开发并验证了多种测量工具专门用于测评内在、外在和相关认知负荷。这些工具能够衡量个体对学习任务的难度感知,并评估个体在执行任务时所需的心理努力。常用的认知负荷评估方法可以分为主观测量法、客观测量法和多模态测量法。

主观测量法涵盖了多种量表,主要包括积极与消极情绪(Positive and Negative Affect Schedule,PAAS)量表、主观工作量评估技术(Subjective Workload Assessment Technique,SWAT)量表、任务负荷指数(Task Load Index,TLX)量表和工作负荷(Workload Profile,WP)量表。PAAS量表基于9分李克特量表,要求学习者报告其认知负荷强度,在测量整体认知负荷方面表现可靠[12]。Leppink等[13]提出的10项量表旨在评估认知负荷的3个维度:内部、外部认知负荷及学习者对讲座内容理解和掌握的相关认知负荷。SWAT量表从时间、努力和心理紧张3个维度评价脑力负荷[14]。TLX量表则从心理需求、体力需求、时间需求、努力程度、业绩水平和受挫程度等6个方面测量认知负荷[15]。WP量表基于多资源模型,将学习行为分为信息处理、编码处理、输入和输出4个维度[16]。尽管主观测评具有实施方便、非侵入性、成本低且广泛接受等优点,但其主观性强,难以实时获取数字化学习中的动态连续性测评数据,且无法精准反映学习者认知负荷的即时变化,因此存在一定的局限性。

客观测量法则提供了一种量化认知负荷的手段,这些方法主要包括基于性能的度量[17]、生理学指标[18]和行为指标[19-20]。在基于性能的度量方面,双任务范式是认知负荷研究中的一种经典方法,要求参与者在执行一项主要任务的同时完成次要任务,以此评估认知资源的分配和工作记忆的占用情况[17]。事件相关电位(Event-Related Potentials,ERP)[21]、脑电图活动(Electroencephalogram,EEG)[22]、磁脑图活动(Magnetoencephalography,MEG)[23]、脑代谢[24]、瞳孔直径[25]、眼动[26]、眨眼(Electrooculogram,EOG)[27]、心脏活动[28]、皮肤电活动[29]等(如表1)是认知负荷的一些常用的生理学指标[18]。行为指标则包括手势/运动和检测响应任务(Detection-Response Task,DRT),手势/运动这些非口头输出可以提供了解人们如何思考和感受的有价值信息[19],DRT通过测量响应时间和准确性来评估认知负荷[20]。这些客观测量方法能实时、连续监测学习者学习过程中的生理指标变化,确保认知负荷测量结果的准确性。然而客观测量指标的变化不仅受认知负荷影响,还可能受情绪波动、环境干扰等无关因素干扰,因此需借助先进设备和技术,由专业人员分析解读数据,确保结果的准确性和可靠性。

多模态测量法通过整合眼动追踪、皮肤电活动、脑电等不同来源的数据,实现对认知负荷的多维度测量。这种测量方法能够发挥多样信息互补的优势,以促进评估结果的准确性。薛耀锋等[30]利用表情、脑电、眼动等多模态数据对数字化学习中的认知负荷进行了评估,并在数据处理阶段建构了认知模型,后续通过机器学习算法验证了模型的有效性和多模态数据的优越性。也有研究者结合眼动的客观测量数据与PAAS量表的主管测量数据,证明了多模态数据融合在认知负荷测量方面的高识别率[31]。虽然多模态测量有着更高的准确性,但是对于研究者的操作技术和融合计算等能力提出了更高的要求,在一定程度上限制了其推广使用[32]

1.3 认知负荷测量中的认知任务

认知任务,作为认知负荷测评实验的核心组成部分,涉及被试者在特定情境下对工作记忆的调用与消耗[1]。此类任务消耗人类的工作记忆,需要进行临时信息存储以处理和检索记忆信息。目前的研究中,主要包括记忆回忆任务、延迟记忆回忆任务、算术任务、阅读理解任务、对比判断任务和视觉搜索任务这几种主要任务类型。记忆回忆任务通过模拟不同认知负荷水平的活动揭示工作记忆在信息处理中的关键作用,以 Sternberg工作记忆任务为例,被试者被要求识别和记忆不同刺激集,进而对当前刺激与记忆中的刺激组进行匹配性检索[33]。在此基础上,延迟记忆回忆任务进一步提升认知挑战,受试者需判定序列中当前刺激与先前n个项目刺激的一致性,其中N-back任务作为延迟记忆回忆任务的典范,通过要求参与者回溯并匹配先前出现的刺激评估个体在动态认知环境下的工作记忆表现,且任务复杂度随n的递增而增强[34]。算术任务中的心算任务(Mental Arithmetic,MA)侧重于考察工作记忆在算术运算与结果记忆方面的综合能力,参与者需在工作记忆中执行两个数字间的算术运算并存储运算结果,随后依据记忆结果执行另一项心理任务,这类任务测试工作记忆在处理算术运算和记忆结果方面的能力[35]。阅读理解任务涉及文本信息的临时存储与处理[36],对比判断任务要求参与者对多个刺激进行比较并作出决策[37],而视觉搜索任务需要参与者在视觉场景中搜寻特定目标并存储搜索的相关信息[38]

所有这些认知任务都需要临时记忆存储中间结果[39],它们都涉及工作记忆的使用,但每种任务对工作记忆的要求和挑战不同。记忆回忆任务和延迟记忆回忆任务主要关注记忆和回忆能力,算术任务涉及到记忆和认知操作的结合,而阅读理解任务、对比判断任务和视觉搜索任务则涉及到更广泛的信息处理和决策制定过程。这些任务在心理学和神经科学领域中被广泛用于研究人类的认知功能和工作记忆的容量。

1.4 数字化学习中认知负荷智能化评估

传统的生理指标测量方法因穿戴不便捷、操作繁琐,缺乏过程性与动态性数据,以及限于实验场地等问题,未达到理想的测量效果[40]。智能技术的发展为各领域的认知负荷的精准监控,提供了技术支持,也为后续教育研究提供了重要价值[30]。对教师而言,智能评估为学习者的认知负荷水平是设计优质学习活动和布置高水平任务的前提,监测学习者认知负荷变化,可以评估学习资源的有效性和适用性,为学习者定制个性化学习路径;学习者则可以通过认知负荷水平反馈,能更清晰地认识自己的学习状态,从而调整学习方法与策略,有效促进自我学习调节。认知负荷智能化评估是基于生理指标,通过融合传统机器学习与深度学习等非侵入技术手段,实现对学习者认知负荷的精准评估方法,目前主要应用飞行模拟训练、虚拟实验和汽车模拟驾驶等数字化学习场景中,但仍处于探索阶段。从以往的研究来看,传统机器学习技术主要包括了SVM(Support Vector Machine)算法、随机森林算法、LDA(Linear Discriminant Analysis)算法等,深度学习技术主要包括前馈神经网络、卷积神经网络、长短期记忆网络、混合模型等。

测评指标有分类准确率,F1值和AUC(Area Under Curve)。其中AUC通过计算ROC(Receiver Operating Characteristic)曲线下的面积综合衡量模型的分类性能,AUC的值在0.5到1之间,值越大表示模型分类性能越好。

分类准确率:

Accuracy=TP+TNTP+TN+FP+FN×100%

其中,TP为正确预测为正类的样本数,TN为正确预测为负类的样本数,FP为错误预测为正类的样本数,FN为错误预测为负类的样本数。

F1值:

F1=Precision×RecallPrecision+Recall×2×100%
Precision=TPTP+FP
Recall=TPTP+FN

也有研究采用如下的公式计算分类准确率:

Accuracy=正确分类样本样本总数×100%

2  传统机器学习技术应用

2.1 SVM算法

SVM(支持向量机)算法,作为监督学习分类方法,通过分析数据特征,能确定最大间隔分隔不同类别数据的决策边界。该算法在认知负荷评估中占据重要地位,因为它为区分不同认知负荷状态下的脑电信号提供了一种有效手段。Qu等[41]进行了一个模拟飞行实验,用Bio Radio设备收集并预处理了心电图(Electrocardiogram,ECG)数据。他们提取了ECG信号的RR间期、T波和P波功率、QRS复合波功率及样本熵(Samp En)等特征,用于构建SVM分类模型。通过比较不同分类器的性能,他们发现随着使用的特征数量增加,分类器的精确度和召回率也随之提高,分别为90.88%和91.86%。Brouwer等[21]通过借助Field Trip中的SVM分类器,对神经信号或脑电数据进行精确高效地分类,揭示大脑活动的模式和特征。通过利用核函数将输入数据映射到高维特征空间,进而实现了对复杂数据的准确分类。

SVM分类器在神经科学研究领域展现出了广泛的应用潜力,为研究者们提供了深入理解和分析大脑活动规律和机制的有力工具。SVM算法在机器学习驱动的认知负荷评估中扮演核心角色。它不仅作为评估新模型性能的标准,还助力于特征的分类和选择[42],是研究者的重要工具。SVM擅长处理高维、非线性和小样本数据,因此常被用于认知负荷评估。研究者在开发新模型时,常以SVM为参照,通过比较分类准确率和稳定性优化模型,提升评估的精确度和效率。

2.2 随机森林算法

由于认知负荷数据具有数据量小、维度多、线性相关性强等特点,而随机森林算法在处理小数据、高维数据分类问题中具有良好表现,且抗过拟合能力较强,所以随机森林算法也经常被用于认知负荷评估。马艳丽等[43]设计了不同认知负荷下的模拟驾驶实验学习,分析了脑波特征和电子感知指标,挑选出显著差异的特征。他们运用降维技术,提取出特征的均值与标准差,并将这些数据作为随机森林模型的输入参数。该模型应用了自助采样法,通过随机选取预测变量,并利用投票机制实现分类。在不同时间窗口内预测接管绩效,并比较了不同特征的预测效果。通过计算准确率、精确率、召回率和F1值的宏平均值和微平均值来评估模型。结果显示,随机森林算法在9 s窗口内预测效果最佳,且其平均AUC值优于SVM等其他算法。孟荣华等[44]采用随机森林算法来解决认知负荷分类问题,并针对数据的线性相关性进行了算法改进,创建了一种基于互信息量的随机森林模型;设计了N-back脑电试验,收集脑电信号和装配数据,并结合主观评定进行分析。为避免小样本训练导致的过拟合,使用SMOTE算法扩充数据。通过随机采样构建基础随机森林模型,并计算特征间的互信息量,构建特征集互信息矩阵。基于决策树样本的相关性计算,构建样本相关性度量矩阵,并通过均值计算得到决策树相关性度量矩阵。使用验证集筛选出准确率超过70%的决策树,以及相关性度量矩阵中数据小于0.5的决策树,合并这两个集合形成最终的随机森林模型。最后,使用测试集验证了这个基于互信息量的随机森林模型的准确性。

随机森林算法通过集成多个决策树,显著降低了单一决策树可能导致地过拟合问题,同时充分利用了高维数据中的信息,从而增强了分类任务的准确性。尽管随机森林算法在处理高维数据和样本量较小的数据集时,已经展现出了出色的性能,但在处理认知负荷数据的高线性相关性问题时,仍需进行进一步优化算法。

2.3 LDA算法

LDA(线性判别分析)作为一种线性分类方法,其简洁的数学模型和较少的计算量使其在认知负荷评估中具有吸引力[45]。在认知负荷评估领域,特别是面对具有线性可分特性的数据时,LDA算法能够展现出其强大的分类能力,提供可靠的分类结果。同时,LDA算法对样本数量的需求不高,即便在处理有限数据集时,也能表现出优异的性能。Çakir等[46]利用功能性近红外光谱技术(Functional Near-Infrared Spectroscopy,fNIRS)收集了飞行员在飞行模拟器中的大脑活动数据,并基于LDA构建了一个分类模型以评估认知负荷。从原始光学信号中提取了氧合血红蛋白(HbO)和脱氧血红蛋白(HbR)浓度变化作为特征,构建了92维特征向量进行线性判别分析。研究者依据飞行员的认知负荷表现,手动将其划分为低、中、高三个等级,并利用这些标注数据来训练LDA模型。该模型通过两个判别函数区分不同的认知负荷水平:第一个函数区分低负荷和高负荷,第二个函数进一步区分高负荷与中低负荷。通过交叉验证,即用一名飞行员数据训练模型,再用该模型预测其他7名飞行员的认知负荷水平,评估了模型的准确率。

另外,Abibullaev等[47]训练了三种类型的学习算法来对大脑血流动力学信号进行分类,这些算法分别是:反向传播神经网络(Back Propagation Neural Network,BPNN)、LDA和SVM。利用19通道fNIRS系统采集数据,并通过连续小波变换(Continuous Wavelet Transform,CWT)和软阈值去噪算法预处理,形成输入数据集。LDA分类器在训练过程中,会计算各类别的均值和协方差矩阵,从而确定一个线性决策边界,该边界旨在最大化类别间距并最小化类别内距。LDA分类器的性能最终取决于输入特征的选择和类别分布假设的合理性。与BPNN和SVM等复杂算法相比,LDA在处理非线性关系时可能表现不佳。BPNN凭借多层网络结构和非线性激活函数,能够捕捉数据中的复杂关系;而SVM则通过最大化类间间隔的策略,找到最优的分类边界。在认知负荷评估中,如果数据具有复杂的非线性关系,那么这些算法可能会比LDA更有优势。尽管LDA在认知负荷评估中存在某些局限性,但它依然是一个不可或缺的工具。在实际应用中,可以结合LDA与其他算法的优势,形成混合模型来提高分类性能。

认知负荷智能化评估中的传统机器学习技术总结见表2

3  深度学习技术应用

3.1 前馈神经网络

前馈神经网络(Feedforward Neural Network,FNN)是深度学习中的一个基础概念,作为一种模拟人脑神经元连接和信息处理方式的计算模型,其核心优势在于其卓越的非线性拟合能力,可以有效地捕捉输入和输出参数之间的线性和非线性关系[48]。FNN模型通过特定的结构和算法从数据样本中提取特征,其中,隐藏层的神经元通过相互连接和信息传递,对输入数据进行逐步的加工和分析[49]。这些神经元能够依据数据的特性和规律,自动习得有效的特征表征,为后续的分类和预测任务奠定坚实基础。这种能力使得FNN能够从生理信号中提取有意义的特征,进而为分类和预测任务提供支持。Tjolleng等[50]通过分析ECG信号评估参与者在执行驾驶任务期间进行N-back任务时的工作量水平,他们采用了时域ECG测量(包括平均心跳间隔( Inter-Beat Interval,IBI)、IBI的标准差以及相邻IBI的均方根差),以及频域ECG测量(包括实验中的低频功率、高频功率和低频与高频功率之比),利用FNN模型,分类准确率达到82%。Samima等[51]采用时域EEG测量(包括功率谱密度)和基于个体化α频率的特征提取方法,利用FNN模型进行分类,实现了98.66%的准确率。FNN因其卓越的非线性拟合能力在认知负荷测评领域表现出显著优势,但FNN的应用也存在一些局限性。首先,FNN的训练高度依赖于大规模标记数据集,这在某些特定场景下可能难以获取。其次,FNN复杂的内部结构使其被视为“黑箱”模型,导致决策过程缺乏透明度,进而限制了结果的可解释性。再者,FNN的性能极大程度上取决于网络架构的设计和参数的精细调优,这需要研究者具备深厚的专业知识和丰富经验,以便优化模型,有效避免过拟合或欠拟合现象。

3.2 卷积神经网络

在深度学习领域,卷积神经网络(Convolutional Neural Network,CNN)因其在图像处理任务中的卓越性能而受到广泛关注[52]。CNN的设计初衷是模仿生物视觉皮层的处理机制,通过局部感受野和权重共享来提取图像特征,随着研究的深入,CNN的变体被广泛应用于计算机视觉、自然语言处理(Natural Language Processing,NLP)、图像分割、遥感以及信号处理等多个领域[53-55]。CNN模型通过分层方式从数据样本中提取特征,其中卷积层负责学习复杂特征,池化层在提升模型性能的同时降低特征图维度,全连接层则将复杂特征映射至输出端[56]。在训练过程中,CNN不断优化权重及其他参数,尽管这一过程耗时,但训练完成后的分类速度会显著提升[57]。在认知负荷测评领域的应用中,CNN模型的输入策略、特征提取和选择方法随着架构的不同而变化[58]

在具体的研究中,Wang等[59]利用VGG-16模型研究了大脑中的血流动力学变化,将fNIRS信号转换为图像输入CNN模型,达到了100%的分类准确率。然而,该研究并未与其他机器学习/深度学习模型进行比较,而是从准确性、真阳性率和假阳性率等方面评估了模型性能。Kwon等[60]采用CNN模型对fNIRS信号进行心算任务和空闲状态的分类,使用了不断发展的归一化激活层,而不是传统的归一化层,将dropout probability设置为0.5,在不使用任何特征提取方法的情况下,所提出的CNN架构优于EEGNet和其他机器学习分类器,准确率为71.20%。Qing等[61]则利用CNN输入层作为解码数据矩阵,成功处理了不同长度的fNIRS信号,其准确率为86.3%。Miles等[62]使用一系列深度学习技术对提取的眼动痕迹进行时间序列分类,CNN在区分低负荷与高负荷眼动时的准确率为87.5%,在区分最老与最年轻年龄组时准确率为76%。Zhang等[63]通过利用地形图像,实现了一个循环3D CNN,用于识别跨任务(N-back和MA)实验中的工作量水平,该模型利用深度学习技术,实现了88.9%的平均分类准确率,表明CNN在处理复杂的脑电信号和识别认知状态方面具有显著潜力。

尽管CNN在分类准确性方面表现出色,但也存在诸多局限性。首先,CNN训练需要大量数据,需招募更多测试对象以扩大数据集规模[64]。其次,尽管CNN在小数据集上可能取得高准确率,但易引发过拟合[65]。由于认知负荷测评领域中的生理信号具有高度时间依赖性,其信号变化发生在一系列时间尺度上,而 CNN 旨在捕获数据局部特征,缺乏对时间动态的显式建模能力,这种特性不匹配可能制约CNN模型在数据集上的表现。此外,CNN涉及大量参数,难以解释分类过程中涉及的逻辑和实际机制。总体而言,CNN在认知负荷测评的生理信号分类任务中展现出巨大潜力。然而,它也面临着数据依赖性强和时间序列处理复杂等挑战。未来的研究应着重于数据集的进一步扩充、提升模型的泛化能力,并深入挖掘时间序列特征,以应对这些挑战。

3.3 长短期记忆网络

为了克服传统循环神经网络(Recurrent Neural Network,RNN)在处理时间序列数据时的梯度消失或梯度爆炸问题,研究者们提出了长短期记忆网络(Long Short-Term Memory,LSTM)模型。LSTM 旨在学习和预测顺序输入,LSTM模型因其输入门、忘记门和输出门的设计[66],能够处理时序数据,更适合认知负荷测评领域的生理信号。这些模型通过考虑过去和现在的信息来预测未来,这是CNN和其他模型无法做到的。

Asgher等[67]使用具有4个LSTM层和4个密集层的模型对脑力负荷进行分类,准确率达到了89.01%,优于CNN的87.45%。Wang等[68]通过LSTM模型对EEG信号进行分析,预测认知负荷,展示了LSTM在处理时序性生理数据方面的优势。Yedukondalu等[69]利用1D-EEG信号及其时频表示作为2D图像,结合双向长短期记忆(Bi-LSTM)模型和不同优化器,对多算术任务的认知负荷进行检测;通过10-fold交叉验证,平均准确率为85.22%。Zhou等[70]使用LSTM-Attention模型,在识别不同认知负荷的模拟飞行转弯任务方面表现卓越。Yoo等[71]使用Bi-LSTM和注意力机制识别学习者观看在线学习视频时的认知负荷,与其他算法(如随机森林、AdaBoost、SVM、XGBoost和人工神经网络模型)相比,该文提出的Bi-LSTM Attention算法准确率高,达到87.1%。

LSTM对时序生理信号的建模能力,使其天然适配教育场景中的连续学习过程。其独特的门控机制使其能够有效地捕捉长期依赖关系,这对于理解和预测认知负荷变化至关重要。然而,LSTM模型存在参数繁多、对数据质量要求高以及难以处理长时间跨度数据等问题,这些都给实际应用带来了挑战,需要仔细考虑并进行优化。总体而言,LSTM是一个强大的工具,能够为认知负荷测评提供深入的洞见,但也需要结合具体的应用场景和数据特点进行调整和优化。

3.4 混合模型

随着技术的发展,深度学习混合模型在认知负荷测评领域的重要性更加显著,这主要是因为该测评的复杂性与多维度特征。认知负荷涉及大脑多区域及多种生理信号,单一模型难以全面捕捉其动态变化。混合模型能够整合不同种类的神经网络结构,从多个视角和层次深入提取特征,从而显著提升对认知负荷动态变化的敏感度和识别精确度。具体而言,混合模型能够整合各类模型的优势,例如CNN在处理EEG等图像数据时擅长提取空间特征,而LSTM则在处理EEG信号的时间序列特性方面表现出色。例如,研究显示,使用CNN和LSTM对EEG数据进行处理,可以有效提取空间和时间特征,从而为认知负荷的精准评估提供丰富的信息基础。

郑瑞凌等[72]提出了一种基于EEG的数字图形界面认知负荷评价方法,融合深度学习的Att-BLSTM(Attention-based Bidirectional Long Short-Term Memory)网络模型与多特征融合技术,通过提取EEG的频域、空间和时域特征,该方法平均准确率达到82.2%。Rahman等[73]通过从驾驶员的眼动信号中提取关键参数,并结合基于领域知识的手动特征提取以及深度学习架构的自动特征提取,CNN+SVM模型的分类准确率为90%。Das Chakladar等[74]提出了一个混合框架,该框架结合了深度神经网络(Bi-LSTM)和基于灰狼优化器的进化方法。他们使用这一模型估计同时多任务活动期间的认知工作量水平(低、中、高),达到了最高86.33%的分类准确率。进一步地,Das Chakladar等[75]在后续研究中实现了一个基于CNN-BLSTM空间注意力的深度学习模型,用于估计基于脑电图的心算任务的工作负载水平。他们从脑电频带方向的地形视频中提取局部脑电特征,在基线、低、中、高4个工作负载级别分类准确率为95.2%。班瑞阳等[76]提出了一种基于改进注意力机制的LSTM与领域对抗网络(Domain-Adversarial Neural Networks,DAN)结合的深度学习模型,用于通过EEG识别认知负荷,该模型在认知负荷识别任务中准确率为75.45%。

混合模型通过整合各类模型的优势,在认知负荷测评领域表现出巨大潜力。未来研究可深入探索多模态数据融合路径,结合EEG、fNIRS、眼动追踪数据,获取更为全面的认知负荷评估指标;同时,还应增强模型可解释性、优化模型架构以适配个体差异,以及研发高效训练算法以应对大规模多模态数据处理。

认知负荷智能化评估中的深度学习技术的总结见表3

4  研究启示

4.1 传统机器学习与深度学习技术的性能对比与适用性分析

在认知负荷智能化测评领域,结合表 2表 3中的数据,可以看出传统机器学习与深度学习技术呈现出显著不同的性能表现和适用特点。传统机器学习方法在处理ECG、EEG等生理信号数据集时,其准确率通常稳定处于88%~95.73%的区间,F1值最高达到94%,AUC值可达0.99。这类方法依赖人工进行特征提取,模型结构相对较为简单,计算效率较高,并且具有较强的可解释性,在数据量有限,或者对决策过程的透明度有较高要求的场景中,有着良好的适用性。不过,其性能会受到特征提取完备程度的限制,特别是在面对复杂的非线性关系时,表现往往不尽如人意。与之相比,深度学习方法凭借强大的自动特征提取能力,在处理如EEG、fNIRS这类复杂信号时,展现出更为突出的潜力。例如,LSTM在MAT-EEG数据集上的准确率为85.22%[69],CNN在VFT-fNIRS数据集上准确率高达100%[59]。深度学习能够挖掘高维数据中的深层模式,尤其适用于时序信号和非结构化数据的分析。然而,部分深度学习模型在数据量不足的情况下,性能表现会大打折扣,同时还存在训练成本高、模型复杂度大以及可解释性差等问题。在实际应用中,技术的选择需要综合考量任务需求和资源条件。传统机器学习适用于小样本且对解释性要求较高的场景,而深度学习则更适合大数据驱动的复杂任务。

4.2 非侵入的认知负荷评估成为数字化学习应用的主要方式

数字化学习中认知负荷智能化测评依赖于多种生理信号的采集,如脑电信号、眼动参数、皮肤电流反应以及心脏反应等,这些传感器能够实时监测学习者的生理反应。认知负荷智能化评估研究可以分为半侵入和非侵入。半侵入式认知负荷智能化评估要求学习者携带数据采集设备,如非便携式的眼动追踪与电脑设备,在数据处理阶段实现智能化评估,是目前主要的认知负荷评估方式。获取这些生理信号需借助专业设备,并在复杂的条件下进行采集,加之这些生理信号的质量还易受到受试者个体差异、采集环境噪声以及设备精度等多重因素的制约,从而影响认知负荷智能化测评的准确性。相比之下,非侵入式认知负荷智能化评估无需佩戴任何让身体有感知的设备,其数据收集和处理阶段均已实现全面智能化。现有以眼动为指标的非侵入认知负荷的智能化评估在自动汽车领域得到了成熟的应用,主要基于瞳孔直径、眼睛注视和眨眼的数据来进行评估。当人们进行具有挑战性的认知任务时,会出现瞳孔扩张的瞳孔反应[77],这种反应是测量认知负荷主要指标,以评估驾驶员在驾驶过程中的认知负荷水平。学习借鉴汽车领域的研究方法,采用非侵入的认知负荷评估将成为数字化学习应用的主要方式,以此推动真实情境中数字化学习中认知负荷智能化评估发展。

4.3 深度学习成为数字化学习认知负荷评估的主要技术

传统机器学习技术是一种能通过经验自动改进的计算机算法。机器学习技术可分为监督学习、无监督学习、半监督学习和强化学习,每种类型都有其独特的应用场景和优势。认知负荷智能评估中传统机器学习技术目前主要从监督学习的SVM算法与随机森林算法,以及无监督学习的LDA算法构建分类模型进行研究。由于无监督学习无法直接从数据中提取认知负荷相关的量化指标(如反应时间、准确率等),而这些指标在多数认知负荷测评中不可或缺,因此无监督学习在此类测评中并不适用。半监督学习在训练过程中可能会受到无标签数据的影响,导致模型性能的不稳定,在认知负荷测评中半监督学习是非理想选择。强化学习主要应用于动态环境中的决策优化,通过智能体与环境交互学习策略,但一般不涉及智能体自身的决策和行为优化,因此不太适合用于认知负荷的智能化评估。传统机器学习分类器主要依赖于人工,这一过程往往需要借助先验信息来完成分类任务[78]。然而,在实际的应用场景中,先验信息的获取常常面临诸多限制,其准确性也难以保证,这使得传统机器学习分类器在多数情况下难以达成令人满意的分类效果[78]。深度学习分类器则呈现出截然不同的特性。深度学习作为机器学习领域的一个重要分支,其核心在于构建具有多层结构的神经网络模型,这些模型能够从大规模的数据中自动学习和提取与任务紧密相关的特征,而无需预先明确的先验知识[79]。复杂的神经网络架构使深度学习模型能够多层次地抽象和表征输入数据,精准捕捉内在模式和规律,从而显著提升分类性能。这种自动特征提取能力使得深度学习在处理复杂数据时展现出卓越的适应性和优势,为各类分类任务提供了更为强大的解决方案[79-81]。因此,深度学习技术将是未来认知负荷评估的主要技术。

4.4 大语言模型与认知负荷评估的深度协同路径探索

近年来,以Transformer架构为代表的预训练大语言模型(Large Language Model,LLM)已成为深度学习技术的集大成者,其通过海量数据的自监督预训练,展现出强大的特征表征能力与跨任务迁移适应性。LLM的核心优势在于其能够从高维、非线性、时序性数据中自动提取深层语义特征,并通过微调(Fine-tuning)策略快速适配下游任务,这一特性为认知负荷智能化测评中生理信号的特征提取与模式识别提供了新的技术路径[82]。尤其在面对EEG、ECG、ERP等生理信号的复杂时空特性时,传统机器学习方法常受限于手动特征提取的局限性,而LLM通过端到端的自注意力机制与层次化特征抽象,有望突破现有技术瓶颈,实现更精准的认知负荷动态监测与评估。

从技术可行性分析,LLM在认知负荷测评中的应用具有多重适配性。首先,认知负荷的生理表征具有显著的个体差异性与场景依赖性,而LLM通过预训练阶段学习到的通用特征表示,能够有效捕捉被试者跨任务的共性规律,为个性化评估提供基础框架。其次,生理信号数据通常具有高噪声、低信噪比的特点,LLM通过多层非线性变换与注意力权重的动态分配,可实现对关键生理特征的提取。

在EEG信号处理领域,已有研究者探索将Transformer架构与自监督学习相结合以应对脑电信号的复杂特性。Wang等[83]提出了EEGPT模型,通过双自监督学习策略(时空表示对齐与掩码重建)对EEG信号的时空一致性进行建模,该模型采用分层结构,将空间特征提取与时间依赖关系解耦,利用自注意力机制捕捉α波、θ波等频段信号的全局长程关联,同时通过局部时空嵌入增强不同电极布局设备的适应性。实验表明,EEGPT在运动想象分类、事件相关电位检测及睡眠阶段识别等任务中均达到SOTA性能,尤其在TUEV数据集上较基线模型平均准确率提升9.5%。然而,现有研究多聚焦于LLM在单一生理模态中的基础分析任务,尚未将其与认知负荷的评估体系进行深度融合,这一领域的探索仍处于起步阶段。

5  展 望

尽管传统机器学习和深度学习技术在认知负荷测评领域已取得显著进展,但数字化学习仍面临诸多挑战,如学习群体多样性、测量数据多模态性、学习任务多样性以及模型泛化能力不足等,针对这些问题,未来研究可从以下方面展开。

第一,提高评估技术的精准性和普适性。认知负荷智能化评估依赖于生理信号等数据的采集和分析,然而,生理信号的采集常受环境干扰、设备精度及个体差异等因素制约,对认知负荷评估方法的泛化能力构成挑战,可能导致数据质量波动,影响评估的准确性和可靠性,未来需深入探究适用于不同学习场景、群体及任务的特定评估模型,以提升评估方法的精准度与普适性。

第二,突破算法的局限,实现基于多模态数据的混合模型的技术创新。在认知负荷分类任务中,多数基于卷积神经网络(CNN)的模型主要聚焦于时间特征,而对通道间在空间上的关系信息则关注不足或学习不充分。为突破此局限,研究者正探索将注意力机制、图卷积网络等先进算法应用于认知负荷分类。当前的图卷积网络(Graph Convolutional Network, GCN)模型通过距离测量或计算相似性先定义互连图,以确定图中节点之间的关系表示,采用了优化邻接矩阵的方法来建立图中节点间的连接。局部-全局图网络(Local-Global Graph Network,LGG)是一种创新的神经启发式图神经网络,虽然在提升分类性能方面表现出色,但仍存在一些不足之处[84],这需要研究者们不断地探索并突破算法的局限。另外,单一传感器敏感性低、易受到噪声影响,相较于单模态数据,基于多模态数据的评估方法具有更高的鲁棒性和抗噪声能力[85]。目前,诸如表情、眼动追踪、脑电信号等单模态数据已被用于认知负荷评估,且因不同模态数据之间可以实现信息互补,故能得到更准确的评估结果[86]。因此基于多模态融合的认知负荷评估是未来研究的一个发展方向。

第三,利用LLM进行特征提取。当前,LLM技术在生理信号处理中的初步实践已展现出潜力,但其与认知负荷测评的结合仍存在关键挑战。一方面,现有LLM多基于自然语言或视觉数据设计,其架构与生理信号的时间-空间-频域特性存在固有差异;另一方面,认知负荷的生理表征具有多尺度特性,既包括瞬态事件(如任务难度突增引发的瞳孔扩张)的即时响应,也包含持续认知状态(如工作记忆负荷累积)的渐进变化,这对LLM的时序建模能力与多粒度特征融合机制提出了更高要求。现有研究虽在语音、文本等领域实现了多尺度特征的联合建模[83],但如何将其迁移至生理信号分析与认知负荷评估场景仍需系统性探索。此外,DeepSeek横空出世,相比ChatGPT其训练和推理成本大幅降低,并且将训练代码开源供研究者进行个性化开发,关于其在认知负荷智能化测评领域的应用也亟待探索。

参考文献

[1]

SWELLER J. Cognitive load during problem solving: Effects on learning[J]. Cognitive Science198812(2): 257-285. DOI:10.1016/0364-0213(88)90023-7 .

[2]

SWELLER JVAN MERRIËNBOER J J GPAAS F. Cognitive architecture and instructional design: 20 years later[J]. Educational Psychology Review201931(2): 261-292. DOI:10.1007/s10648-019-09465-5 .

[3]

SWELLER J. Cognitive load theory and educational technology[J]. Educational Technology Research and Development202068(1): 1-16. DOI:10.1007/s11423-019-09701-3 .

[4]

JEONG E JBIOCCA F A. Are there optimal levels of arousal to memory? Effects of arousal, centrality, and familiarity on brand memory in video games[J]. Computers in Human Behavior201228(2): 285-291. DOI:10.1016/j.chb.2011.09.011 .

[5]

JORDAN JWAGNER JMANTHEY D Eet al. Optimizing lectures from a cognitive load perspective[J]. AEM Education and Training20194(3): 306-312. DOI:10.1002/aet2.10389 .

[6]

SKULMOWSKI AXU K M. Understanding cognitive load in digital and online learning: A new perspective on extraneous cognitive load[J]. Educational Psychology Review202234(1): 171-196. DOI:10.1007/s10648-021-09624-7 .

[7]

SEPP SWONG MHOOGERHEIDE Vet al. Shifting online: 12 tips for online teaching derived from contemporary educational psychology research[J]. Journal of Computer Assisted Learning202238(5): 1304-1320. DOI:10.1111/jcal.12715 .

[8]

KORBACH ABRÜNKEN RPARK B. Differentiating different types of cognitive load: A comparison of different measures[J]. Educational Psychology Review201830(2): 503-529. DOI:10.1007/s10648-017-9404-8 .

[9]

SWELLER J. Element interactivity and intrinsic, extraneous, and germane cognitive load[J]. Educational Psychology Review201022(2): 123-138. DOI:10.1007/s10648-010-9128-5 .

[10]

满淑洁, 姜强, 李琪, . CSCL如何影响大学生数字化学习韧性——认知负荷的中介效应分析[J]. 现代远距离教育2023(1): 71-80. DOI: 10.13927/j.cnki.yuan.20230317.002 .

[11]

MAN S JJIANG QLI Qet al. How CSCL affects digital learning resilience of college students—Analysis of mediating effects of cognitive load[J]. Modern Distance Education2023(1): 71-80. DOI: 10.13927/j.cnki.yuan.20230317.002 (Ch ).

[12]

高洁, 彭绍东. 矛盾与策略: 数字化学习中基于外在认知负荷的学习分析[J]. 电化教育研究202344(1): 100-105. DOI: 10.13811/j.cnki.eer.2023.01.014 .

[13]

GAO JPENG S D. Contradictions and strategies: Learning analytics based on extrinsic cognitive load in digital learning[J]. e-Education Research202344(1): 100-105. DOI: 10.13811/j.cnki.eer.2023.01.014(Ch ).

[14]

PAAS F G W C. Training strategies for attaining transfer of problem-solving skill in statistics: A cognitive-load approach[J]. Journal of Educational Psychology199284(4): 429-434. DOI:10.1037/0022-0663.84.4.429 .

[15]

LEPPINK JPAAS FVAN DER VLEUTEN C P Met al. Development of an instrument for measuring different types of cognitive load[J]. Behavior Research Methods201345(4): 1058-1072. DOI:10.3758/s13428-013-0334-1 .

[16]

REID G BNYGREN T E. The subjective workload assessment technique: A scaling procedure for measuring mental workload[J]. Advances in Psychology198852: 185-218. DOI:10.1016/S0166-4115(08)62387-0 .

[17]

HART S GSTAVELAND L E. Development of NASA-TLX (Task Load Index): Results of empirical and theoretical research[J]. Advances in Psychology198852: 139-183. DOI:10.1016/S0166-4115(08)62386-9 .

[18]

WANG J HANTONENKO PKEIL Aet al. Converging subjective and psychophysiological measures of cognitive load to study the effects of instructor-present video[J]. Mind, Brain, and Education202014(3): 279-291. DOI:10.1111/mbe.12239 .

[19]

JIA S WQI C CCHEN L Let al. The effect of working memory load on feedback processing: Evidence from an event-related potentials (ERP) study[J]. Acta Psychologica Sinica202254(3): 248-258. DOI:10.3724/sp.j.1041.2022.00248 .

[20]

VAN GOG TKESTER LNIEVELSTEIN Fet al. Uncovering cognitive processes: Different techniques that can contribute to cognitive load research and instruction[J]. Computers in Human Behavior200925(2): 325-331. DOI:10.1016/j.chb.2008.12.021 .

[21]

NOURBAKHSH NCHEN FWANG Yet al. Detecting users’ cognitive load by galvanic skin response with affective interference[J]. ACM Transactions on Interactive Intelligent Systems20177(3): 1-20. DOI:10.1145/2960413 .

[22]

LEE SSHIN HHAHM C. Effective PPG sensor placement for reflected red and green light, and infrared wristband-type photoplethysmography[C]//2016 18th International Conference on Advanced Communication Technology (ICACT). New York: IEEE Press,2016: 556-558. DOI:10.1109/ICACT.2016.7423470 .

[23]

BROUWER A MHOGERVORST M AVAN ERP J B Fet al. Estimating workload using EEG spectral power and ERPs in the n-back task[J]. Journal of Neural Engineering20129(4): 045008. DOI:10.1088/1741-2560/9/4/045008 .

[24]

GEVINS ASMITH M ELEONG Het al. Monitoring working memory load during computer-based tasks with EEG pattern recognition methods[J]. Human Factors199840(1): 79-91. DOI:10.1518/001872098779480578 .

[25]

STENROOS MSARVAS J. Bioelectromagnetic forward problem: Isolated source approach revis(it)ed[J]. Physics in Medicine and Biology201257(11): 3517-3535. DOI:10.1088/0031-9155/57/11/3517 .

[26]

MOLTENI EBASELLI GCERUTTI Set al. Load-dependent brain activation assessed by time-domain functional near-infrared spectroscopy during a working memory task with graded levels of difficulty[J]. Journal of Biomedical Optics201217(5): 056005. DOI:10.1117/1.jbo.17.5.056005 .

[27]

HYÖNÄ JTOMMOLA JALAJA A M. Pupil dilation as a measure of processing load in simultaneous interpretation and other language tasks[J]. The Quarterly Journal of Experimental Psychology A, Human Experimental Psychology, 199548(3): 598-612. DOI:10.1080/14640749508401407 .

[28]

GASPAR JCARNEY C. The effect of partial automation on driver attention: A naturalistic driving study[J]. Human Factors201961(8): 1261-1276. DOI:10.1177/0018720819836310 .

[29]

SIEGLE G JICHIKAWA NSTEINHAUER S. Blink before and after you think: Blinks occur prior to and following cognitive load indexed by pupillary responses[J]. Psychophysiology200845(5): 679-687. DOI:10.1111/j.1469-8986.2008.00681.x .

[30]

HUGHES A MHANCOCK G MMARLOW S Let al. Cardiac measures of cognitive workload: A meta-analysis[J]. Human Factors201961(3): 393-414. DOI:10.1177/0018720819830553 .

[31]

CHAO C JWU S YYAU Y Jet al. Effects of three-dimensional virtual reality and traditional training methods on mental workload and training performance[J]. Human Factors and Ergonomics in Manufacturing & Service Industries201727(4): 187-196. DOI:10.1002/hfm.20702 .

[32]

薛耀锋, 王坤, 邱奕盛, . 基于多模态数据的在线学习认知负荷评估[J]. 现代教育技术202434(3): 79-88.

[33]

XUE Y FWANG KQIU Y Set al. Cognitive load assessment of online learning based on multimodal data[J]. Modern Educational Technology202434(3): 79-88 (Ch).

[34]

李金波. 网络学习环境中影响学习者认知负荷的因素[J]. 电化教育研究200930(9): 37-41.

[35]

LI J B. Effect of meta-cognition on cognitive load in e-learning situation[J]. e-Education Research200930(9): 37-41 (Ch).

[36]

王国华, 聂胜欣, 薛瑞鑫. 多媒体学习中的认知负荷: 测量方法与技术纵览[J]. 电化教育研究202243(4): 19-25. DOI: 10.13811/j.cnki.eer.2022.04.003 .

[37]

WANG G HNIE S XXUE R X. Cognitive load in multimedia learning: An overview of measurement methods and technologies[J]. e-Education Research202243(4): 19-25. DOI: 10.13811/j.cnki.eer.2022.04.003 (Ch ).

[38]

ROY R NCHARBONNIER SCAMPAGNE Aet al. Efficient mental workload estimation using task-independent EEG features[J]. Journal of Neural Engineering201613(2): 026019. DOI:10.1088/1741-2560/13/2/026019 .

[39]

PAHOR ASEITZ A RJAEGGI S M. Near transfer to an unrelated N-back task mediates the effect of N-back working memory training on matrix reasoning[J]. Nature Human Behaviour20226(9): 1243-1256. DOI:10.1038/s41562-022-01384-w .

[40]

CHAKLADAR D DASROY P PIWAMURA M. EEG-based cognitive state classification and analysis of brain dynamics using deep ensemble model and graphical brain network[J]. IEEE Transactions on Cognitive and Developmental Systems202214(4): 1507-1519. DOI:10.1109/TCDS.2021.3116079 .

[41]

ŞIMŞEK BDIREKCI BKOPARAN Bet al. Examining the effect of augmented reality experience duration on reading comprehension and cognitive load[J]. Education and Information Technologies202530(2): 1445-1464. DOI:10.1007/s10639-024-12864-z .

[42]

HOFFMANN J AVON HELVERSEN BRIESKAMP J. Deliberation’s blindsight: How cognitive load can improve judgments [J]. Psychological Science201324(6): 869-879. DOI:10.1177/0956797612463581 .

[43]

SAVAGE S WPOTTER D DTATLER B W. The effects of array structure and secondary cognitive task demand on processes of visual search[J]. Vision Research2018153: 37-46. DOI:10.1016/j.visres.2018.09.004 .

[44]

ZARJAM PEPPS JLOVELL N H. Beyond subjective self-rating: EEG signal classification of cognitive workload[J]. IEEE Transactions on Autonomous Mental Development20157(4): 301-310. DOI:10.1109/TAMD.2015.2441960 .

[45]

RAMAKRISHNAN PBALASINGAM BBIONDI F. Cognitive load estimation for adaptive human-machine system automation[M]//Learning Control. Amsterdam: Elsevier,2021: 35-58. DOI:10.1016/B978-0-12-822314-7.00007-9 .

[46]

QU H QGAO X YPANG L P. Classification of mental workload based on multiple features of ECG signals[J]. Informatics in Medicine Unlocked202124: 100575. DOI:10.1016/j.imu.2021.100575 .

[47]

宋雨, 刘杨, 高强, . 基于脑电多域特征融合的跨任务认知负荷研究[J]. 实验技术与管理202441 (2): 73-80. DOI:10.16791/j.cnki.sjg.2024.02.010 .

[48]

SONG YLIU YGAO Qet al. Cross-task cognitive load based on EEG multidomain feature fusion[J]. Experimental Technology and Management202441 (2): 73-80. DOI:10.16791/j.cnki.sjg.2024.02.010 (Ch ).

[49]

马艳丽, 卢俊, 朱洁玉, . 不同认知负荷非驾驶任务下高度自动化驾驶接管绩效预测[J]. 汽车工程202345(12): 2330-2337. DOI: 10.19562/j.chinasae.qcgc.2023.12.015 .

[50]

MA Y LLU JZHU J Yet al. Take-over performance prediction under different cognitive loads of non-driving tasks in highly automated driving[J]. Automotive Engineering202345(12): 2330-2337. DOI: 10.19562/j.chinasae.qcgc.2023.12.015 (Ch ).

[51]

孟荣华, 李子奇, 吴正佳, . 基于装配任务与EEG功率信息特征的操作员认知负荷研究[J]. 机械设计202239(11): 60-70. DOI: 10.13841/j.cnki.jxsj.2022.11.021 .

[52]

MENG R HLI Z QWU Z Jet al. Study on cognitive load of operators based on assembly task and EEG power information features[J]. Journal of Machine Design202239(11): 60-70. DOI: 10.13841/j.cnki.jxsj.2022.11.021(Ch ).

[53]

BISHOP C M. Pattern recognition and machine learning[M/OL]. New York: Springer, 2006. DOI: 10.1007/978-0-387-45528-0 .

[54]

ÇAKIR M PVURAL MKOÇ S Öet al. Real-time monitoring of cognitive workload of airline pilots in a flight simulator with fNIR optical brain imaging technology[C]// Foundations of Augmented Cognition: Neuroergonomics and Operational Neuroscience(9743). Cham: Springer International Publishing, 2016: 147-158. DOI:10.1007/978-3-319-39955-3_14 .

[55]

ABIBULLAEV BAN J. Classification of frontal cortex haemodynamic responses during cognitive tasks using wavelet transforms and machine learning algorithms[J]. Medical Engineering & Physics201234(10): 1394-1410. DOI:10.1016/j.medengphy.2012.01.002 .

[56]

ZHAO S GJIAO T HADADE S Y Set al. Based on vis-NIR combined with ANN for on-line detection of bacterial concentration during kombucha fermentation[J]. Food Bioscience202460: 104346. DOI:10.1016/j.fbio.2024.104346 .

[57]

赵辛奥, 李岩, 董平, . 波、流作用下单桩局部平衡冲刷深度的神经网络预测模型[J/OL]. 海洋工程2024: 1-18. (2024-12-23). DOI: 10.1016/j.oceaneng.2025.121102 .

[58]

ZHAO X ALI YDONG Pet al. Artificial neural network models for local equilibrium scour depth around a single pile under wave or current actions[J/OL]. The Ocean Engineering2024: 1-18. (2024-12-23). DOI: 10.1016/j.oceaneng.2025.121102 .

[59]

TJOLLENG AJUNG KHONG Wet al. Classification of a Driver’s cognitive workload levels using artificial neural network on ECG signals[J]. Applied Ergonomics201759: 326-332. DOI:10.1016/j.apergo.2016.09.013 .

[60]

SAMIMA SSARMA M. Mental workload level assessment based on compounded hysteresis effect[J]. Cognitive Neurodynamics202317(2): 357-372. DOI:10.1007/s11571-022-09830-1 .

[61]

彭山珍, 方志军, 高永彬, . 基于多尺度全卷积网络特征融合的人群计数[J]. 武汉大学学报(理学版)201864(3): 249-254. DOI: 10.14188/j.1671-8836.2018.03.008 .

[62]

PENG S ZFANG Z JGAO Y Bet al. Crowd counting based on feature fusion of multi-scale fully convolutional networks[J]. Journal of Wuhan University (Natural Science Edition)201864(3): 249-254. DOI: 10.14188/j.1671-8836.2018.03.008 (Ch ).

[63]

BALASUNDARAM ADILIP GASHOKKUMAR Set al. Detecting true medicinal leaves among similar leaves using computer vision and CNN[J]. National Academy Science Letters202346(3): 257-262. DOI:10.1007/s40009-023-01210-5 .

[64]

BOULILA WGHANDORH HKHAN M Aet al. A novel CNN-LSTM-based approach to predict urban expansion[J]. Ecological Informatics202164: 101325. DOI:10.1016/j.ecoinf.2021.101325 .

[65]

AHMED ZWANG J X. A fine-grained deep learning model using embedded-CNN with BiLSTM for exploiting product sentiments[J]. Alexandria Engineering Journal202365: 731-747. DOI:10.1016/j.aej.2022.10.037 .

[66]

VENKATESWARAN DCHO Y. Efficient solar power generation forecasting for greenhouses: A hybrid deep learning approach[J]. Alexandria Engineering Journal202491: 222-236. DOI:10.1016/j.aej.2024.02.004 .

[67]

JEONG SKIM B, CHA S, et al. Real-time CNN training and compression for neural-enhanced adaptive live streaming[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence202446(9): 6023-6039. DOI:10.1109/TPAMI.2024.3377372 .

[68]

KHAN M AASADI HZHANG Let al. Application of artificial intelligence in cognitive load analysis using functional near-infrared spectroscopy: A systematic review[J]. Expert Systems with Applications2024249: 123717. DOI:10.1016/j.eswa.2024.123717 .

[69]

WANG L MHUANG Y HCHOU P Het al. Characteristics of brain connectivity during verbal fluency test: Convolutional neural network for functional near-infrared spectroscopy analysis[J]. Journal of Biophotonics202215(1): e202100180. DOI:10.1002/jbio.202100180 .

[70]

KWON JIM C H. Subject-independent functional near-infrared spectroscopy-based brain-computer interfaces based on convolutional neural networks[J]. Frontiers in Human Neuroscience202115: 646915. DOI:10.3389/fnhum.2021.646915 .

[71]

QING K QHUANG R SHONG K S. Decoding three different preference levels of consumers using convolutional neural network: A functional near-infrared spectroscopy study[J]. Frontiers in Human Neuroscience202114: 597864. DOI:10.3389/fnhum.2020.597864 .

[72]

MILES GSMITH MZOOK Net al. EM-COGLOAD: An investigation into age and cognitive load detection using eye tracking and deep learning[J]. Computational and Structural Biotechnology Journal202424: 264-280. DOI:10.1016/j.csbj.2024.03.014 .

[73]

ZHANG P BWANG XZHANG W Het al. Learning spatial-spectral-temporal EEG features with recurrent 3D convolutional neural networks for cross-task mental workload assessment[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering201927(1): 31-42. DOI:10.1109/TNSRE.2018.2884641 .

[74]

CASCIANELLI SBELLO-CEREZO RBIANCONI Fet al. Dimensionality reduction strategies for CNN-based classification of histopathological images[M]//Intelligent Interactive Multimedia Systems and Services 2017. Cham: Springer International Publishing, 2017: 21-30. DOI:10.1007/978-3-319-59480-4_3 .

[75]

MA H JLIU Y LREN Y Het al. Improved CNN classification method for groups of buildings damaged by earthquake, based on high resolution remote sensing images[J]. Remote Sensing202012(2): 260. DOI:10.3390/rs12020260 .

[76]

徐超, 雷锦涛, 陈勇. 一种基于LSTM-Blacklist的动态信任度证明机制[J]. 武汉大学学报(理学版)202369(2): 156-168. DOI: 10.14188/j.1671-8836.2022.0189 .

[77]

XU CLEI J TCHEN Y. A mechanism of proof-of-dynamic-trust based on LSTM and blacklist[J]. Journal of Wuhan University (Natural Science Edition)202369(2): 156-168. DOI: 10.14188/j.1671-8836.2022.0189 (Ch ).

[78]

ASGHER UKHALIL KKHAN M Jet al. Enhanced accuracy for multiclass mental workload detection using long short-term memory for brain-computer interface[J]. Frontiers in Neuroscience202014: 584. DOI:10.3389/fnins.2020.00584 .

[79]

WANG QSMYTHE DCAO Jet al. Characterisation of cognitive load using machine learning classifiers of electroencephalogram data[J]. Sensors202323(20): 8528. DOI:10.3390/s23208528 .

[80]

YEDUKONDALU JSHARMA DSHARMA L D. Subject-wise cognitive load detection using time-frequency EEG and Bi-LSTM[J]. Arabian Journal for Science and Engineering202449(3): 4445-4457. DOI:10.1007/s13369-023-08494-1 .

[81]

ZHOU W GYU P PWU L Het al. Pilot turning behavior cognitive load analysis in simulated flight[J]. Frontiers in Neuroscience202418: 1450416. DOI:10.3389/fnins.2024.1450416 .

[82]

YOO GKIM HHONG S. Prediction of cognitive load from electroencephalography signals using long short-term memory network[J]. Bioengineering202310(3): 361. DOI:10.3390/bioengineering10030361 .

[83]

郑瑞凌, 张俊松. 脑电时空多特征融合的数字图形界面认知负荷评价方法[J]. 计算机辅助设计与图形学学报202032(7): 1062-1069. DOI: 10.3724/SP.J.1089.2020.18358.z54 .

[84]

ZHENG R LZHANG J S. Assessing cognitive load combining features of time, frequency and spatial domain under digital graphical interface[J]. Journal of Computer-Aided Design & Computer Graphics202032(7): 1062-1069. DOI: 10.3724/SP.J.1089.2020.18358.z54(Ch ).

[85]

RAHMAN HAHMED M UBARUA Set al. Vision-based driver’s cognitive load classification considering eye movement using machine learning and deep learning[J]. Sensors202121(23): 8019. DOI:10.3390/s21238019 .

[86]

CHAKLADAR D DASDEY SROY P Pet al. EEG-based mental workload estimation using deep BLSTM-LSTM network and evolutionary algorithm[J]. Biomedical Signal Processing and Control202060: 101989. DOI:10.1016/j.bspc.2020.101989 .

[87]

CHAKLADAR D DASSAMANTA DPRATIM ROY P. Multimodal deep sparse subspace clustering for multiple stimuli-based cognitive task[C]//2022 26th International Conference on Pattern Recognition (ICPR), New York: IEEE Press,2022: 1098-1104. DOI:10.1109/ICPR56361.2022.9955632 .

[88]

班瑞阳, 周大鹏, 韩吉平, . 基于改进注意力机制的领域对抗网络的认知负荷识别模型[J]. 小型微型计算机系统202445(11): 2602-2608. DOI: 10.20009/j.cnki.21-1106/TP.2024-0390 .

[89]

BAN R YZHOU D PHAN J Pet al. Cognitive load recognition model based on improved attention mechanism in domain-adversarial networks[J]. Journal of Chinese Computer Systems202445(11): 2602-2608. DOI: 10.20009/j.cnki.21-1106/TP.2024-0390 (Ch ).

[90]

KARPOUZIAN-ROGERS TSWEENEY J ARUBIN L Het al. Reduced task-evoked pupillary response in preparation for an executive cognitive control response among individuals across the psychosis spectrum[J]. Schizophrenia Research2022248: 79-88. DOI:10.1016/j.schres.2022.07.018 .

[91]

SUPRATAK ADONG HWU Cet al. DeepSleepNet: A model for automatic sleep stage scoring based on raw single-channel EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering201725(11): 1998-2008. DOI:10.1109/TNSRE.2017.2721116 .

[92]

LECUN YBENGIO YHINTON G. Deep learning[J]. Nature2015521(7553): 436-444. DOI:10.1038/nature14539 .

[93]

DAZA RGOMEZ L FFIERREZ Jet al. DeepFace-attention: Multimodal face biometrics for attention estimation with application to e-learning[J]. IEEE Access202412: 111343-111359. DOI:10.1109/ACCESS.2024.3437291 .

[94]

JIAO Z CGAO X BWANG Yet al. Deep Convolutional Neural Networks for mental load classification based on EEG data[J]. Pattern Recognition201876: 582-595. DOI:10.1016/j.patcog.2017.12.002 .

[95]

WANG CLIU Y YGUO T Zet al. Systems engineering issues for industry applications of large language model[J]. Applied Soft Computing2024151: 111165. DOI:10.1016/j.asoc.2023.111165 .

[96]

WANG GLIU WHE Yet al. EEGPT: Pretrained transformer for universal and reliable representation of EEG signals[J]. Advances in Neural Information Processing Systems202437: 39249-39280.

[97]

周天彤,郑妍琪,魏韬,.融合变分图自编码器与局部-全局图网络的认知负荷脑电识别模型[J].计算机应用202545(6):1849-1857.

[98]

ZHOU T TZHENG Y QWEI Tet al. Cognitive load EEG recognition model integrating variational graph autoencoder and local-global graph network[J]. Journal of Computer Applications202545(6):1849-1857.

[99]

DEBIE EFERNANDEZ ROJAS RFIDOCK Jet al. Multimodal fusion for objective assessment of cognitive workload: A review[J]. IEEE Transactions on Cybernetics202151(3): 1542-1555. DOI:10.1109/TCYB.2019.2939399 .

[100]

XU K MKOORN PDE KONING Bet al. A growth mindset lowers perceived cognitive load and improves learning: Integrating motivation to cognitive load[J]. Journal of Educational Psychology2021113(6): 1177-1191. DOI:10.1037/edu0000631 .

基金资助

国家自然科学基金(62277021)

湖南师范大学大学生创新创业项目(2025146)

AI Summary AI Mindmap
PDF (710KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/