伴随着智能化技术的发展，人工智能技术已经给众多领域带来重大影响，教育领域也不例外。在此背景下，国家自2010年起陆续推出教育信息化相关政策
[1-6]（如
表1所示）。课堂，作为教育的主阵地，其中的课堂学习行为是评估学生学习状态和教学质量的关键因素。目前，以直接观察法、问卷调查法、人工督导等传统方法为主的课堂评价方式，产生了耗费人力物力、主观性较强、效率低效果差等问题，导致无法真实、及时地获取课堂反馈
[7-8]。然而，教育已然步入数智化时代，面对线下教学中的“低头族”、线上教学“时空隔离”等问题，亟须利用人工智能技术高效、准确地对学生课堂行为进行识别与分析，但目前国内外相关研究仍处于起步阶段且尚未形成统一科学的判定标准。基于此，本研究采用图谱计量学分析与综述研究相结合的方式，对国内外基于人工智能的学生课堂行为识别相关研究进行梳理和挖掘，以期为数智化技术革新传统教学评价体系夯实循证基础。
1 图谱分析
为了更加具象地勾勒全球基于人工智能的课堂学习行为相关研究的科研生态，更加生动地展现与比较该领域国内外学术知识发展流向和科学知识架构，本研究运用图谱计量的可视化技术，从宏观、中观和微观三个维度对国内外学习行为相关研究的现状和进展进行梳理和挖掘。基于此，本研究遵循“文献检索—主题筛选—文献纳入—综合提取”的流程开展数据整理工作。选取中国知网数据库（CNKI）和科学引文数据库（Web of Science）核心合集作为科研论文检索来源。其中，中文检索策略为：((SU=(‘专注度’+‘参与度’) OR TKA=(‘专注度’+‘参与度’)) AND TKA=(‘课堂’+‘学生’) AND SU=(‘深度学习’+‘人工智能’)) OR ((SU=(‘表情’+‘人脸’+‘行为’+‘姿态’+‘骨架’) OR TKA=(‘表情’+‘人脸’+‘行为’+‘姿态’+‘骨架’)) AND TKA=(‘课堂’+‘学生’) AND SU=(‘深度学习’+‘人工智能’))；英文检索策略为：TS=(“artificial intelligence” OR “deep learning”) AND TS=(“learning” OR “classroom” OR “students” OR “engagement”) AND TS=(“expression recognition” OR “behavior recognition”)。收录时间范围为“2000 — 2023年”，检索时间是2024年3月31日。中英文文献类型分别为“学术期刊”和“Article和Review”。对初步检索的文献进行去重和筛选工作、手动逐篇针对主题审阅并进行二次筛选，最终得到中英文文献分别为288、567篇。
首先，利用NoteExpress v3.6.0.软件将数据库中筛选后的科研论文，中文以“Refwork”格式、英文以“纯文本”格式导出；将纳入的文章导入Excel中，针对文献的发表时间、作者、机构等要素进行初步探索，包括年代发文量、高被引文章分析、作者、机构和关键词的描述性分析等。其次，利用VOSviewer 1.6.18软件、CiteSpace 5.8.R3软件和COOC 4.3软件开展可视化分析
[9-11]。
1.1 宏观维度：文献构成
2000 — 2023年，国内外有关学习行为识别相关研究的文献构成情况：2000 —2017年全球关于学习行为识别研究的文献较少。国内第一篇文章由内蒙古师范大学电化教育系孙沛（2003）撰写，文章从专家、学生、教学和界面模块四个部分探讨了智能个别指导系统的结构；国外第一篇文章由荷兰阿姆斯特丹大学Sebe N（2005）撰写，是关于教学过程中应用人机交互技术的概率分类器技术。由此可见，起初国外更偏向于技术与方法研究，而国内更偏向于系统应用研究。从2017年起，国内外关于学习行为识别研究成果数量显著增加，而两者态势仍存在一定差异性：国内研究在2019年迎来高峰期后进入平稳发展的状态；而国外研究自2017年起逐年呈倍数增加，2023年发文量更是达到216 篇/年。
从发文期刊的分布情况来看，2000 — 2023年在英文期刊中IEEE Access发文量排名第一位（中科院JCR 3区，48 篇，8.5%），Sensors和Multimedia Tools and Applications两本期刊分别排名第二位（中科院JCR 3区，35 篇，6.2%）和第三位（中科院JCR 4区，32 篇，5.6%）；而在中文期刊中排名前十位的以C刊居多，发文量排名前五位的分别是《开放教育研究》（13 篇，4.5%）、《现代教育技术》（13 篇，4.5%）、《电脑知识与技术》（13 篇，4.5%）、《电化教育研究》（11 篇，3.8%）和《中国电化教育》（9 篇，3.1%）。由此可见，目前该领域内中英文发文分布较为分散；从发文领域来看，集中于单学科；从发文期刊品质来看，英文文章仍处于追求数量高于质量的状态。
本研究英文文献来自全球61 个国家和地区，其中发文数量排名前10 名的分别是：中国（281 篇）、印度（44 篇）、韩国（28 篇）、美国（27 篇）、沙特阿拉伯（20 篇）、澳大利亚（17 篇）、英国（16 篇）、法国（15 篇）、巴基斯坦（13 篇）和意大利（12 篇）。中国以绝对优势占据近一半的发文量，表明中国学者在学习行为识别领域影响力较高，且正处于该领域研究热潮的狂热阶段。
本研究中发文机构为科研论文第一署名院校，发文作者主要来自各个国家/地区的高校或科研机构。在英文文章中，中国科学院发文27 篇，排名第一；位列前茅的发文机构中以中国机构居多，顺位依次为北京邮电大学、山东大学、南京理工大学、中国农业大学、清华大学、华南理工大学、江苏大学、华东理工大学和北京科技大学；其他国家/地区的研究机构包括芬兰奥卢大学、沙特阿拉伯国王大学和美国西北理工大学。在中文文章中，以师范类院校和职业院校发文居多，依次为华东师范大学（第1位，19 篇）、华中师范大学（第2位，18 篇）、北京师范大学（第3位，13 篇）、首都师范大学（第6位，6 篇）、华南师范大学（第6位，6 篇）、湖南软件职业学院（第6位，6 篇）和西安航空职业技术学院（第9位，5 篇）；其他研究机构包括湖南大学（第4位，7 篇）、西南大学（第4位，7 篇）、江南大学（第9位，5 篇）、华南理工大学（第9位，5 篇）、天津大学（第9位，5 篇）和四川大学（第9位，5 篇）。
1.2 中观维度：合作网络分析
基于VOSviewer软件构建的图谱，不同研究主体由圆形节点体现，节点越大，代表其合作文章数越多；合作关系程度由节点之间的连线表示，连线越粗，代表此节点之间的合作关系越强；不同颜色的节点和连接代表不同的合作主体网络。
1.2.1 国家/地区间合作
由国家合作网络可以看出国家间合作的整体科研实力和合作关系（如
图1所示）。结果显示，共形成了10 个研究簇群，各个簇群中最具有代表性的国家分别是中国、沙特阿拉伯、英国、澳大利亚、美国、印度、法国、巴基斯坦、芬兰和南非。其中，覆盖国家最广的合作网络包含两个，一个是以芬兰为核心，包括丹麦、爱沙尼亚、新西兰、几内亚、波兰、西班牙、土耳其和委内瑞拉；另一个是以沙特阿拉伯为核心，包括孟加拉国、捷克共和国、埃及、印尼、利比亚、挪威、苏丹和马来西亚。以中国作为核心视角，合作国家主要包括比利时、德国、日本、瑞士和乌克兰。随着全球步入数智化时代，中国学者与世界各国之间建立了更为紧密的学术交流关系，目前中国科研人员活跃在人工智能+教育领域的国际舞台，构成了中外学术合作的桥梁。
1.2.2 作者（机构）间合作
国内外关于“学习行为识别”领域研究的学者互相合作，致力于提升教学质量评估的准确性和科学性。而共现网络的构建是直观反映作者（机构）间合作关系的密切度和活跃度的可视化手段（如
图2所示）。国内外研究尚未形成较为紧密且稳定的研究簇群。
英文文献研究团体形成了47 个研究簇群，其中核心成员≥5 人的簇群共有六个：①由华南理工大学、中国科学院、国防科技大学和香港浸会大学等机构的Zhang Xingming和Wang Haoxiang为代表组成的12 人研究团队；②由中国科学院、西南大学、复旦大学、东北大学、奥卢大学、清华大学、伦敦布鲁内尔大学和江苏大学等机构的Fu Xiaolan和Huang Xiaohua为代表组成的11 人研究团队；③由江苏大学、东南大学、中国科学院和鹏程实验室等机构的Mao Qirong和Zhang Feifei等为合作关系核心的6 人研究团队；④由萨卡雅大学、密苏里大学等机构的Bunyak Filiz、Kazan Serap、Oz Cemil、Oztel Ismail和Yolcu Gozde学者组成的5 人研究团队；⑤由山东青年大学、澳门城市大学、北京东城教育科学学院和中华人民共和国教育部等机构的Li Guang、Peng Jun、Ran Feng、Wang Zheng和Zhou Jie等学者组成的5 人研究团队；⑥由印度可爱国际大学、伊比利亚美洲大学、北印度大学、台湾大学等机构的Akram Shaik Vaseem、Gehlot Anita、Kumar Amit、Rathour Navjot和Singh Astha等学者组成的5 人研究团队。
而中文研究中中国学者研究团体形成了22 个研究簇群，其中核心成员≥3 人的簇群共有六个：①由湖南软件职业学院、湖南大学等高校的左国才、苏秀芝、王海东、吴小平和韩东初团队；②由首都师范大学的吕恺悦、孙众、施智平和骆力明团队；③由华中师范大学国家数字化学习工程技术研究中心的何秀玲、方静和李洋洋团队；④由深圳大学师范学院的曹晓明、张永和和潘萌团队；⑤由华东师范大学的祝智庭、余明华和冯翔团队；⑥由北京师范大学的宋文玉、程猛和阳科峰团队。
1.3 微观维度：热点与演化分析
1.3.1 热点分析
科研论文的关键词可以整体概括并提炼文章的精髓，即研究热点。通过比较国内外研究热点（如
图3所示），其既有共同点又有各自的侧重点。中英文文献均关注深度学习、人脸识别、表情识别、行为识别、卷积神经网络、机器学习、计算机视觉、人工智能等核心热点；而不同之处在于英文文献偏向于特征提取、情感识别、微表情识别、任务分析、注意力机制、训练等研究方法与关键技术等方向的深度探讨；而中文文献则更聚焦于理论分析与应用研究方向，其包括课堂教学、智慧教育、大数据、教学评价、学习分析、多模态数据、课堂考勤和个性化学习等热点。
1.3.2 高被引文章主题分析
某一研究领域的科研论文被引次数是评价其科研价值的关键指标。根据科研论文在研究数据集中被引次数的排序，本研究基于全部检索文献，列举了基于“学习行为识别”主题的国内外被引数排名前10的科研论文。由
表2可知，自2017年以来，我国高被引文章绝大多数发表在C刊上，其最受关注的研究主题包括人工智能、机器学习、深度学习、新工科、智慧学习/教育、个性化学习、教育大数据、教学/学习行为分析、学习参与度、多模态等。而国际学者关注该领域的高峰点同样是2017年，10 篇高被引文章中60%出自中国学者，且70%的文章发表于IEEE期刊上。其最受欢迎的研究主题包含数据库、表情识别、训练、卷积神经网络、长短期记忆、动作编码系统及人机交互等（如
表3所示）。
1.3.3 演化脉络分析
热点分析虽然可以直观展示该领域研究热点，但仅从静态角度出发尚未考虑时间纵向因素，因此时区视图将关键词按照时间维度划分，将时区视图和突现词两者相结合，基于动态层面以可视化的方式分析主题演化脉络。如图
4（a）和
5（a）所示，横轴代表中英文研究热点首次出现的时间，若关键词再次出现其频次会在首次出现处加一；纵轴中圆圈与关键词一一对应，圆圈的大小与关键词词频呈正相关。而图
4（b）和
5（b）则针对突现词频次在某一时间段急剧增长的情况进行展示。
中文文献自2003年起开始关注ITS、外壳化和学习行为等热点，2006年出现智能化教学系统、界面模块等热点，2008年逐步出现人工智能、远程教育、虚拟教室和行为机制等研究热点；而后，在出现6年的研究断层后，2014年开始聚焦适应性、网络教育和教学设计等；2017年，学习行为识别领域出现研究高潮，大量研究开始聚焦于深度学习、人脸识别、大数据、机器学习、智慧教育、个性化学习、学习分析等传统核心内容，为后期研究夯实理论基础；2018年，相关研究开始聚焦于智慧课堂、表情识别、多模态数据、智慧校园、人工智能等应用主题；2019 — 2020年，研究逐步将关注点从应用转向技术方法，开始关注行为识别、课堂教学评价、课堂考勤、多模态学习分析、教学分析、目标检测、情绪识别、用户画像和算法等主题；2021 — 2022年，研究则向以赋能应用的技术研发为主靠拢，聚焦于微表情识别、头部姿势估计、学习投入、语音识别、注意力机制、行为分析、数字孪生等主题；2023年逐步回归，研究将实际应用与创新技术方法深度融合，聚焦于参与度识别、视觉特征分析、课堂状态检测、数据平台、创新性人才培养等主题。中文突现词共包含36 个，自2016年针对“学习行为”研究开始，2020 — 2022年研究出现热潮，主要发展脉络从学习行为系统分析向关键点分析转变，例如逐步关注人脸识别、表情识别、微表情识别、骨架识别、行为识别、多模态学习识别等。
国际研究虽然研究起步时间稍晚，但与国内研究发展脉络不同。从2005年起，学者便开始关注人脸识别、贝叶斯网络、半监督学习、线性投影、小样本问题、情感学习、图像识别等识别方法与技术核心主题。自2013年开启研究高峰期，出现了深度学习、无监督学习、模型构建、玻尔兹曼机、去噪、密度估计、识别分析方法等基础算法研究；2014 — 2016年研究者更进一步开展识别算法与模型研究，包括多模态数据融合、特征提取、注意力机制研究、卷积神经网络、长短期记忆网络、空间金字塔池化等；从2017年起国际研究在算法研究基础上，开始聚焦于识别方法与应用研究，包含人脸识别、情绪识别、微表情识别、行为识别、骨架识别、多模态数据特征识别等。英文突现词共包含40余个，结果显示自2019年开始，国际研究将算法研究与应用技术研究紧密结合，如深度学习、卷积神经网络、特征提取、数据集训练、计算机视觉图像识别等，与人脸/情绪识别、行为/骨架识别、微表情识别相伴而出，呈现“基于算法拓展技术，基于技术夯实应用”的良性循环（如
图5所示）。
2 文献综述前沿主题分析
目前，课堂学习行为概念尚无定论，田慧生
[12]认为“课堂学习行为是学生在学习过程中的认知或情绪的外在表现形式”；何乔
[13]则认为“课堂学习行为是可分为积极、中性和消极的课堂中所有表现行为”。而本研究旨在探讨学生在线上或线下课堂所表现的全部面部与肢体表现，基于此分析其对授课中所存在的正向、中性或负向反馈，判断学生课堂专注度和参与度。基于文献综述分析，目前国内外课堂学习行为识别的方法可以分为两种：一是传统人工特征的识别；二是基于人工智能方法的识别。本研究重点关注第二种识别方法。基于人工智能的识别方法可以大致分为五大类，分别是基于面部特征检测、头部注视特征识别、人体骨架特征估计、多模态特征联合分析和时序尺度特征融合分析。
2.1 面部特征检测与识别
面部特征检测技术作为提高教学质量的辅助方式之一，主要包括人脸检测、表情识别、微表情识别、人眼状态识别等。基于人工智能的面部检测技术以2012年AlexNet为代表的卷积神经网络（CNN）被界内广泛使用作为开端，并逐步产生3D-CNN、CNN-RNN、FacenessNet、MTCNN和Faster-RCNN等方法提升识别精度与速度。关于人脸检测与表情识别，中国学者李彬等
[14]利用Kinect传感器和机器学习方法检测人脸，了解人脸的位置和朝向，以此来客观评价教学质量。国外学者Ekman等早在20世纪70年代便提出面部表情编码的概念，其将人脸情绪分为6种共性表情，分别是高兴、悲伤、害怕、生气、惊讶和厌恶。基于以上，国内外学者针对教学场景逐步开展表情特征识别的研究。近年来，何秀玲等
[15]设计一种面部表情特征融合的提取方法并构建课堂学生表情的自发学习模型。王林等
[16]针对在线课堂中分辨率良莠不齐、表情特征变化不明显等问题，利用优化后的轻量化卷积神经网络Efficient-Net开展学生面部特征识别。王楠等
[17]基于在线课堂真实数据，构建课堂学习表情数据集，将获取的学生表情与面部得分相结合形成联合评价模型。然而，仅针对单人脸目标、简单背景的线上教学模式的识别尚无法完全应用于多人脸目标、背景复杂的线下课堂教学中。基于此，潘仙张等
[18]立足于线下课堂背景，基于智慧教室摄像头提取视频识别多人脸特征来分析学生课堂表现。Soloviev
[19]通过构建线下课堂摄像头收集的学生多人脸视频集，使用增强决策树算法进行训练来提取学生面部特征。Pabba等
[20]针对线下大规模课堂，利用计算机视觉技术和卷积神经网络完成学生情感计算任务。
而基于微表情识别课堂学习行为的研究仍较少。仅Pei等
[21]基于深度学习的人脸自动检测与微表情识别技术将学生课堂状态进行划分。Guo等
[22]提出了一种基于面部微表情识别的教学效果评估算法来分析微表情变化和学生专注度。
关于人眼状态识别，Kanematsu等
[23]将Youtube线上学生作为受试者，收集眨眼次数和面部温度等数据来检测学生的困惑度和学习状态。Dharmawansa 等
[24]构建眨眼视觉系统（EBVS）帮助了解学生的注意力程度。中国学者左国才等
[25]设计了一种基于计算人眼张合程度的量化模型，进而判断学生课堂行为专注度。詹泽慧等
[26]将眼动追踪与表情识别技术迭代训练，构建Agent学习者学习认知与情感识别系统。
2.2 头部姿势与人体骨架特征估计
关于姿势与骨架估计，国外学者针对此提出多种检测方法，包括多人2D姿势估计(OpenPose)、基于偏最小二乘（PLS）回归姿势估计、基于卷积神经网络的头部姿势识别和基于多任务目标识别的联合检测等
[27-30]。基于此，钟马驰等
[31]通过将头部注视特征、面部表情特征和疲劳度三者结合得到综合评分来量化学生课堂投入情况。Guo等
[32]基于多任务CNN模型识别学生“抬头率（HRR）”来判断学生的学习表现。Chen等
[33]利用头部姿势、人眼追踪、表情识别等信息来判断学生的学习状态，尤其是基于头部姿势估计来推断学生的兴趣值和疲劳度。
关于学习过程中的人体骨架估计，中国学者廖鹏等
[34]利用背景差提取目标特征后输入VGG中进行训练，将学生课堂行为分为正常学习、玩手机和睡觉三种状态。蒋沁沂等
[35]基于自建数据集和深度残差网络识别6 种经典课堂学习行为，识别率达到91%。魏艳涛等
[36]则使用VGG16网络判断出7种学习行为模式，识别率达到93%。左国才等
[37]将深度学习模型应用于课堂行为识别中并对其进行分类。但以上研究由于数据样本量问题导致精度不足，在识别行为差异程度小和多动作同时发生时准确率较低。基于此，何秀玲等
[38]利用自建SCBID数据库和OpenPose检测模型提取学生学习行为并在CNN-10中进行训练，其精度高达97%。针对多目标检测问题，刘新运等
[39]基于改进的YOLO算法有效解决了目标密集、姿态复杂且高遮挡等问题。在国外研究中，Chéron等
[40]利用长短期记忆网络对课堂视频中骨架姿势进行识别。Huang等
[41]将单关节点这一概念引入来形成聚类特征，以提升姿势识别率。Swinde等
[42]利用YOLO模型针对连续视频中单帧定位兴趣点动作进行学习行为识别。
2.3 多模态联合与时序尺度融合分析
“模态”是在特定媒介中的信息表现形式和交换模式。而“多模态”起源于人机交互领域的研究，通过各模态的交叉验证，有助于进一步提升精准度。学习行为识别本质上是多模态融合的问题，仅采用单一指标描述往往是不充分的。中国学者曹晓明等
[43]通过记录学习者面部图像、脑电波和学习日志等信息，利用ResNet架构构建基于多模态融合的识别学习者参与度。于婉莹等
[44]提出了学生面部表情和行为状态相融合的智能教学评估系统，从两个维度综合识别学生课堂状态。周楠等
[45]提出了一种LBREM方法，对在线课堂视频中学生表情和行为进行融合分析，可以较为快速且准确地识别学习者行为并开展实证验证研究。Poria等
[46]将视觉、音频和文本信息相融合，提出了一种多模态情感数据分析算法框架，用于从视频内容中提取学习者情感与认知特征。Zheng等
[47]提出了一种基于YOLOv5的改进检测模型，利用从多视角所收集到的课堂学习行为数据进行训练和验证，并通过增加模型训练阶段的环境变化，使模型具有更好的泛化能力。
目前，关于学生课堂行为识别的研究大多仅针对单帧图像，忽略了行为的连续性和时序性。王明芬等
[48]针对学生学习行为时序相关性特征，提出了基于时间上下文的二级递推异常行为检测方法，提高系统识别精度。谢伟等
[49]基于关注时序性的YOWO网络，利用视频集识别学生课堂行为，并采用3D-CNN与2D-CNN相结合的方式同时提取时间和空间特征，进而实时关注与优化教学。Lin等
[50]使用教室摄像机拍摄连续帧作为输入图像，提出了一种基于姿态估计和人物检测技术的纠错方案，以减少骨架数据中的错误连接。Xie等
[51]基于时空表征学习，对学生运动轨迹进行挖掘与聚类，提出了一种基于深度学习算法的课堂异常行为检测系统。Yin等
[52]通过将实时目标检测与跟踪相结合，获得每个学生的实时图像流，进而利用深度时空残差CNN获取学生学习行为的时空特征，实现课堂教学场景中多个学生目标的课堂行为实时监测。
3 总结与展望
纵观课堂学习行为识别研究领域的科研成果不难发现，国内外在该领域的研究均处于尚不成熟的发展阶段。发文数量大于质量，且大多集中于单学科，未完成学科的交叉融合，尚未形成成熟的研究团队和合作网络。其中，国外研究重点聚焦于前沿的方法与技术，探索高效、准确地评价学生学习表现与效果的指标，在研究的过程中，立足于线上线下真实课堂场景，对教学过程中不易发现但真实存在的学习行为进行捕获与识别。国内研究重点则放在教与学系统开发等应用研究层面，而关于算法研究仍有一定的发展空间。随着数智化技术的高速发展和教育信息化技术的普及，课堂学习行为识别研究应将理论、技术与应用紧密结合、线上与线下双兼顾、多模态与关键点共完善、时间维度与空间维度同关注，以此推动数智化赋能教学质量的提升。
国家自然科学基金青年项目“基于生命早期多模态虚拟诊疗路径建构的交互思维智能评估框架研究”(72204267)
中国医科大学“十四五”第一批医学教育科学研究课题“学习分析视角下教学互动对医学生自主学习的改革策略构建”
京公网安备11010202008535号
PDF
(3110KB)
