人工智能在研究生腰椎穿刺术考核中的应用

Application of artificial intelligence technology in assisting lumbar puncture examination for postgraduate students

摘要

目的 探讨人工智能（artificial intelligence，AI）在神经病学研究生腰椎穿刺术考核中的应用。 方法 将腰椎穿刺评分细化归类为机器可深入学习的语音类、场景监控类及动作评估类评分，在既往研究工作的基础上建立音频算法模块、监控算法模块以及动作评估算法模块，并对79名神经病学三年级专业型硕士研究生的腰椎穿刺术考核分别进行AI评分和考官评分，比较AI评分与考官评分的差异。 结果 在语音类评分上AI评分明显低于考官评分［（52.86±3.25）分 vs.（54.32±2.65）分，P＜0.05］，在场景监控类以及动作评估类评分上AI评分与考官评分差异无统计学意义［（11.24±0.55）分 vs.（11.15±0.62）分，P＞0.05；（28.09±11.37）分 vs.（28.34±1.21）分，P＞0.05］。 结论 AI技术在研究生腰椎穿刺术操作考核中的应用具有客观性、可行性，但仍需逐渐迭代优化机器AI评分系统的性能。

Abstract

Objective To explore the application of artificial intelligence (AI) in the examination of lumbar puncture for postgraduate students in neurology. Methods The lumbar puncture scores were further classified into speech, scene monitoring and motion evaluation, and they would be learned by the machine. Based on previous research, audio algorithm module, monitoring algorithm module and motion evaluation algorithm module are established. AI scores of lumbar puncture examination were compared with examiners' scores for 79 postgraduate students in neurology. Results AI scores were significantly lower than examiners' scores in speech score (52.86±3.25 points vs. 54.32±2.65 points, P＜0.05), while there was no significant difference between AI and examiners' scores in scene monitoring and motion evaluation (11.24±0.55 points vs. 11.15±0.62 points, P＞0.05; 28.09±11.37 points vs. 28.34±1.21 points, P＞0.05). Conclusion The application of AI technology in the evaluation of lumbar puncture operation of postgraduate students is objective and feasible, but the performance of the machine AI scoring system needs to be gradually iteratively optimized.

关键词

人工智能 / 医学教育 / 课程考核

Key words

artificial intelligence / medical education / course assessment

目前，人工智能（artificial intelligence，AI）技术已广泛应用于医学教育的各个领域，包括本科生和研究生培养以及毕业后继续教育等各方面^［1-3］。如在高等医学教育中，通过虚拟现实技术和仿真系统进行临床场景模拟操作有助于提升医学生的实践能力；通过模拟考场情景并结合大数据分析，协助医学生进行临床培训并进行临床考核评价。

神经病学是一门涉及神经解剖学、神经生理学、神经病理学等多学科的临床医学门类，多元化教学模式下的神经病学教学可提高学生的自主学习与操作能力^［4］。本研究基于AI技术，通过智能系统对研究生腰椎穿刺考核进行客观评分，为神经病学研究生考核提供一种新的模式。利用AI技术，可更加客观、公正、标准化地评估考生的临床技能水平。

1 对象与方法

1.1 研究对象

选取2022年1月—2023年11月在首都医科大学附属北京天坛医院实习的79名神经病学三年级专业型硕士研究生（以下简称研究生）作为研究对象，所有研究生均参加统一的住院医师规范化操作培训，并参加临床技能操作——腰椎穿刺术的考核。79名考生在腰椎穿刺考核中均进行AI考核评分与考官评分。

1.2 研究方法

1.2.1 细化腰椎穿刺评分项并归类

为使用合适的AI技术进行腰椎穿刺术的考核，将腰椎穿刺评分细则进行细化，并将其归为三大类：语音类、场景监控类及动作评估类。语音类，是指在考核过程中需要考生口述内容的考核点。场景监控类，是指在考核过程中需要持续评估的场景变化的考核点。动作评估类，是指在考核过程中需要观察考生动作规范的考核点。具体考核内容与分值与考官评分相一致。

1.2.2 建立不同类型的AI评分考核算法模块

（1）音频算法模块的建立。在考核过程中通过音频输入设备采集考生的语音信号，并通过语音识别算法获取考生回答的文字内容，然后通过分词算法将完整的文字内容分解为不同的关键词。通过这样分解的方式，让机器学习模型更能“理解”评分项。此时将关键词组成特征向量，并以支持向量机（support vector machine，SVM）为代表的传统机器学习和以长短时记忆网络（long short-term memory，LSTM）为代表的深度学习多种AI算法来建立言语类评分模型。

以适应证及禁忌证为例，录制该过程中考生的语音，并进行语义识别及关键词划分，判断关键词结果中是否包含所有标准的适应证、禁忌证关键词，若有对应的缺失或者遗漏，按照评分标准进行扣分。对于评分标准符合性判断，采用余弦相似性进行判断。

（2）监控算法模块的建立。在考场中特定的位置布置多个摄像头，摄像头之间通过系统时间戳进行同步，分别覆盖准备区和操作区，使用基于深度学习的目标识别算法进行考场相关物品的识别模型，并在此基础上建立目标跟踪模型，跟踪目标的行动过程。在整个考核的过程中，识别相关物品或者其他物品有无出现在无菌区域，并以此评估操作是否符合标准操作流程，是否进行扣分。并进一步将视频中的无菌区域划分为若干块，并对每一帧的无菌区域是否有物体进行编码处理，并建立时序特征信号。同时，基于视频标注出扣分的时间及对应的扣分区域（超出扣分最大值的扣分点也需要标注）。通过时序特征信号，可训练基于LSTM的监控算法模块的扣分算法，在实际应用时，也需要基于评分规则考虑扣分不能超过最大值。

以无菌操作评分项为例，整个过程监控无菌区域是否被其他物体污染，并记录总次数，每次出现其他物体，按照评分标准扣1分。考核完成给出该项的最终评分。

（3）动作评估算法模块的建立。在考场中对着考生操作的区域进行多角度的视频拍摄，通过迁移学习的方法，在人体姿态识别BlazePose的模型（图1）基础上引入相对少量特殊腰椎穿刺操作的规范动作数据进行训练，得到更能适配考核动作的关节点识别模型并计算出每一帧动作的关键点。具体来说，对于每一帧的动作，基于关键点位置、姿态、速度等信息建立动作姿态编码，并通过将每一帧编码组合为动作姿态的时间序列信号。同时，对视频拍摄到的操作手法进行分段标注，标注出每一帧人体的关键点。通过时间序列与分段标注的标签建立训练样本，并进行模型的训练，得到针对考核过程的更优人体运动识别模型。在此基础上，由专业评委对每一段标准数据标注出符合要求和不符合要求的时间段，并把这些标签给到模型进行训练。让模型给出每条规则的符合判断概率，并进行评分。

如消毒评分项中判断操作过程中消毒的幅度是否由小变大（由内向外）的判断方法为：根据人体动作识别模型跟踪动作过程中手部关键点的空间位置，记录一个消毒一圈时间段内的所有手部空间位置时间序列，计算运动的范围。该范围跟随时间连续变化形成一个序列，对其进行线下回归分析，如果斜率>0，则认为该范围是逐渐变大的，即消毒的过程是从内向外。

1.2.3 应用评分模型进行机器AI考核评分

应用上述模型判断考核过程中考生是否符合考核点细化评分标准中的要求，并根据评分规则对参加腰椎穿刺术考核的79名研究生进行评分。

1.2.4 考官评分

参照腰椎穿刺评分细则，由两名通过医院教学师资培训考核的神经内科医师作为考官同时对上述参加腰椎穿刺术考核的研究生分别进行评分。

1.2.5 观察指标

观察考核记录分析AI辅助腰椎穿刺术考核评分中音频算法模块、监控算法模块、动作评估算法模块相应评分与考官评分的差异。

1.3 统计学方法

采用SPSS 20.0统计学软件对数据进行处理分析，计量资料以均数±标准差（x±s）表示，组间比较采用t检验：不符合正态分布的数据以中位数（四分位间距）［M（Q ₁，Q ₃）］表示，组间比较采用Mann-Whitney检验。计数资料用例数（百分率）［n（%）］表示，组间比较采用χ ²检验。P＜0.05为差异有统计学意义。

2 结 果

2.1 腰椎穿刺术考核点细化评分并归类

将腰椎穿刺术考核点评分细化为语音类58分、场景监控类12分及动作评估类30分（表1～表3）。

2.2 AI辅助腰椎穿刺术考核评分与考官评分的比较

在语音类评分上，AI评分明显低于考官评份；而在场景监控类以及动作评估类评分上，AI评分与考官评分差异无统计学意义（表4）。

3 讨 论

本研究在AI技术工作的基础上，针对腰椎穿刺术操作考核内容的特点，建立3个考核模块，即音频算法模块、监控算法模块、动作评估算法模块。音频算法模块涵盖的评分内容占据整个考核分值的58%，因此音频算法模块的建立在某种程度上决定整个考核的顺利开展。在音频算法模块构建过程中，考生语音信号经过语音识别算法进行处理，以获取考生答题文字内容。为让机器学习模型能“理解”这些评分项，特将评分项拆解成若干个关键词，每个关键词都有一个二元评分标准：“0”表示未达到要求，“1”表示达到要求。基于上述处理后得到的关键词信息，可更好地构建特征向量，使用传统机器学习方法或深度学习方法来构建评分模型。

监控算法模块评估的考核分数占整个考核分值的12%，虽然占据分值比例不高，但监控算法模块评估的腰椎穿刺考核内容非常重要，主要涉及到操作安全性及考生无菌观念。为确保评估准确性，使用学习物体识别算法来识别考场相关物品。此算法能实时监测并辨认无菌区域内是否出现非指定或不符合规定的物品，并通过跟踪模型持续监测、记录违规行为。根据具体评分规则确定每次违规行为给予扣分且不能超过最大可罚值。这种改进措施可提高监控系统自动检测与判定能力。

动作评估算法模块，是考核评估难点，也是模型构建难点。为提高评估系统准确性，除分析每一帧中关键点位置、身体姿态以及运动速度等因素，同时请专业评委对操作手法进行分段标注。请评委根据标准要求将符合与不符合要求的动作进行区分，并记录起止帧数。通过将时间序列信号与分段标注相结合，建立训练样本集合。

本研究结果显示，语音类评分上AI评分要低于考官评分，两组间差异有统计学意义。在计算机系统给出的考生评分和考官评分进行比对时发现，机器AI考核评分系统给出的评分准确性要高于考官评分。这是由于腰椎穿刺考核是专业性考试，因此关键词表述更加术语化。与自由场景下多样性较高的关键词不同，在专业领域内AI系统能获得准确性较高的关键词。通过以上方式构建起来的音频算法模块能有效提取重要信息并进行准确打分。在历次的考核过程中都存在考官间评分差异较大的情况，即使对考官进行评分细则的培训，两位考官对同一考生的评分仍可能存在较大差异，这可能是由于考生回答操作过程较快，以及每位考官关注考生操作的侧重点不同，有可能会造成评分差异。由此可见，AI系统可减少人为因素对考核评估的影响，提高评判的客观性、公正性和公平性。而在场景监控类及动作评估类评分中AI评分与考官评分相比较差异无统计学意义，但在动作评估类评分中AI评分略低于考官评分，在比对过程中发现在此模块中AI评分在得分项把握上还不够精准，这也是此模块建立的难点，还需要让计算机学习考官的差异部分，逐渐迭代优化机器AI考核评分系统对于腰椎穿刺操作的评分性能。目前，此项AI技术仍然在不断探索完善的过程，如在腰椎穿刺进针位置、深度上设置相应感受器，对副损伤产生智能化判断，减少语音类判断评分，逐步增加操作性评分，可更加精确地判断操作的技术性，提高判断的精确性。

AI引领现代教育出现跨越式发展，给医学教育带来巨大的发展机遇^［5］。与传统的教学考核方式相比，这种基于AI技术的评估方法具备客观性、高效性和可靠性的优势，AI正逐渐在医学教育中发挥越来越重要的作用^［6］。今后，在验证AI技术在考核系统中的有效性后，将进一步探索其在神经病学教育教学领域其他方面的应用，如引入AI辅助系统进行神经影像判读和临床诊断等^［7］，以提升医学教育质量并培养出杰出神经科医师。借助AI辅助教学活动所带来的优势，通过实践、纠错、再实践，提高学生采集病史、体格检查的临床能力，同时加强学生临床思维的训练，夯实临床基本功^［8-10］。另外，在学生无法按时进入病房见习时，AI仿真教学系统能发挥出重要的教学作用^［11-12］。AI在医学教育当中的应用是近年来最活跃的研究领域^［13］，医学院校的教师应帮助学生正确使用AI工具促进学习，同时积极推进AI多元化医学考核体系的改革，发展AI医学课程考核新形态^［14-15］。总之，本研究旨在推动医学教育向数字化、智能化发展，并为今后构建更科学合理且符合实际需要的医学专业考核体系奠定一定基础。

参考文献

[1] Nagi F， Salih R， Alzubaidi M， et al. Applications of artificial intelligence （AI） in medical education： a scoping review［J］. Stud Health Technol Inform， 2023， 305： 648-651.

[2] Masters K. Artificial intelligence in medical education［J］. Med Teach， 2019， 41（9）： 976-980.

[3] Lee J H， Wu A S， Li D， et al. Artificial intelligence in undergraduate medical education： a scoping review［J］. Acad Med， 2021， 96（11S）： S62-S70.

[4] 杨皓钧， 陈焯辉， 胡鑫航， 神经病学全网络教学模式建设的初步探索［J］. 中国继续医学教育， 2021， 13（15）： 1-5.

[5] 艾飞艳， 刘芬， 田力， 人工智能在诊断学教学中的应用［J］. 中国继续医学教育， 2021， 13（22）： 94-97.

[6] 张晓彤， 徐凯峰. 人工智能在呼吸内科教学中的应用［J］. 基础医学与临床， 2023， 43（8）： 1330-1333.

[7] Hu P， Zhou H Z， Yan T F， et al. Deep learning-assisted identification and quantification of aneurysmal subarachnoid hemorrhage in non-contrast CT scans： Development and external validation of Hybrid 2D/3D UNet［J］. Neuroimage， 2023， 279： 120321.

[8] 王登芹， 刘冰， 李万斌， 诊断学实验教学的改革与实践［J］. 医学理论与实践， 2020， 33（8）： 1368-1369.

[9] 钟敏， 胡燕， 程茜， 人工智能在医学教育中的应用现状与思考［J］. 中国继续医学教育， 2020， 12（18）： 79-81.

[10] 蒋伟， 马海涛， 郑鸿， 人工智能在研究生外科教学中的应用探索［J］. 中国继续医学教育， 2022， 14（1）： 152-155.

[11] 王梦溪， 王娜， 张欣多， 人工智能医学教学平台的构建［J］. 中国高等医学教育， 2020（3）： 46-48.

[12] 张培东， 庞丽敏， 吴宏超， 后后疫情时代的新医科教育解析——新机遇下的未来医学［J］. 医学教育研究与实践， 2021， 29（4）： 493-498.

[13] 封纯， 吕萍萍， 金敏. 基于文献计量学的虚拟现实和人工智能在医学教育中的应用［J］. 医学教育研究与实践， 2023， 31（3）： 278-287.

[14] 袁欢欢， 全祉悦， 林祎， 当医学课程考核遇上生成式人工智能：价值、挑战与未来展望［J］. 中国医学教育技术， 2023， 37（3）： 254-259.

[15] Chan K S， Zary N. Applications and challenges of implementing artificial intelligence in medical education：integrative review［J］.JMIR Med Educ， 2019， 5（1）： e13930.

基金资助

首都医科大学2022教育教学改革研究课题项目：人工智能技术在神经病学研究生腰椎穿刺考核中的探索(2022JYY229)

国家自然科学基金项目：通过外周神经调控对PD震颤脑能量活动的体感反馈机制研究(82271459)

国家自然科学基金项目：帕金森病姿势性震颤的神经振荡机制研究(82071422)