基于多元评价主体的临床技能自主训练评价系统构建与实践

Construction and practice of clinical skills self-training evaluation system based on multiple evaluation subjects

摘要

目的 完善临床技能自主训练的评价机制，提升技能自主训练的质量和效果。 方法 基于学评融合的理念，在临床技能自主训练中引入包括训练者本身、多名同伴和教师在内的多元评价主体，自主设计研发临床技能自主训练评价系统。在已完成体格检查学习并考核合格的2021级临床医学专业461名学生中进行教学应用实践，包括教师发布训练任务、系统随机抽签项目、学生录制训练视频、系统随机分配视频，由学生自评、同伴互评和教师抽评训练视频、系统检测评价信息生成反馈报告等系列环节。同时发放调查问卷，了解学生对录制评价视频对自身技能的影响和满意度。 结果 92.1%的学生表示录制和评价视频对自己的技能有积极影响；54.2%的学生对目前自己体格检查技能的掌握情况表示满意；仅有29.2%的学生使用评语评价。 结论 系统的构建给学生之间、师生之间提供了更多互动机会，随机抽签项目提高了视频拍摄质量，随机分配消除了人际因素对评价的影响。学生在自评中进行了反思、在同伴互评中吸取了不同评价者的意见，教师在抽评中了解到学生训练情况的同时，也尽量避免教师评价对学生评价的消极影响。大部分学生认为该系统对自身技能有积极影响。

Abstract

Objective To improve the evaluation mechanism of clinical skills self-training and enhance the quality and effectiveness of clinical skills self-training. Methods Based on the concept of learning-assessment integration, multiple evaluation subjects including trainers themselves, multiple peers, and teachers were introduced to construct a clinical skills self-training evaluation system, which was independently designed and developed. Preliminary practice was conducted on 461 students majoring in Clinical Medicine who enrolled in 2021 and have completed physical examination and passed the assessment. The practice contained several parts, including assigning training tasks by teachers, randomly selecting items by the system, recording training videos by students, randomly distributing videos by the system, assessing videos by students’ self-assessment, peer assessment and teachers’ spot-assessment, and detecting and evaluating information by the system to generate feedback report. At the same time, questionnaire survey was distributed to understand students’ impressions of the influence of recording assessment videos on their own skills and their satisfaction. Results 92.1% of students reported that recording and evaluating videos had a positive impact on their skills, and 54.2% of students were satisfied with their current mastery of physical examination skills. Only 29.2% of students used comments for evaluation. Construction The construction of the system has provided more opportunities for interaction among students and between teachers and students. The random draw for items has improved the quality of video filming, and random allocation has eliminated the influence of interpersonal factors on evaluation. Students reflected on their self-evaluation and drew on the opinions of different evaluators in peer evaluation. Teachers learned about the training situation of students and tried to avoid the negative impact of teachers’ evaluation on students’ evaluation. Most students reported that this system has a positive impact on their skills.

关键词

临床技能 / 自主训练 / 评价系统 / 多元评价

Key words

clinical skills / self-training / evaluation system / multiple evaluation

医学是一门实践性很强的学科。对于医学生而言，未来要成为一名合格的医师，除了需要扎实地掌握理论知识，还需要规范和熟练地掌握临床技能操作技术。医学生临床操作能力培养一直是医学教育关注和研究的重点。

汕头大学医学院“临床基本技能”是一门国家级精品课程。课程覆盖内、外、妇、儿、护理等临床基本技能，包括体格检查、症状学与病史采集、常用临床诊疗技术、急救技术、心电图、实验诊断、外科基本操作等，面向二、三年级开设，跨度四个学期。课程学习内容多、时间跨度长，课堂训练时间有限，而学生需要反复实践训练才能熟练掌握各项技能操作。对此，汕头大学医学院从2016年开始全天候开放技能训练室^[1]，让学生充分利用课余时间进行临床技能自主训练；同时，医学院成立课题组，制定相关训练方案，观察学生的训练过程和效果，对所出现的问题及时进行调整。当前的临床技能自主训练推行同伴互助式练习，要求学生必须至少与一位同伴进行训练，并根据教师所提供的训练项目评价量表对同伴的表现给予口头反馈，并填写在线评价表进行互评。课题组对2017—2020级学生的训练情况进行观察，发现大多数学生都是与自己关系要好的同伴互相训练，存在评价主体单一且固定的不足；另外，面对面直接评价容易导致互评不客观，存在友谊分数（评分过高）或协商分数（相互协商后给予评分）的现象；再者，缺乏激励和警示机制，无法进一步激发优秀学生的积极性，也没有对训练和评价态度随意的学生进行警示，以督促其改进。

因此，在当前临床技能自主训练已充分满足学生在训练项目、次数及时间等需求的基础上，如何通过完善临床技能自主训练的评价机制，引入包括训练者本身、多名同伴和教师在内的多元评价主体，构建临床技能自主训练评价系统以解决目前自主训练存在的弊端，进一步提升自主训练的质量和效果，课题组进行了相关的研究和探索。

1 基于多元评价主体的临床技能自主训练评价系统的构建

课题组依据学评融合的理念，自主设计和研发基于多元评价主体的临床技能自主训练评价系统（简称“系统”）。系统采用Browser／Server架构，利用Asp.net(C#)+MS SQL等技术进行开发。

1.1 系统的构成

该评价系统具有七个子系统，包括训练预约、训练视频生成、训练视频点播、训练视频推送、训练视频评价、激励和警示、综合统计分析。

训练预约 预约训练的项目、时间，系统智能分配实验室房间。

训练视频生成 实验室房间配备有视频设备，可以自动录制和存储来自4个不同视角的训练视频。在学生宿舍及其他场所则可选择手动录制训练视频并上传。

训练视频点播 训练者回看自己的训练视频，优秀训练视频点播。

训练视频推送 推送训练视频给训练者本人进行自评，同时随机推送给其他学生及教师。随机推送的规则可由教学团队根据训练项目的选取范围、推送视频的数目、学生来源（是否同一个班级）等参数生成并由系统自动执行。

训练视频评价 训练项目的评价量表管理，视频评分（分数、评语），评分智能对比。

激励和警示 优秀训练视频的标记及加分，随意评价的标记及警示。

综合统计分析 训练次数、项目，评价数据（自我评价、多名同伴评价、教师评价）统计，对比分析。

1.2 系统的基本流程

①教师布置任务，发布评价规则与评价量表。

②学生提交作业。学生需在设定的时间内将录制好的视频上传到系统。

③系统分配评价者。系统按照教师设定的分配规则，将视频分配给训练者本人，同时随机分配给至少3位评价者。

④学生自评、互评作业。学生按照教师发布的评价量表，对自己录制的和系统分配的视频进行评价，包括分数评价和评语评价。

⑤教师抽评。系统按照教师设定的抽取比例，将视频随机分配给教师进行评价。

⑥系统检测与处理异常评价信息。系统对分数进行检测，如视频未播放完就完成评价提交者、同一位学生对多个视频作业的评价分数相同或接近相同者等，系统会标记分数异常要求学生重评。对同一个训练视频的评分，系统通过智能算法自动对比学生和教师在各个评分条目的分数，如果评分偏差≥20%，系统将随机推送该视频给另外一名教师进行评价，如果评分偏差仍≥20%则要求学生重评。

⑦估算作业分数。系统将同份作业的多个有效的评价分数取平均数估算该作业分数，把相关评分报告反馈给学生。

2 基于多元评价主体的临床技能自主训练评价系统的初步实践

系统构建完成后，于2023年3—7月在汕头大学医学院2021级临床医学专业已完成体格检查学习并考核合格的461名学生中进行教学实践。

2.1 实践前准备

首先，课题组修改原有的评价量表。将全身体格检查的训练项目划分为四个训练项目，包括胸肺部、心脏、腹部及神经系统。将各个训练项目的条目细化并设定分值。例如：将腹部检查的“检查前准备”条目，具体为“洗手、暖手、自我介绍、沟通、排空膀胱、充分暴露腹部，每项0.5分，共3分”。

其次，查阅国内外相关文献，设计调查问卷。问卷内容包括两部分：第一部分为研究对象的基本信息，包括性别、班级；第二部分是学生对录制和评价视频提升体格检查技能的影响评价，经过这系列训练后学生对自己的体格检查技能掌握情况的满意度评价。采用开放式作答，收集学生认为录制和评价视频对提升自身技能的影响和建议。

2.2 实践流程

①教师在系统发布训练任务，学生根据评价量表，对全身体格检查的内容进行同伴互助式练习，训练时间2个月。

②学生通过系统的抽签程序随机抽取四个训练项目中的一项，要求在1个月内录制一段时长不超过15 min的训练视频，并上传提交到系统。系统在抽签过程中对每个训练项目被抽到的次数进行名额限制，保证了四个训练项目被抽签到的人数接近，能够满足后续互评的要求。

③教师在管理后台设置评价参数并发布评价任务，系统根据参数要求推送同一个训练视频给训练者本人及另外3位评价者。

④系统给每位学生推送4个视频，学生收到推送后完成4个视频的评价。例如：学生抽签并完成录制的项目是“神经系统”，则系统会将该视频推送给学生进行自评，同时给该学生推送他没抽签到的另外3个训练项目的视频。推送给学生的视频采用匿名方式，不提供训练者的姓名、班级等相关信息，学生评价他人也采用匿名评价。

⑤教师抽评。系统按照每个训练项目的视频抽取25%的数量，随机推送给若干位教师评价。

⑥系统检测评价信息，生成反馈报告。

⑦教师发放调查问卷。

2.3 初步实践结果

2.3.1 录制和评价训练视频的完成情况

按照必须同时满足“提交录制的训练视频、自评1项、互评3项”三个条件的标准，对系统的数据进行筛选，共有411名学生完成训练视频录制和评价的任务，有效完成率为89.2%。

①评价记录 分数评价部分，收集到自评411条，同伴互评1 233条，教师抽评103条。有120名学生（29.2%）对视频进行了评语评价，共324条。

②评价质量 考虑到本次研究是系统构建后的初步实践，学生是第一次参与这种形式的线上评价，缺乏相关的评价经验，故该部分评价数据在本研究中将不做进一步展开分析。

2.3.2 问卷调查结果

共发放问卷411份，回收有效问卷404份，有效回收率为98.3%。其中，男性216人，占53.5%；女性188人，占46.5%。调查结果显示，92.1%的学生认为录制和评价视频对提升自身的体格检查技能有积极影响，不仅复习了体格检查的技能，进一步巩固相关知识和操作，还关注到之前学习中没有注意到的细节，从同伴的训练视频中发现自己可能会出现的错误点，同时也吸取同伴的优点；54.2%的学生对目前自己的体格检查技能的掌握情况表示满意（如表1所示）。

同时，学生也提出一些建议。例如：相比分数更希望能看到评语的反馈；当前录制与评价视频的间隔为1个月，希望缩短周期；当前只录制1个训练项目，希望增加录制视频的项目。

3 讨论

学评融合是新时期中国教育评价改革与国际学习评价前沿实践共同关注的重要理念，强调通过数字世界将评价融入学生的学习活动过程，鼓励人人展示分享成果、人人参与系列评价活动，让每一位学生都能在评价活动中提高核心素养，在评价反馈中进一步改进学习^[2]。同伴互评是指学习者对具有相同学习背景的其他同伴的学习成果进行评价^[3]。

课题组基于学评融合的理念，对原有的临床技能自主训练方案进行改进，构建临床技能自主训练评价系统，通过多元评价主体进行评价。

系统的搭建让学生超越时间、空间的限制进行评价活动，为学生之间、师生之间提供更多的互动机会^[4]。系统随机抽签录制的项目，一方面减少学生拍摄训练视频的数量，以提高视频的拍摄质量，另一方面避免学生选择自己擅长的系统进行拍摄。经过细化的评价量表不仅能指导学生的自主训练，还能降低互评任务中评分的主观随意性^[5]。随机分配和匿名评价消除了人际因素对评价的影响，提升学生参与互评的积极性^[6-7]。

引入自我评价、多名同伴互评及教师评价的多元评价方式。自我评价，给学习者提供了额外的时间，站在评价者的角度回播自己的训练视频，再次审视评价标准，对自己的训练表现进行反思^[8]。多名同伴互评，一方面能让学生在互评过程巩固相关的知识点，学会吸收不同评价者的意见，汲取同伴的优点，反思自身存在的问题，对自己在训练中所出现的错误和不足加以改进^[9-10]；另一方面，能够减轻教师批改视频作业的负担，让教师有更多时间对每位抽评到的学生提供有针对性的反馈^[11]。将教师纳入评价主体，能为学生提供相对专业、权威的反馈^[12]。有学者指出要避免教师评价对学生的自主评价与同伴互评的限制和干扰^[13]，该研究中教师评价采用25%的比例进行抽评，确保教师能了解学生的训练情况，同时尽量避免教师评价对学生评价的消极影响。对于部分学生的训练视频未被抽评到的情况，系统会自动记录每个学生已被抽评到的次数，在下一次发布训练任务时优先抽取没有被抽评过的学生，力求教师的评价能够覆盖到每一名学生。此外，系统具有对异常评价信息的检测功能，能对随意评价者起警示作用。

问卷调查结果显示，92.1%的学生表示录制和评价视频对自己的体格检查技能有积极影响；经过这一系列训练后，54.2%的学生对目前自己的体格检查技能的掌握情况表示满意。由此可见，系统的初步实践取得一定的效果。但是，当前的评价更多是来自问卷中学生的主观感受，后续课题组将继续优化提升系统，发布多轮训练任务，收集和分析相关的应用数据和成绩数据，进一步评估系统在临床技能自主训练中的应用效果。

通过对实践结果的分析，课题组也发现当前所存在的不足，仅有29.2%的学生使用了评语评价，分数评价质量有待进一步提升。通过对相关学生进行访谈，其原因大致有：有学生担心评价的实际分数会计入成绩，怕影响到自己和其他学生的成绩，所以有打高分的倾向；有学生受限于评价能力，自信心也不足，在评语评价的使用上很谨慎。对此，课题组将通过相关培训，解释自评、互评的价值和意义，引导学生关注评价过程和能力提升，而不是着眼短期成绩；课题组通过系统发布对不同质量视频的评价范例^[14]，让学生观察和分析，从错误和模范表现中学习，提高评价者的信心。根据历届学生常见的错误问题，提炼出评语词条，以选项形式供学生勾选，提高评价者使用评语评价的积极性和规范性。

有学者指出学习者在评价时会表现出评价能力上的差异，应将评价双方按评价能力进行配对组合^[15]。此次研究中课题组考虑到学习者均为已完成体格检查学习并考核合格，并且是第一次参与评价，而体格检查是医学生必须掌握的基本技能，故初次实践将全部学生视为具有相同的评价能力。课题组接下来将根据系统的学生评价与教师评价的分数进行匹对，对评价者的能力按星级做不同标记，进一步完善评价规则，提升评价系统的自动检测能力，让学生的评价更真实客观。

参考文献

[1] 洪晓琳, 吴丽萍, 许杰州, 等. 网络预约临床技能训练实验室建设及管理初探[J].中国医学教育技术, 2020, 34(1): 51-54.

[2] 张生, 王雪, 齐媛. 人工智能赋能教育评价: “学评融合”新理念及核心要素[J].中国远程教育, 2021(2): 1-8.

[3] TOPPING K. Peer Assessment between Students in Colleges and Universities[J].Review of Educational Research, 1998, 68(3): 249-276.

[4] BILGIC E, VALANCI-AROESTY S, FRIED G M. Video Assessment of Surgeons and Surgery[J].Advances in Surgery, 2020(54): 205-214.

[5] BECKER A. Student-generated Scoring Rubrics: Examining Their Formative Value for Improving ESL Students’ Writing Performance[J].Assessing Writing, 2016, 29: 15-24.

[6] 马志强. 社会认知互动的多维刻画:协作学习投入理论建构与实践探索[M].北京: 中国社会科学出版社, 2021: 275.

[7] PANADERO E, ALQASSAB M. An Empirical Review of Anonymity Effects in Peer Assessment, Peer Feedback, Peer Review, Peer Evaluation and Peer Grading[J].Assessment & Evaluation in Higher Education, 2019, 44(8): 1253-1278.

[8] 秦雪莲, 王晓楠, 康晓凤, 等. 基于视频信息技术的临床技能学绩测评模式构建与应用[J].中国医学教育技术, 2022, 36(4): 454-458.

[9] 何怀伟, 杨光耀, 冯明洁, 等. 视频考核下的临床技能自主训练模式在住院医师岗前培训中的应用[J].中国毕业后医学教育, 2021, 5(2): 163-165.

[10] LIN L, NI S Z, LIU Y Q, et al. Effect of Peer Videorecording Feedback CPR Training on Students’ Practical CPR Skills: A Randomized Controlled Manikin Study[J].BMC Medical Education, 2022, 22(1): 484.

[11] 陆琛, 章晓晨, 杨瑾. 基于视频辅助的同伴反馈在外科见习生技能训练中的应用[J].中国高等医学教育, 2023(10): 82-83.

[12] WANNER T, PALMER E. Formative Self and Peer Assessment for Improved Student Learning: The Crucial Factors of Design, Teacher Participation and Feedback[J].Assessment & Evaluation in Higher Education, 2018, 43(7): 1032-1047.

[13] 马志强, 孔伶玉. 以学习者为中心的评价何以可能: 学评融合视域下的自主与同伴互评研究前沿进展[J].电化教育研究, 2022, 43(10): 41-48.

[14] WANG Y F, FANG H, JIN Q, et al. SSPA: An Effective Semi-supervised Peer Assessment Method for Large Scale MOOCs[J]. Interactive Learning Environments, 2022, 30(1): 158-176.

[15] 舒存叶. 网络同伴互评系统的设计和优化[J].电化教育研究, 2017, 38(1): 80-85.

基金资助

2021年广东省高等教育教学改革建设项目“基于多元评价主体的临床技能自主训练评价系统的构建及应用”(粤教高函〔2021〕29号002-181233123)