信息技术融合客观结构化临床考试在医学类本科生毕业考试中的实践效果调查

Investigation on the practical effects of integrating information technology with objective structured clinical examination in undergraduate medical graduation assessment

摘要

目的 在新医科及教育信息化背景下，通过信息技术与客观结构化临床考试框架相融合，探讨此考试方法在医学类本科生毕业考试的实践效果。 方法 选取2023年医学类本科专业毕业生59名作为试验组，含中医类学生38名，临床类学生21名，采用信息技术结合客观结构化考试；并以2022年医学类本科专业毕业生59名作为对照组，含中医类学生26名，临床类学生33名，采用传统纸质考试；对比2组考试成绩、组内考试类型间成绩和试验组各考站成绩提交时间，以及考官、学生对信息技术融合客观结构化临床考试在毕业考试中的实践效果问卷调查。 结果 对照组和试验组部分考试成绩及各组考试类型间成绩比较，差异有统计学意义（P<0.05）；试验组各考站成绩提交时间均低于考试给定时间；问卷调查结果显示，试验组在信息技术融合客观结构化临床考试形式的公平性、高效性评价方面，表示“非常同意”“同意”的人数比例明显较高。 结论 信息技术融合客观结构化临床考试形式能保证考试流程的高效性和考试的公平性，对毕业客观结构化临床考试工作的开展和推进具有非常重要的促进作用。

Abstract

Objective In the context of new medical disciplines and educational informatization， this study explores the practical effectiveness of integrating information technology with the objective structured clinical examination （OSCE） framework in the graduation assessment of undergraduate medical students. Methods A total of 59 graduating students from medical undergraduate programs in 2023 were selected as the experimental group， including 38 TCM students and 21 clinical medicine students. They were assessed using an OSCE integrated with information technology. The control group consisted of 59 students from 2022， including 26 TCM students and 33 clinical medicine students， assessed using traditional paper-based exams. Examination scores between the two groups and across exam types were compared. The submission times at each OSCE station in the experimental group were recorded， and a questionnaire survey was conducted among both examiners and students to evaluate the effectiveness of the integrated examination model. Results Statistically significant differences （P<0.05） were found between the groups in certain exam results and between exam types within groups. All station scores in the experimental group were submitted within the allocated time. Questionnaire responses showed a significantly higher proportion of “strongly agree” and “agree” responses regarding the fairness and efficiency of the information-integrated OSCE format. Conclusion The integration of information technology into OSCE ensures both efficiency and fairness in the examination process， playing a crucial role in promoting and enhancing the implementation of structured clinical assessments for undergraduate medical students.

关键词

客观结构化临床考试 / 信息化考试 / 考试成绩 / 问卷调查 / 实践效果

Key words

Objective Structured Clinical Examination / information-based examination / exam performance / questionnaire survey / practical effect

2020年9月，国务院办公厅印发了《关于加快医学教育创新发展的指导意见》，确立了“以新医科统领医学教育创新”的基本原则^［1］。以人工智能、大数据等新一代信息技术与医学教育融合并创新发展，是新医科统领下提高医学人才培养质量的有效手段^［2］。在医学院校中，毕业考试用于评价医学生是否具备相应专业知识与技能，为高校教学及考试体系提升奠定坚实基础^［3］。客观结构化临床考试（Objective Structured Clinical Examination，OSCE）已广泛应用于医学生的毕业考试、住院医师规范化培训的出科考试、国家执业医师资格考试及医师分阶段考试中的实践技能考试部分^［4-5］。在当前新医科背景下，各医学院校、规培基地及教学医院都在尝试利用信息化创新考试模式^［6-8］。为有效衔接国家中医药管理局中医师资格认证中心发布的实践技能考试要求，学校在OSCE考试框架下进行考试内容设定及考站设计，结合实际情况将信息技术与OSCE考试框架相融合，将考查学生的心理素质、沟通能力、人文关怀和临床思维等部分融入评分表项目，除病史采集站外，评分表中均增加考官提问部分以加强对学生的综合素质的评价。福建中医药大学（以下简称“本校”）针对福州市部分医院无法安排考试及未在临床教学基地实习（自主实习、部分转实习）的实习生统一安排回校参加考试。本文通过2022年传统OSCE及2023年信息技术融合OSCE（以下简称“信息化OSCE”）考试成绩比较、组内考试类型间成绩比较、试验组各技能操作站成绩提交时间统计，以及考官、学生对信息化OSCE考试的问卷调查，探讨信息化考试应用于医学类本科生毕业考试的公平性与高效性。

1 对象和方法

1.1 研究对象

选取本校2023年医学类专业本科毕业生59名为试验组，含中医类学生38名，临床类学生21名；2022年医学类专业本科毕业生59名作为对照组，含中医类学生26名，临床类学生33名。研究时间为2022年5月—2023年7月。对照组与试验组的毕业临床综合理论考试成绩分别为（71.97±5.49）分和（74.13±7.97）分；对照组与试验组的年龄分别为（23.05±0.59）岁和（23.15±0.64）岁；对照组男性25名，女性34名：观察组男性18名，女性41名。2组性别比较，说明2组差异无统计学意义（P=0.181），具有可比性。

1.2 方法

中医类毕业生OSCE现场操作部分设置病史采集、中医技能、体格检查、西医技能4个站，临床类毕业生OSCE现场操作部分设置病史采集、体格检查、内科技能、外科技能、急救技能、妇儿技能6个站。每个技能项目的考试时间均为10min，同一场次的学生考试内容相同。

试验组采用信息化OSCE考试方式，系统对需要考试的技能项目类别进行随机组合，学生随机进入考试场次，从而进入相应的技能项目组进行考试。信息化系统能够实现现场操作考试站点题库资料数字化，实现学生数据导入，自动完成考试场次和学生安排，同时针对学生在考场流动管理过程中所涉及的各环节进行信息化资源优化，由中控统一控制开始考试和结束考试的场景，辅以考场中的网络广播系统实现考场的自动化管理及成绩信息化管理。对照组采用传统纸质考试。

1.3 观察指标

（1）对照组和试验组考试成绩比较。将中医类学生对照组和试验组考试成绩及临床类学生对照组和试验组考试成绩进行比较。

（2）组内考试类型间成绩比较。将中医类学生OSCE4个考试类型成绩及临床类学生OSCE6个考试类型成绩分别进行组内比较。

（3）试验组各考站成绩提交时间反馈。对试验组各技能操作站成绩提交时间进行统计。

（4）信息化OSCE考试系统应用后的问卷调查反馈。为了摸查考试工作整体情况，并为以后改进毕业生临床综合技能考试提供依据，试验组考试前针对学生、考官制定了调查问卷，对本次信息化OSCE考试设计、组织评价、考试试题质量及考试效果等方面进行调查。

1.4 统计学方法

采用SPSS23.0统计学润健对数据进行分析，符合正态分布的计量资料以均值±标准差（x±s）描述。2组间比较采用独立样本t检验；多组间比较采用单因素方差分析，进一步两两比较采用LSD检验。计数资料以频数和百分比［n（%）］描述，组间比较采用卡方检验。以P<0.05为差异有统计学意义。

2 结果

2.1 对照组和试验组学生考试成绩比较

分别对中医类、临床类学生对照组和试验组学生的OSCE考试成绩行比较，中医类学生试验组学生的中医技能考试成绩高于对照组（P<0.01），临床类学生试验组的提个检车成绩低于对照组（P<0.05）。其余项目成绩差异均无统计学意义（P>0.05），具体见表1、表2。

2.2 组内考试类型间成绩比较

将对照组与试验组中医类学生OSCE4个考试类型的考试成绩分别进行比较，发现对照组各考试类型成绩方差齐（P=0.797），单因素方差分析结果提示（F=15.495，P<0.01）组内各考试类型间成绩差异具有统计学意义；进一步分析提示，除了体格检查与西医技能的成绩差异没有统计学意义（P=0.362），西医技能与体格检查成绩较高，中医技能的成绩最低；试验组各考试类型成绩方差齐（P=0.717），单因素方差分析结果（F=1.429，P=0.237）提示，组内各考试类型间成绩差异无统计学意义。

将对照组与试验组临床类学生OSCE6个考试类型的考试成绩分别进行分析，发现对照组各考试类型成绩方差齐（P=0.378），单因素方差分析结果提示（F=3.425，P=0.005）组内各考试类型间成绩差异具有统计学意义；进一步分析提示，体格检查成绩较高，内、外科成绩较低；试验组各考试类型成绩方差齐（P=0.630），单因素方差分析结果提示（F=1.581，P=0.171）组内各考试类型间成绩差异无统计学意义。

2.3 试验组各考站成绩提交时间反馈

对试验组各技能操作站成绩提交时间进行统计，具体见表3。

2.4 信息化OSCE考试系统应用后的问卷调查反馈

通过信息化OSCE考试系统应用后，共有考官24人、学生59人完成本次OSCE信息化考试设计、组织评价、考试试题质量及考试效果等方面的问卷调查，每个项目选择分为非常同意、同意、不确定、不同意、非常不同意5级，分别为5、4、3、2、1分。结果见表4、表5（部分封闭式提问或者开放式提问等非量表式的项目未列入）。

3 讨论

3.1 信息化OSCE考试与传统OSCE考试成绩分析

从对照组与试验组考试成绩比较看，尽管考试的总平均分值持平，但有部分考站间仍存在差异，中医类学生的中医技能成绩在试验组较对照组高，差异有统计学意义（P<0.05）；临床类学生的体格检查成绩在试验组较对照组低，差异有统计学意义（P<0.05）；其余项目成绩差异均无统计学意义。

从组内考试类型间成绩进行比较，发现对照组的中医类学生西医技能与体格检查成绩较高，中医技能的成绩最低；对照组的临床类学生体格检查成绩较高，内、外科成绩较低。试验组各考试类型间成绩比较，差异均无统计学意义，说明信息化OSCE考试对医学生成绩影响不大。

从成绩分析结果看，学生对中医技能及内、外科技能操作与运用能力普遍不理想，这可能与中医技能考站的考查范围较广，学生需要准备的内容比较多，且增加了考试内容的不确定性，对学生提出更高的要求，使学生产生心理压力。这与部分学生在问卷调查中针对考试内容的意见反映“出题较偏，不熟悉”“与平时学习重点有所偏差”相佐证。临床类学生在内科技能、外科技能考站相对成绩较低，这几个考试类型要求学生熟练掌握技能操作的流程、规范和注意事项，尽管在实习中有老师带教，但可能动手机会有限，而且也较难有机会复习。2023年信息化OSCE考试组各考试类型间成绩比较差异均不具有统计学意义，原因可能是经过2022年考试的反馈后，学生对这些考站内容更加重视，在中医技能和内、外科技能考站业务水平有所提高。今后建议各教学医院可推进教学视频、慕课等优质教学资源信息化，实现资源共享，供学生随时随地学习；学校则在模拟教学上加大投入，使学生有更多机会在模拟设备上进行可重复且安全性高的模拟训练，弥补临床床旁操作实践的不足。体格检查成绩相对较好，可能因为医学生可通过在教学医院实习中多与患者接触、多参与入院病史询问及教学查房等临床实践来提高；学生练习体格检查的动手机会相对较多。

此外，通过调查发现部分学生对实习所规定的内容，其理论与实践水平离实习大纲规定应达到的标准尚存在差距。可能存在的影响因素有：随着医院各项以提高医疗质量为中心工作制度的出台、患者维权意识的提高、病源和病种的减少给医院在临床教学任务方面带来较为复杂的局面，可能导致学生动手实践机会变少；社会大环境的影响将部分学生注意力分散到考研和就业上，导致在实习过程中处于被动状态，实习主动性不高。这应引起学校教学管理部门的重视。

3.2 信息化OSCE考试效果分析

对信息化OSCE考试整体组织情况的调查结果提示：52名学生认为本次考试整体组织时间安排合理；54名学生认为考站路线清晰、标示确定，反映出学生对运行的考试环境持肯定态度且考前的相关培训到位；95.8%的考官都认为本次考试整体组织情况流畅，可见应用信息化考试后，提高了考试周转流动率和管理工作的效率；对于考试形式能保证考试公平性的认可，考官的平均得分为（4.67±0.70）分，学生的平均得分为（4.40±0.79）分，在调查项目中得分靠前，这与信息化系统的随机排考、随机抽题和考试成绩直接输送终端等功能直接相关，与汪晨等^［7］的研究结论相似。

对于信息化系统评分操作的便捷性、成绩统计的准确性，考官得分分别为（4.17±0.82）分和（4.41±0.72）分。本次调查结果还显示，试验组各考站成绩提交时间均低于考试给定时间10 min，可见运用信息化系统能够有效减少技能操作考评程序，避免信息输入、考分核算等环节浪费时间，从而提高考试效率。而传统OSCE考试方式在轮转、评分、成绩统计环节都会消耗更多时间，容易出现计算结果错误、原始资料丢失及不易长期保存等情况。问卷调查结果表明总体上考官与学生对应用信息化系统提高考试运行的效率、保证考试公平客观认可度高。

对于考试能够督促学生在实习中有意识地进行临床技能训练、对毕业后参加执业医师资格考试有帮助，以及将知识和技能转化为职业能力的助力作用，学生的认可度非常高。其中，53名学生认可考试能够督促在实习中有意识地进行临床技能训练、对毕业后参加执业医师资格考试有帮助；52名学生对考试能助力于将知识和技能转化为职业能力的作用持肯定态度。研究显示，将计算机技术与OSCE相结合，研发OSCE信息化管理系统，提高了OSCE成绩的可信度，使OSCE考试更现代化、合理化^［9］。本次研究也说明流程设计合理的信息化OSCE考试，能够以考促学，督促他们加强平时学习和训练，在一定程度上提高学习自主性，促进学生对临床技能的掌握，这也是学校多年践行的毕业OSCE考试逐步完善的必然结果，但对于考试提供的考站场景和设备的满意度，有9名学生持中立或否定的态度，反映出OSCE考站场景设置可能存在一定的缺陷，有待进一步地完善。

3.3 存在问题与展望

（1）OSCE考试模式设计。对于OSCE考试内容与站点设定应考虑本科阶段要求具备的各项能力及考试结果的可靠性，它与OSCE所包含的考站数目有密切关系，站点愈少，则考试结果愈容易受到试题取样偶然因素的影响，可信度会降低。学校在考站设置数量与考试内容的全面性方面需进一步参考执业医师考试的相关要求，优化考试内容，完善OSCE考试方案，以便更加客观地评价学生的临床综合思维能力和临床技能实践能力。

（2）考试流程持续优化。毕业考试过程中，各站点时间均为10min，但由于每站考试内容的不同及信息化考试方式的应用，学生实际完成时间存在差别，因此，需要进一步评估考试内容与时间的匹配、考站轮转顺序方面的梳理与模拟，从而不断优化考试流程。

（3）此次研究信息化考试仅应用于返校的医学类毕业生，样本量较小。医学教育的特殊性，要求各基地教学工作同质化，教学水平同步提升。考试是衡量人才培养质量的重要手段，未来应逐步推动信息化在各教学医院毕业OSCE考试的应用，实现打破物理空间同频考试，同一标准、同等时间，将基地的考试数据汇聚到平台，达到以考促学、以考促教的教学目的。

（4）用考试评价反向推动和提升学校与教学医院教育教学质量。信息化试点进行考试管理的过程中积累的大量的客观数据及考后的问卷调查进行综合分析，如何用考试评价反向推动和提升学校与教学医院教育教学质量，形成学生、学校、医院互相促进、协同发展的良性循环是难点。

4 结语

综上所述，信息化考试系统与OSCE的结合，不仅实现了对学生综合能力全面的评价，同时还实现了考试的公平性与高效性，对毕业OSCE考试工作的开展具有非常重要的促进作用。医学教育是卫生健康事业发展的基石，应主动对接国家发展新战略和医学发展新要求，创新教育教学模式，培养有灵魂、有温度的卓越医学创新人才，通过常规化应用，信息化OSCE考试将不断总结、改进，使系统趋于完善，更加便捷、智能地管理考试，更加科学、合理地评价学生，更加有效地提高教学质量，响应新时期“新医科”统领医学教育改革，不断提高学校医学生医师资格考试实践技能考试模块成绩，培养出符合时代需求的卓越医学人才，助力实现“健康中国”目标。

参考文献

[1] 张林.加快新医科建设 推动医学教育创新实践［J］.中国大学教学，2021（4）：7-12.

[2] 高阳，赵沁平，周学东，虚拟现实技术在新医科人才培养中的作用及应用现状［J］.四川大学学报（医学版），2021，52（2）：183-187.

[3] 彭贵军.OSCE在高等中医院校毕业考试中的评价研究［J］.中医药管理杂志，2023，31（13）：18-20.

[4] 王伟，徐家丽，陈晓晖，住院医师规范化培训学员过程考试的建立和实施［J］.中国继续医学教育，2022，14（7）：125-129.

[5] 梁洁，刘旖，王世宇，以胜任力为导向的公共卫生本科生分阶段考试方案初探：以成都中医药大学为例［J］.成都中医药大学学报（教育科学版），2022，24（3）：29-32.

[6] 刘海波，胡必梅，陈小慧，共享型高职护理OSCE考站的建设与应用［J］.医学理论与实践，2023，36（10）：1791-1793.

[7] 汪晨，王万玲，潘红平，信息化循环考站在护生OSCE毕业考试中的应用［J］.护理研究，2022，36（11）：2065-2068.

[8] 马莉，房清丽，王建宾，智能化OSCE考试系统在医学本科毕业生临床技能考试中的应用［J］.现代医药卫生，2022，38（3）：513-517.

[9] KROPMANS T J， O’DONOVAN B G， CUNNINGHAM D，et al.An online management information system for objective structured clinical examinations［J］.Comput Inf Sci，2011，5（1）：38-48.

基金资助

国家中医药考试科研课题(TC2022024)

福建中医药大学校级教育教学改革研究项目(XJJGY2307)