基于项目反应理论的生物统计学课程教学质量评价

Evaluation of the Quality of Biostatics Course Teaching Based on Item Response Theory

摘要

目的 分析西安交通大学医学专业本科生“生物统计学”期末考试成绩，评估课程教学质量，为改善课程安排和提高教学效果提供依据。 方法 以西安交通大学2022年参加“生物统计学”课程的医学专业本科生期末考试成绩为例，采用三参数logistic模型进行参数估计，计算分析试题区分度、难度系数和猜测系数等指标。 结果 研究中7个班级共942名学生完成了期末考试，所有班级客观题和主观题区分度系数均大于0.4，可以拉开不同水平应试者分数的距离。除6班的较低以外，其他各班客观题难度系数相对集中。客观题的猜测系数均值为0.065，主观题猜测系数均值为0.070，客观题涉及知识点比较广，猜测系数分布波动较大，可能提供总体教学质量好坏的信息。 结论 生物统计学试题整体设计合理、难易适中、覆盖面广，为教学提供了重要的反馈信息，也为提高教学质量提供参考依据。

Abstract

Objective To analyze the scores of the final examination of Biostatistics for medical undergraduates from Xi’an Jiaotong University so as to evaluate the teaching quality and provide the basis for improving the course arrangement and teaching effects. Methods Taking the final examination scores of the course Biostatistics for medical undergraduates in Xi’an Jiaotong University in 2022 as a case study, we used the three-parameter logistic model to estimate the parameters including test item differentiation, difficulty coefficients and guess coefficient. Results A total of 942 students from seven classes took the final examination, and the differentiation coefficients of objective and subjective questions in all classes were greater than 0.4, which could widen the gap between the scores of the test takers at different levels, indicating that the overall quality of the test questions was good. The difficulty coefficients of objective questions were relatively concentrated in all classes except the lower ones in Class 6. The average guess coefficient of objective questions and subjective questions was 0.065 and 0.070, respectively. The objective questions covered a wide range of knowledge points, resulting in a large difference in students’ answer results. Therefore, the guess coefficient of objective questions might reflect the overall teaching quality. Conclusion The test questions in the final examination have reasonable overall design, moderate difficulty, and good differentiation, which can provide important feedback information for teachers and serve as reference for improving the teaching quality in the later stage.

Graphical abstract

关键词

项目反应理论 / 期末考试 / 生物统计学 / 医学生 / 教学方法

Key words

Item Response Theory / Final examination / Biostatistics / Medical student / Teaching method

课程是教育教学活动中师生联系交流的载体，课程的水平和质量是培养优秀人才的根本保证。2018年，教育部发出“关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知”，督促各高校加强学习过程管理，挖掘不同课程的教学内容，优胜劣汰，建设高质量“金课”，建议适当提升课程难度和深度，增加学科挑战性，以期提高课程教学质量^［1］。教育部于2019年再次发出《关于一流本科课程建设的实施意见》，期望用三年时间实现万门左右国家级和省级一流本科课程的建设目标，推进课程改革创新，实施科学课程评价，严格课程管理^［2］。这一系列通知聚焦于课程建设和改革，凸显了完善的课程体系在一流专业建设中的重要作用。

“生物统计学”（Biostatistics）作为统计学（Statistics）的一个重要分支，是在医学科学理论和试验研究基础上，综合运用数理统计和概率论的原理和方法解决生物医学领域的研究设计、数据收集、数据整理，以及数据分析和推断的一门学科。生物统计学作为生物医学研究人员重要的方法和工具，帮助其分析临床医学、公共卫生学、药学，以及护理学等领域医学问题的内在客观规律和机制具有重要的作用，很难想象没有统计学规范和科学严谨的统计学设计、分析和解释，医学研究问题能得到正确的结论^［3-4］。“生物统计学”是一门理论性强且偏重实践的课程，涉及抽象的数学概念及理论、繁琐复杂的数学运算和推理等特点，要具有数学理论基础扎实和逻辑思维能力强的基本素质，鉴于医学专业的特殊性和差异性，医学生在学习时普遍具有畏难情绪，缺乏学习积极性和热情。目前，国内外学者针对生物统计学课程教学质量评价更多采用常规指标体系评估课程教学过程，而基于期末测试的评价也仅仅采用简单的统计分析对成绩的分布特征进行描述或主观指标进行评价，缺乏能真实体现班级教学效果的参数估计，不能全面客观反映考试情况，所能反馈的教学的信息有限。本研究将初步探讨生物统计学教学质量评价，以期为提高课程质量和教学效果提供反馈信息和参考依据。

1 调查对象和方法

1.1 调查对象

本研究选取2022年西安交通大学医学部参加“生物统计学”课程期末考试的学生作为调查对象，包括了临床医学、护理学、口腔医学、法医学，以及药学等医学各专业的本科学生，7个班级，10位教师，942名学生。该试卷包括选择题、问答题和计算题，卷面共51道题目，其中选择题40道，共40分，问答题8道，共39分，计算题3道，共21分。其中6班人数较少，其余各班人数在100人以上。

1.2 命题原则与考试方法

按照西安交通大学命题工作的要求，授课教师根据各自负责教学课时量分配命题量，自主命题生成A和B卷两套试卷。试卷涉及客观题（选择题）和主观题（问答题和计算题）两种题型，要求A、B两套试卷的试题与上一年度试卷试题重复率不超过 30%。教研室主任负责审核试题题型题量、整体难度、文字符号错误、是否符合教学大纲等。人才培养处在考前随机抽取一套定为期末考试试卷，考试形式为闭卷考试，时间为120 min，满分100分。

1.3 研究方法

既往研究中经典测量理论被广泛应用于教育与心理测量领域，基于真分数假设理论，利用线性数学模型确定测试题目和个人能力的关系，得到信度、效度、难度和区分度等指标定量分析测试题目，然而，经典测量理论也具有明显的局限性，包括参数估计过程的样本量依赖性，结果不稳定等缺陷^［5］。因此项目反应理论（Item Response Theory， IRT）更多被用于解决经典测量理论的不足，它的基本思路是基于非线性概率模型，分析测试对象的答题情况与其潜在特质（个人能力）之间的关系，潜在特质是不能直接测量的潜在变量。项目反应理论有正态累计模型和logistic模型两种表示形式^［6-7］。鉴于正态累计模型较为烦琐的计算过程，本研究采用了三参数logistic模型建立被试者在试题上的反应与其潜在特质的概率模型，可以描述为具有大于零的渐近线的S形曲线（项目特征曲线），增加了猜测系数，当潜在特质水平即能力水平很低的被试者偶然答对了某个题目时，模型表达式为

P\left(\theta \right)=c+\frac{\mathrm{1}-c}{\mathrm{1}+\mathrm{e}\mathrm{x}\mathrm{p}\left(-Da\left(\theta -b\right)\right)}

其中，D为测量常数，规定为1.700或1.702，b为项目的难度系数，描述为特征曲线上拐点处对应的θ 值，当曲线越靠左则题目越简单，而曲线越靠右则题目越难；a是项目的区分度系数，即特征曲线拐点处的斜率，该值越大则表明题目的区分度越高；c定义为猜测系数，即特征曲线的截距，该值越大则无论测试对象能力大小，都容易猜对这个题目的答案，能够反映学生考试过程中的猜测情况。

1.4 数据管理与统计分析

采用Excel录入数据，用统计软件SPSS 18.0整理和分析数据。本研究按照期末考试总成绩每5分为一组进行等级划分，每个等级组的学生能力系数θ分别设定为0.9、0.85、0.8、0.75、0.7、0.65、0.6、0.55、0.5、0.45、0.4、0.35、0.3、0.2等不同值，每个等级的学生题目答对率P（θ）为题目的答对人数与该等级内学生总人数的比值。将题型分为主观题和客观题两大类，采用SPSS非线性回归方法估计三参数logistic模型的难度系数b、区分度系数a、猜测系数c。

1.4.1 难度系数（b）

难度系数用于客观反映期末试题的难易程度，该值越大说明期末试题越难，反之则越简单。一般认为，试题的难度系数在0.3~0.7之间比较合适，高于0.7和低于0.3的试题不能太多^［8］。

1.4.2 区分度（a）

区分度系数主要用于区分测试对象能力水平，若试题区分度系数大，意味着更好地拉开能力水平不同的测试对象分数的距离。一般认为，区分度在0.4以上的题目区分度很好，0.19以下的题目区分度不理想建议改进或删除^［9］。

1.4.3 猜测系数（c）

考试题目的猜测系数越大，说明无论受试者能力高低，都容易猜对答案。一般来说，质量较高的测试题目建议采取较小的猜测系数，理论上取值范围为0~1，但实际上多数题目猜测系数小于纯随机猜对概率。

1.4.4 聚类分析

针对课程教学质量采用K-Means聚类，基于主观题和客观题区分度、难度系数和猜测系数等多变量指标，对不同班级进行聚类，划分为不同类。基于班级聚类结果，探索教学异常的班级，进一步反馈教学质量。

2 研究结果

2.1 不同题型IRT参数统计

利用非线性回归三参数logistic模型后，得到不同题型各参数。图1A给出了不同题型的难度系数，客观题难度系数除6班的较低以外，其余各班的难度系数相对集中。客观题主要是选择题，考察内容覆盖面大，涉及生物统计学教材各章节，既有基本概念又有统计原理的应用。主观题包括问答题和计算题，问答题主要涉及到基本概念和定义，既有记忆性知识也有统计原理的灵活应用，计算题涉及统计学原理应用，对于考生的综合能力要求较高，因此主观题难度系数高于客观题难度系数。

所有班级的客观题和主观题区分度系数大于0.4，可以合理拉开不同水平应试者分数的距离，说明试题整体质量较好。图1B显示客观题除2班区分度系数较大，其他各班区分度集中，由于客观题涵盖了生物统计学所有章节，覆盖面较大，因此，学习基础不扎实、理论概念不清楚的学生考分较低，区分度较大。主观题在各班的区分度系数也比较集中，由于主观题难度系数整体较大，学生得分差异大，所有区分度较为集中，尤其6班的区分度系数最高。

理论上五择一选择题的猜测系数为0.2，问答题和计算题的猜测系数为零。而图1C显示客观题的猜测系数均数为0.065，主观题猜测系数均值为0.070，可知由于客观题覆盖面大，涉及知识点多，如果学生复习不认真或不到位，得分难度较高，因此猜测系数较低。而主观题虽然整体难度大于客观题，主观题猜测系数具有相对较小的数值波动范围，说明教师批改试卷可能相对宽松。客观题猜测系数分布波动较大，选择题涉及知识面广，学生答题结果具有较大的差异性，因此，客观题猜测系数可能直接反映教师总体的教学质量的好坏。

2.2 不同题型IRT参数聚类分析散点图

不同题型IRT参数进行聚类分析，根据客观题和主观题区分度，聚类结果可以分为3类。图2A显示，其中6班主观题区分度较大，客观题区分度较小，2班客观题区分度较大，主观题区分度较小，与箱式图结果一致，说明2班学生对客观题所涵盖生物统计学知识点掌握差异较大，6班对生物统计学基本原理及应用掌握差异较大，其他各班的区分度系数都比较集中，也可能与教师阅卷有关。

图2B显示，根据试题难度系数，可以将班级分为三类。6班客观题难度系数较小，而主观题难度系数较高。客观题主要涉及生物统计学基本概念，记忆性知识较多，而主观题既有记忆性知识也有统计原理的灵活应用，因此6班学生需要加强统计学原理的理解及其实践案例的应用。4班学生与6班学生相反，需要加强复习基本概念原理，重视生物统计学课程，提高学习的积极性，保证足够复习时间。

图2C显示，猜测系数聚类分析可以将结果分为三类，其中6班和2班主观题和客观题猜测系数都较低，而4班、1班、7班客观题猜测系数较高，5班和3班主观题和客观题猜测系数都较高，说明了各班教师主观题阅卷的松紧不同可能导致结果差异。

2.3 学生考试成绩统计

表1为不同班级学生期末成绩，结果可见2班学生成绩标准差最大，说明不同学生之间成绩波动较大，也间接证明了2班的试题区分度高于其他班级。6班标准差最小，不同学生之间成绩差异较小，平均分和及格率都较高，说明试题在该班难度系数较小。

所有学生成绩呈现正态分布，优秀率（90~100分）为2.76%，良好率（80~89分）为27.17%，及格率为80.67%，总体均数70.68分，考试成绩说明了教学效果良好，试卷涵盖了教学大纲的知识点，具有良好的区分度和适当的难度系数。

3 讨论

该调查研究分析了西安交通大学医学专业本科生2022年“生物统计学”课程期末考试成绩，利用项目反应理论三参数logistic模型对医学专业生物统计学课程期末试卷进行分析，分别估算了主客观题的相关参数，同时分析了学生成绩分布特征。调查结果显示，该课程的考试内容、组织安排和教学效果合理，基本达到了生物统计学教学的目的，为教学效果评估和考试质量评价提供了依据，然而也反映出课程教学中存在部分考生考分较低，部分班级及格率较低，成绩波动较大的问题。

3.1 不同题型IRT参数分析

非线性回归三参数logistic模型分析发现，整体上客观题和主观题各班的难度系数都相对集中，所有班级客观题和主观题区分度系数大于0.4，可以合理拉开不同水平应试者分数的距离，客观题的猜测系数均值为0.065，主观题猜测系数均值为0.070，说明试题整体质量较好。客观题即选择题，涵盖知识点多，涉及教材各章节，主要是基本概念及应用，相对简单，而主观题包括问答题和计算题，问答题主要涉及到基本概念和定义，既有记忆性知识也有统计原理的灵活应用，计算题涉及统计学原理应用，对于考生的综合能力要求较高，因此主观题难度系数高于客观题难度系数。对于学习基础薄弱、理论概念不清楚的学生考分较低，相反，理论基础扎实并能够灵活应用的学生考分较高，主客观题型区分度均较大。主观题猜测系数取值范围较小，可能由于教师批改试卷可能也相对宽松，而客观题猜测系数取值范围较大，涵盖了生物统计学的基本概念、基本方法、统计设计与统计分析的关系，基本统计方法的适应条件、结果解释和表述等，因此，客观题猜测系数可能更加直观反映教师总体的教学质量的好坏。

3.2 不同题型IRT参数聚类分析

进一步对不同题型IRT参数进行聚类分析，发现6班主观题区分度较大，客观题区分度较小，对课程基本原理掌握及实践应用能力差异较大，2班则相反。同时，6班客观题难度系数较小，而主观题难度系数较高，6班和2班主观题和客观题猜测系数都较低。试卷平均成绩经常被用于教学过程中评价不同班级的教学质量和效果，本研究结果发现，2班学生成绩标准差最大，说明不同学生之间成绩波动较大，6班平均分和及格率都较高，而标准差最小，不同学生之间成绩差异较小，间接证明了2班和6班的试题猜测系数较低，理论基础不扎实和实践应用能力薄弱，依靠猜测得分较低。同时也反映出这两个班级的差异，即6班的学生对生物统计学基本概念原理掌握较好，重视生物统计学课程的学习，复习时间可能充分，而2班的部分学生可能对生物统计学课程重要性的认知不足、学习的积极性不高，导致该班学习成绩差异较大。

医学学科以记忆性知识为主，而生物统计学具有概念原理抽象、公式推导论证复杂、计算量大等特点，相比较而言该课程更需要理解能力和逻辑思维能力，因此，目前医学院校普遍存在生物统计学教学质量和教学效果差的问题。大部分医学生没有扎实的“高等数学”“概率论与数理统计”等专业课程基础，在课堂上不能深入理解统计理论和方法，学生只有在特定题目下确定分析方法后，依靠教科书列出的步骤简单利用相关统计软件实施分析，而统计分析方法没有明确指定时学生往往无所适从，综合应用能力和逻辑思维能力较差^［10］。另外，学生临床课程内容多，学习压力较大，挤占了生物统计学学习的时间，学生对生物统计学课程认识不足，教师照本宣科，教学方式方法简单落后，严重挫伤了学生对生物统计学的兴趣。

3.3 应对策略

生物统计学课程质量评价的最终目的是反馈问题，改进完善教学方法，全面提高教学质量。本研究发现仍有部分班级考分较低，及格率较低，成绩波动较大，提示在教学过程中，教师应当及时解决传统教学方法的不足，采用丰富多样的教学手段和方法，加强整个教学过程管理，提高教学质量。具体应对策略如，第一，整合生物统计学教学内容，贯通式梳理和优化教材基本统计理论和方法，有机整合课程前后教学要点，形成知识整体和系统思维，同时弱化数学理论公式推导，简明扼要地介绍各种统计方法的基本原理、适用条件、应用范围、优势和不足，适当增加统计方法在医学领域的应用实例，激发学生学习的兴趣^［11］。第二，将以教师为中心的理论讲解转变为以学生为中心的案例教学，通过设定某特定案例或提出某现实问题，鼓励学生自己运用所学统计方法分析研讨，进而得出结论并做出决策，既能激发学生参与课堂的热情，又能提高学生对统计理论的理解^［12］。第三，整合传统的面对面授课模式和网络教学自主学习模式，建立线上统计理论和软件操作课程资源，鼓励学生课前预习和课后复习，课后教师利用各种软件资源与学生交流，及时了解掌握学习过程中的困难和盲区，提高生物统计学学习效率^［13］。第四，生物统计学课程计算复杂，借助统计软件完成统计学分析是重要途径，教学中基于实际问题讲解相关统计软件的操作，既可以提高学生理解理论知识的能力，又可以增强学生解决实践问题和实际应用能力^［14］。第五，在教学过程中，发展多元化的考核方式，将关注期末考试成绩为主，转变为多模式、全方位的考核。例如增加随堂实验题和小组讨论，完成实验报告，培养学生集体协作和善于思考的习惯。总之，不断改进教学方法能促进学生积极思考的热情和提高灵活运用的能力，也可以提高生物统计学教学质量和水平。

4 结语

进行考试质量评价，是及时了解掌握教学过程中的不足和缺陷的重要途径，对于提高教学质量具有重要意义。建立科学合理的考试质量评价体系，需要考虑试题的难度系数、区分度、猜测系数等参数，本研究基于2022年《生物统计学》课程期末考试成绩，利用项目反应理论三参数logistic模型，发现2022年生物统计学考试题型整体设计合理、难易适中、区分度好，猜测系数低，尤其是客观题猜测系数更加直观地反映了教师总体的教学质量的好坏，基本达到了评价学生学习效果、及时发现教学问题的目的，其中发现2班的部分学生对生物统计学课程重要性的认知不足、学习的积极性不高、教师教学质量不高，导致该班学习成绩差异较大，为后期提高教学质量提供了参考依据。

参考文献

[1] 中华人民共和国教育部.教育部关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知［EB/OL］.（2018-08-27）［2024-09-19］

[2] 中华人民共和国教育部.教育部关于一流本科课程建设的实施意见［EB/OL］.（2019-10-30）［2024-09-19］

[3] 颜虹，徐勇勇 ．医学统计学［M］．3版．北京：人民卫生出版社，2015．

[4] 康轶君，党少农 ．医用多因素分析及SPSS操作［M］．西安：西安交通大学出版社，2023．

[5] BOCK R D ．A brief history of item theory response［J］．Educational Measurement：Issues and Practice，1997，16（4）：21-33．

[6] 罗照盛 ．项目反应理论基础［M］．北京：北京师范大学出版社，2012．

[7] 杜文久 ．高等项目反应理论［M］．北京：科学出版社，2014．

[8] 徐中良，沈正泽，向萍，等 ．临床合理用药试题库应用与试卷分析［J］．重庆医学，2018，47（8）：1135-1137．

[9] 李新，关明云，包红 ．医学统计学试卷的质量分析与思考［J］．中国卫生统计，2011，28（4）：476-477．

[10] 郑珊珊，杨林 ．“SPSS统计软件应用” 课程混合式教学改革研究［J］．科技风，2022（28）：125-127．

[11] 曹红艳，罗艳虹，张岩波 ．卫生统计学贯通式教学方法的应用［J］．中国卫生统计，2017，34（2）：355-357．

[12] 陶胜，胡明颖 ．多元统计分析课程教学研究与实践［J］．集美大学学报（教育科学版），2011，12（2）：99-102．

[13] 吕冰，严嘉诺，熊飞 ．高校一流本科专业建设的核心要素及组合［J］．黑龙江高教研究，2022，40（5）：149-153．

[14] 裴磊磊，赵亚玲，康轶君，等 ．医用多因素分析及SPSS操作课程教学经验探讨［J］．医学教育研究与实践，2023，31（5）：603-607．