多元概化理论在高校学业水平考试组卷策略中的应用——以《医学心理学》科目为例

摘要

目的 旨在采用多元概化理论(multivariate generalizability theory, MGT)的示范方法推动高校学业水平考试试卷结构设计的优化策略。方法 以某高校820名在校生的《医学心理学》考试成绩作为样本，利用mGENOVA软件对学业成绩进行多元概化分析；通过概化(generalizability study, G)研究估计各测量目标与侧面的方差分量，并通过决策(decision study, D)研究考察不同题型数量组合下的全域分数。结果 G研究的结果表明，除简答题(Φ=0.74)外其余各题型的可靠性指数均没有达到理想水平(Φ=0.29～0.61),但合成的全域总分的可靠性指数达到良好的标准(Φ>0.8);D研究表明，在固定其他题型数量的前提下，当单选题数量减少至35题时，其可靠性指数即可接近良好标准；继续增加单选题数量，可靠性指数提升幅度显著减小，呈现边际效应递减现象。结论 多元概化理论超越传统经典测量理论(classical test theory, CTT)的总分信度视角，在题型组合优化层面实现了测量质量的整体跃升，为考试评价提供了更具诊断价值的分析范式。

关键词

试卷结构 / 多元概化理论 / 变化规律 / 概化系数 / 可靠性指数