抽查设定下基于学生评价能力的同行互评概率图模型

摘要

随着大量中文MOOC平台的兴起，批改大规模学生提交的主观题作业成为教育研究领域亟待解决的问题。同行互评要求学生作为同行评价者来批改同伴的作业，是解决该挑战问题的主流方法。近年来，研究人员基于概率图模型对同行评价者的评分可靠性和偏见建模，有效提升了基于同行评价打分估计主观题作业真实分数的准确性。然而，现有概率图模型只考虑学生在本次作业上的得分对其评分可靠性的影响，未对可以直接衡量评价者评分可靠性的学生评分偏差进行建模，存在局限性。鉴于此，本文结合教师抽查的方式，基于学生评分偏差对评价者评价能力进行有效量化，并以此为基础提出两种新颖的同行互评概率图模型，即RPG6 (reliability-aware peer grading 6)和RPG7 (reliability-aware peer grading 7)。这两个模型在现有概率图模型的基础上，在学生的评分可靠性建模中添加了基于评分偏差感知的学生评价能力，以提高模型对作业真实分数的估计准确性。真实课堂实验表明，本文提出的RPG6和RPG7模型在同行互评活动中对作业真实分数的估计更为准确，比现有最好技术在均方根误差方面平均降低了11.75%。

关键词

同行互评 / 概率图模型 / 真实分数估计 / 评分偏差 / 评价能力 / 抽查