学习评价作为深化教育改革的重要环节,既是基于教与学全面信息进行价值判断的过程,也是提升学习实效的重要保障。早期学习评价主要是以统一标准的事后评价方式进行,总体呈现了评价依据薄弱、评价标准单一、评价内容笼统等问题,在评价的科学性和客观性上具有一定的局限性
[1]。人工智能、智能感知网络、多模态融合等数智技术的不断发展与广泛应用,使得学习者的个性特征得以精准刻画和动态监测,推动学习评价逐渐从统一的标准化评估转向聚焦学习者特征差异的个性化评价
[2]。个性化学习评价以学习者认知过程、情感体验、学习交互三维特征为分类依据,通过测量学习者各特征表现,将具有相似特征表现的学习者进行归类,进而为各类别的学习者提供特征适应的评价目标与指标方案,为其个性化发展提供科学、全面的数据支持。将学习者分类的思想融入评价,根据学习者的过程性学习特征设计动态评价方案,从学习者认知、情感、交互的基础能力,到思维、监控的高阶本领,旨在促进学习评价的针对性、动态性和全面性。
1 个性化学习评价的发展脉络
1.1 理念溯源(1905 — 1969):从学习表现差异化评判到学习成效个体化衡量
差异化学习评价最早起源于心理学领域。1905年,比奈和西蒙认为智力在个体之间存在显著差异,并开发了首个智力量表进行学生能力水平的测量,为差异化评价奠定了理论与实践基础
[3]。在其影响下,差异化学习评价主要聚焦于学生在两个方面的表现:一是记忆力、理解力、逻辑推理能力、注意力等基本认知能力,二是学习成绩,包括考试成绩、作业完成情况以及知识掌握程度等。20世纪30年代,泰勒原理强调,教育评价应具备全面性和过程性,这一原理阐明了仅靠学习表现评估智力差异,无法全面衡量学习者的学习成果与发展状况
[4]。自此,评价逐渐转向了通过搜集学习者起始状态与成长进步数据,分析其学习过程表现,以区分学习成效差异
[5]。该阶段的学习评价从关注学习者学习表现的单一维度评估向关注学习者多维成长发展的学习成效评估过渡。
1.2 实践路径(1970 — 2004):从学习行为投入评测到学习认知情感计算测量
19世纪70年代,通过观察和测量行为来理解学习过程的凯勒个性化教学系统得到了进一步发展和完善。研究者们开始采用学习过程问卷和学习方法问卷等测量工具,搜集学习者在每个学习单元中的行为投入数据,评估其在学习过程中的行动和策略,以此对教学内容与进度进行个性化调整
[6]。20世纪90年代,Connell等在理论上首次从行为投入、情感投入和认知投入三个方面探讨了学习投入的结构
[7],引发了研究者们对学习者认知和情感维度的综合评价,开始尝试利用自评量表、教师观察表等不同的认知情感测量工具,搜集学生、教学环境和学习成果之间相互作用的数据,对学习者的认知过程、情感反应和学习风格进行评估
[8]。该阶段的学习评价从仅关注外显行为的认知层面评测转向评估学习者在知识掌握、技能发展、情感态度等方面的全面表现。
1.3 技术赋能(2005 — 2013):从适应性学习评价分析到动态性学习交互评价
为满足学生在互联网时代的个别化学习需求,研究者开始探讨如何通过适应性学习来实现。适应性学习作为典型的着眼于个体差异的学习方式,已成为多维度研究的重要课题。研究主要围绕两个方面:一是学习者特质方面,通过最大似然估计、贝叶斯网络、数据挖掘等对学习者知识水平、情感态度、学习风格等进行测验以推荐匹配的学习内容
[9];二是适应性学习工具和系统的有效性方面,主要通过对学习者成绩的增幅,学习者对系统的满意度进行衡量
[10]。早期适应性学习评价侧重学习者与系统的人机交互,缺乏多主体间的互动。随着网络学习交互理论的深化发展,研究者们开始注重学习者多层面信息交互需求,围绕互动反馈系统、网络协作交互、在线学习环境交互,进行互动性
[11]、认知能力变化
[12]、元认知发展
[13]等动态评价。该阶段的学习评价正从基于静态适应性学习系统中人机交互评价,向基于动态适应性学习系统中学习交互的全要素过程性评价过渡。
1.4 数智融合(2014 — 2025):从学习者特征建模评价到认知思维差异性评估
研究者基于学习者产生的海量学习数据,通过系统化建模分析,能够实现对学习者学习行为、认知状态及学习效果的准确评估。早期主要通过问卷调查、检验测量的方式搜集学习者的个人信息和静态数据进行显式建模,从而识别学习者的知识水平、学习风格、社交特征、人格特质、学习动机等维度特征
[14]。然而,这种建模方式是处于学习者知晓状态下基于表层特征进行的,数据缺乏真实性及认知深度。因此,研究开始依托学习管理系统、可穿戴设备、眼动追踪技术等无感化智能技术,在无干预状况下,对学习者学习过程进行全时段、全方位、多模态捕捉
[15],以采集他们的认知建构、情感体验、思维变化等过程数据
[16],进而能够在学习者认知思维层面进行隐式建模
[17]。该阶段的学习评价从对学习者静态数据的显式建模分析到对学习过程中认知思维变化的动态数据隐式建模分析过渡。
整体而言,当前个性化学习评价研究主要集中在学习特征差异化识别、学习者个性评价建模、适应性学习系统开发、个性化评价系统设计方面,重点关注基于智能技术对学习者认知和行为特征的精准诊断与动态评估
[18]。在个性化评价建模方面,已有研究聚焦于通过分析学习者学习行为、认知过程与学习满意度对评价系统进行优化迭代,关注不同学习者学习表现、行为投入等特征变量,侧重学习者知识掌握层面的差异,以及基于元认知理论
[19]、项目反应理论
[20]、Q矩阵理论等构建个性化测评模型
[21]。但仍然缺乏对学习者认知思维特征变量的差异化衡量。因此,学习评价需要重视以反映学习者内隐特征的个性化建模,并从发展性视角对其个性特征进行综合评价。
2 个性化学习评价的内在逻辑与设计原理
2.1 个性化学习评价的内在逻辑
2.1.1 以个性特征决定评价切入点
个性特征是个体在心理和行为表现上所具有的独特且稳定的属性,揭示了个体与他人之间的差异性。以往个性化评价在学习者特征维度选取上,存在线上线下融合不足以及仅关注认知层面而难以反映学习全貌的问题。我们融合线上与线下数智化学习环境,选取驱动学习过程的关键特征作为切入点。全视角学习理论从内容、动机、交互三个维度揭示了学习的发生机制与动态过程
[22],为学习者的个性化分析提供了一个多维度的整体视角,基于该理论阐述的三个维度可分别析出认知过程、情感体验、学习交互三个特征作为探查学习状态的切入点。其中,认知过程指向学习者通过感知、加工获得知识的过程,表征其知识掌握的动态变化;情感体验指向学习者的情绪状态、归属感、价值感、注意力、学习满意度,表征其对学习过程的认同程度和动机情况;学习交互指向学习者与教师、同伴以及数智化环境的多维度互动,表征其行为表现力与学习参与度。
2.1.2 以学习者分类支撑评价策略
通过对学生个性特征的表现情况进行比较,将具有相似表现的学习者归类至同一群体,进而能够对每个群体实施针对性的评价策略
[23]。具体而言,基于布鲁姆目标分类理论及教学交互层次塔理论,对学习者认知过程、情感体验、学习交互三个特征维度按照水平差异划分为低、中、高等级。据此,学习者的三维特征会呈现出平衡状态即均处于同一等级,或非平衡状态即等级不一致。平衡状态的学习者称为综合发展型学习者,按照低、中、高的特征维度等级进一步分为低综合发展型、中等综合发展型、高综合发展型。非平衡状态的学习者中,若一特征等级高于另外两个,则称为专项卓越型学习者,根据主导特征的不同分为认知主导的应用型、情感主导的积极型、交互主导的领导型。若两个特征相同且高于另一特征,则称为复合优势型学习者,进一步细分为认知-情感导向的主动探知型、认知-交互导向的问题解决型、情感-交互导向的冲突转化型。
2.1.3 以素养为导向创设评价目标
个性化评价目标的设定需要基于学习者差异进行类别匹配,并关注学习者情感参与、学习策略、素养发展等多维度能力的培养,以实现学习者多维发展的适配化评价。布鲁姆目标分类理论体现的学习目标分层思想,与评价目标梯度化匹配的理念相契合,可以作为精准适配评价目标的核心支撑点,为专项卓越型学习者、复合优势型学习者、综合发展型学习者分别匹配适应其特征的评价方案。个性化评价目标应以素养发展为导向,通过设计差异化的评价策略,全面衡量学习者在核心素养各维度上的发展水平,并据此提供针对性的反馈与支持,以促进学习者核心素养的持续提升
[24]。我们选取OECD21世纪核心素养框架中“工具交互、异质群体互动、自主行动”三类核心素养
[25],并结合我国大学生核心素养维度“指向终身发展、指向社会发展、与人交互、与事物交互”
[26],确定个性化学习评价的目标框架包括三个方面,分别为面向问题解决的认知能力、面向群体互动的交互能力、面向高阶思维的创新能力。
2.2 三维特征分类评价的设计原理
学习主体的分析定位是个性化评价开展的前提
[27],个性特征作为揭示学习者能力水平和学习偏好的关键要素,能充分反映学习者在认知、情感与行为层面的差异性。通过认知过程、情感体验、学习交互的三维视角进行学习者类别划分,能够较为全面地洞察学习者在数智化学习环境中的身心投入程度。采用针对学习者群体的个性化评价策略,能够依据不同学生的特点和需求,制定与之相匹配的素养发展评价方案,从而更好地满足学习者个体差异化的素养发展要求。因此,个性化学习评价以学习者个性特征为切入点,以分类别分析为评价策略,通过构建层次化的评价体系,实现促进学习者素养发展的目标。基于上述分析,我们提出以学习者分类为中心的个性化学习评价设计原理,如
图1所示。
该设计原理由三维特征因素、学习者划分类型、理论基础架构三个部分构成,中心圆环表明个性化学习评价是以学习者为核心,通过认知过程、情感体验、学习交互的共生循环,构成影响学习状态的主要三维特征因素。中间圈层是划分的学习者类型,根据学习者在认知过程、情感体验和学习交互三个维度的均衡性,以及某一维度或某两个维度的主导作用,先将学习者初步划分为专项卓越型、复合优势型和综合发展型三大类别,再基于特征的等级差异进一步细分。最外圈则是支持学习者分类设计的个体差异理论,以及支撑差异化评价目标设计的目标分类理论和核心素养框架。具体而言,个体差异理论指导分析学习者个性特征的差异性,明确学习者当前所处的学习阶段和层次水平,从而为其适配个性化的学习服务。目标分类理论指导对目标的层级划分,使得目标能够适应各层次等级的学习者需求。核心素养框架用于对国内外素养框架内涵的提炼,从高阶思维、群体交互、问题解决三个维度对学习者进行综合衡量,进而构建契合学习者素养发展的个性化评价体系。
3 基于个性特征的学习者分类评价策略
3.1 个性特征三维解构的立方体形成
3.1.1 认知过程:知识建构的层级剖析
学习者的认知活动表现为从具体到抽象的发展规律,反映了信息加工、知识理解和思维运用的阶段性特征,呈现出层次性和递进性
[28]。修订版的布鲁姆认知领域分类法从认知过程与知识维度双重视角拆解学习者认知活动,阐释认知过程从低到高依次包括识记、理解、运用、分析、评价和创造六个层级。依据可观察的任务特征提炼评价观测点,将六类进一步融合为理解、运用、创造。其中,理解是指学习者对知识点的概括或解释,认知压力较小,属于低认知层次;运用是将知识应用于新情境,须调动知识体系,对知识理解较透彻,处于中阶认知层次;创造则是基于知识经验,整合知识点形成新整体,发挥知识最大效用,属于高阶认知层次。
3.1.2 情感体验:态度转化的梯度拆解
学习者的情感体验表现为从外显到内化的发展过程,反映了情绪觉察、态度形成和价值内化的阶段性特征,呈现出转化性和进阶性
[29]。在布鲁姆情感领域目标分类理论框架下,个体的情感分为接受、反应、价值评价、组织、特征化五个方面,依据学习情感的具象化与可测量性,进一步将五个层面融合为觉察、态度、内化。其中,觉察阶段学习者情绪表达直接,对反馈信息表现出较高的敏感性,这种敏感性容易引发情绪的波动,进而影响学习行为;态度阶段学习者可识别与表达情绪,对学习材料和活动形成明确倾向,情感与认知相互作用,形成综合态度;内化阶段学习者将态度和情感体验内化为稳定价值观,以此指导行为与决策。
3.1.3 学习交互:行为互动的渐进诠释
学习者的交互活动表现为从基础到高级的深化规律,反映了操作参与、信息交流和知识建构的阶段性特征,呈现出生长性和渐进性。教学交互层次塔
[30]理论将交互分为操作交互、信息交互、概念交互,从学习者行为模式和认知加工维度拆解学习者交互过程。结合线上和线下学习特征与学习支持水平,提出了混合式学习交互类型:行为交互、对话交互、建构交互。行为交互阶段学习者自主性强,主要通过个体与数智化环境互动,较少依赖他人沟通合作;对话交互阶段学习者在课堂或虚拟社区中主动发起对话,借助小组、任务、技术平台进行同步或异步交流协商;建构交互阶段学习者认知参与度高,通过分析、综合、评价和创新等复杂活动主动建构知识体系。
3.1.4 个性特征立方体坐标解析
基于上述个性特征的三维融合分析,每个特征被分为了具有层次界限的三个等级,为此使用立方体模型能够呈现不同特征变量所处的空间位置。具体而言,认知过程为横坐标,假定学习者的认知过程都存在值C(1≤i≤3),表示认知过程类型(C
i∈“理解、运用、创造”);情感体验为纵坐标,假定学习者的情感体验都存在值E(1≤i≤3),表示学习情感类型(E
i∈“觉察、态度、内化”);学习交互为竖坐标,假定学习者的交互水平都存在值I(1≤i≤3),表示学习交互类型(I
i∈“行为交互、对话交互、建构交互”)。从横轴认知过程(C)、纵轴情感体验(E)、竖轴学习交互(I)维度出发,采用坐标轴取值策略设计学习者类别,每个坐标轴被划分为三阶,共搭建27块小立方体,代表27类学习者。如
图2所示。
3.2 特征变量映射的学习者评价策略
立方体中展现的27种学习者类型,根据三维特征的平衡性及主导关系,被归纳为专项卓越型学习者、复合优势型学习者、综合发展型学习者,按照特征的等级差异,每类学习者又被进一步划分成三类,总计九类学习者,如
表1所示。九类学习者因特征变量的水平差异而展现出不同的学习特点,因此需要采用相应的评价策略。对于专项卓越型学习者而言,该类学习者在认知过程(C)、情感体验(E)和学习交互(I)中仅有一个特征值高于其他特征,通过发挥该特征的优势,能够带动其他维度能力的协同增长。评价时,需要对该特征对应的评价维度设定较高的要求,以激发学习者对该特征持续提升的动机;对于复合优势型学习者而言,该类学习者在认知过程(C)、情感体验(E)和学习交互(I)中有两个特征值高于其他特征,综合两者的能力水平,能够补偿另一维度的相对不足。评价时,通过为这两个特征对应的评价维度设定较高的评价要求,以促进学习者均衡发展;对于综合发展型学习者而言,该类学习者在认知过程(C)、情感体验(E)、学习交互(I)的值相同,由于总体特征存在低、中、高三个等级,对应的三个子类型学习者展现出不同程度的均衡发展水平。评价时,需要根据均衡发展的水平高低匹配相应的评价要求。
4 基于学习者分类的个性化学习评价方案
4.1 个性化学习评价指标体系的初构
基于PISA、PIRLS、TIMSS、NAEP评价框架体系,并结合所创设的素养导向的评价目标,初步确定评价指标框架为:认知知识维度是指学生基于已有的知识经验,对特定领域的知识与理解程度;学习投入维度是指学习者在参与各项学习活动、并应对任务挑战过程中所体验的各种情感状态和情感反应;协作交互维度是指学习者在小组或团队学习中,同学习材料与同伴之间的互动共享;高阶思维是指学习者在较高认知水平层次上的心智活动,是综合运用分析性、创造性和实践性思维的能力;个性发展维度是指学习者在个人成长和自我实现方面的综合表现,并且每个一级维度包含三个二级指标。鉴于上述指标体系,从高校、教研机构中邀请30位教育领域的咨询专家进行审查和评估,专家选择标准如下:①具有5年以上教育评价项目的实践经验;②在个性化学习评价、学习评价、教育监测与评估等领域发表过核心期刊;③拥有研究生及以上学历;④了解本课题并对其感兴趣,愿意提供咨询时间。第一轮问卷主要包括专家对概念与评价指标适切性的判断以及重要指标的补充,并在指标评判上采用李克特五分量表法搜集专家意见,通过计算筛选合理的指标。根据计算得出第一轮一级评价指标的满分频率界值为0.530,变异系数界值为0.184,二级评价指标的满分频率界值为0.600,变异系数界值为0.150。在评价维度中,认知知识、学习投入的满分频率等于界值,个性发展的变异系数大于界值,在评价指标中,知识掌握、知识管理、行为参与、学习力、学习反思的满分频率不符合要求,学习力的变异系数不符合要求。如
表2所示。
4.2 个性化学习评价指标体系形成
基于上轮函询反馈,研究者对部分指标进行优化并重新编制问卷。改动较大的部分是专家判断意见中合理性较低的一级评价维度与二级评估指标,为了方便专家快速定位针对性的修改内容,我们将修改意见对应的修改内容字体颜色突出显示。并将新编制的第二轮函询问卷重新发放给30位专家填写并回收,以待第二轮的问卷数据与意见分析。通过计算得出第二轮一级评价指标的满分频率界值为0.410,变异系数界值为0.164,二级评价指标的满分频率界值为0.630,变异系数界值为0.127,专家评分数据分析如
表3所示。据上述两轮专家意见函询与专家意见的集中程度分析,并对个性化学习评价指标体系经过修改后,所有指标得到“合理”及以上的适切性,得分均大于3分,且所有二级指标的变异系数都低于0.12733,也得到了专家意见的统一。综上所述,个性化学习评价的指标体系最终确定为,知识水平维度包括知识掌握、知识管理、知识应用;学习情感维度包括情感态度、情绪调节、自我效能;协作交往维度包括协同研讨、协作调控、成果共享;高阶思维维度包括计算思维、问题解决、创造性思维;自我监控维度包括计划制定、自我观察、学习反思。并将与学习者认知、情感、交互直接相关的知识水平、学习情感、协作交往素养维度归为基本素养维度,在此基础上更高层次的高阶思维、自我监控素养维度归为进阶素养维度。
4.3 个性化学习评价指标权重排序
根据已确定的个性化学习评价指标体系,采用Fuzzy AHP对各项指标元素的权重进行赋值,并对权重结果进行统一分析
[31]。首先,为了提高指标权重的准确性,通过扩充专家小组成员,保证学科结构的多样性,对新一轮问卷进行重新征诉。其次,在确定的个性化学习评价指标体系基础上,采用1-9标度与三角模糊法,根据回收问卷中专家对指标元素两两重要性比较的意见对其进行量化赋值,从而构造出模糊判断矩阵。专家总计指出了80个一级评价维度判断矩阵和155个二级评价指标判断矩阵。通过几何平均法计算得出群体专家意见的最终指标权重数值,并通过一致性检验。最后,对个性化学习评价指标体系中各项指标元素的同级权重数值进行可视化呈现,如
表4所示。可以看出,知识应用
K3、自我效能
M3、协同研讨
A3等指标的权重占比最高;知识掌握
K2、情感态度
M2、协作调控
A2等指标的权重占比中等;知识管理
K1、情绪调节
M1、成果共享
A1等指标的权重占比较低。根据一级指标下各二级指标的同级权重数值排序,二级指标被分为了基础、中等、高级三个层级。
4.4 学习者分类的个性化评价方案
根据评价策略,不同类别学习者的评价要求有所差异。具体而言,基于学生的能力水平,在基础、中等、高级三个层级的二级指标中,重点评价与其能力相匹配的层级。专项卓越型学习者在认知过程、情感体验、学习交互中有一方面表现突出,其对应的基本素养二级指标重点评价高级指标,其余两个基本素养及两个进阶素养均重点评价中等指标;复合优势型学习者在三个方面特征中有两方面表现突出,所对应的基本素养二级指标重点评价高级指标,另一基本素养重点评价中等指标,两个进阶素养重点评价高级指标;综合发展型学习者在三个方面水平相当,但存在低、中、高三个层级,其基本素养和进阶素养的二级指标根据特征水平层级进行对应的重点评价,每类学习者需重点评价的二级指标如
图3所示。基于上述方案,学习者在具有优势的基本素养方面获得了高级评价指标,这能够进一步激发其潜力。在其他基本素养方面,通过中等评价指标,帮助其补齐短板。进阶素养则依据学习者特征优势的数量及水平差异进行差异化调整,以贴合不同学习者的素养发展情况,这种方案在保证基本素养稳步提升的同时,逐步推动进阶素养的有序提高,为学习者的全面发展提供支撑。
5 结束语
将学习者分类思想融入学习评价,打破了传统评价中“一刀切”的模式,为学习评价领域带来了新的视角。从认知过程、情感体验、学习交互的三维特征对学生进行系统化的评估,突破了传统评价中基于单一维度分析的局限性,通过多维度的系统化判断,能够更精准地映射出贴合不同学习者特征的多层次评价方案。基于学习者分类的个性化学习评价,以学习者个性特征为切入点,通过对学习者进行群体划分,实现以素养导向的评价目标动态适配不同层次学习者的评价要求,最终形成梯度化、动态化的个性化评价方案。该评价方案的应用场景为高等教育中线上与线下相结合的常态化学习情境,旨在为真实课堂情境中实施学习者差异化测评提供理论指导。在未来实施过程中需要针对学科差异,融合和表征反映学习状态的多源数据,以动态定位学习者个性特征所处的层次水平。并结合具体的课程内容,设定与课程紧密关联的五维评价观测点,形成基于证据的全方位覆盖学习数据深度与广度的多层级评价模式,为后续基于评价结果,精准匹配学生个性化素养发展的学习服务提供理论参考。
2024年度国家社会科学基金教育学一般项目“数智环境下基于大语言模型的个性化学习设计与评价研究”(BCA240055)