创新应用的数据化教育评估

Data-based education assessment for innovative application

摘要

数据作为数字教育时代下的生产要素，是推动教育评价数字化转型的新动力，对于开展规模化评估起着导向和促进作用。过程数据的应用和发展为教育评估中揭示学生的思维过程提供了可能。2023年1月，经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）发布了《过程数据在大规模教育评估中的应用》报告，该报告提出在规模化教育评估中将过程数据应用于优化设计、解释结果、保障质量、测量表现和验证测试，强调对过程数据应用的有效性验证，以及通过制定道德准则规范过程数据的应用。笔者通过对报告的要点内容进行分析解读，结合数字教育评估的创新发展趋势，提出从建立数字教育评测体系、探索数据化评估模式、践行数智精准评测设计、开展数字教育评测实践、健全数据伦理规范与评估规制等五方面推进数据驱动的规模化教育评估实施方略。

Abstract

As a production factor in the digital education era, data serves as a new driving force to promote the digital transformation of educational evaluation and plays a guiding and promoting role in conducting large-scale assessments. The application and development of process data provide the possibility to reveal students’ thinking process in educational assessments. In January 2023, the Organization for Economic Co-operation and Development (OECD) published the report The Uses of Process Data in Large-scale Educational Assessments. The report proposes using process data to optimize design, interpret results, ensure quality, measure performance, and conduct validation testing in large-scale educational evaluations. It emphasizes the verification of the validity of process data applications and the regulation of their use through the establishment of appropriate ethical frameworks. By analyzing and interpreting the main points of the report, combined with the innovative development trends of digital education evaluation, five aspects including establishing a digital education evaluation system, exploring data-based evaluation models, practicing precise evaluations design with digital intelligence, carrying out digital education evaluation practices, and improving data ethics and assessment regulations are proposed to promote the implementation strategy of data-driven large-scale education assessments.

Graphical abstract

关键词

数字教育 / 过程数据 / 反应过程 / 教育评估 / 数字化评估

Key words

digital education / process data / response process / educational assessment / digital assessment

人工智能与大数据等数字技术不断发展和融入教育体系，推动了数字教育的大规模应用，也促使教育评估由注重结果性数据逐步转向注重过程性数据。智能技术和数字教育的融合应用使得教育教学从大规模标准化走向个性化和智能化，教育评估的科学性和专业性得以提升。国际上逐渐开始关注和探索过程数据在教育评估中的应用发展，经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）于2023年1月25日发布了《过程数据在大规模教育评估中的应用》（The uses of process data in large-scale educational assessments）报告文件^[1]。该文件主要包含过程数据的基本阐释、过程数据在整个评估周期中的用途，以及验证过程数据应用有效性需考虑的问题等，着重讨论了过程数据在测量学生应试参与和表现方面的应用支持，强调制定适当道德准则和框架的重要性。在此，笔者将从过程数据的概念内涵、收集方式、应用形式、应用实践以及应用验证五个方面，对此报告进行梳理分析与要点解读，以期深入地了解和探讨过程数据在规模化教育评估中的创新应用。

1 过程数据的概念厘清与收集方法

1.1 反应过程与过程数据的概念及关系

1.1.1 反应过程与过程数据的概念内涵

纵观反应过程的探究历程，研究者从验证作用、认知活动、基础机制等不同视角对反应过程进行解释。Downing^[2]认为反应过程是确保数据完整性的证据，能够最大程度地控制和消除与测试管理相关的错误来源。Ercikan等^[3]指出反应过程是应试者在阅读、解释和制定评估任务解决方案时的思维过程、策略、方法和行为。Hubley等^[4]则将反应过程定义为在与项目任务进行交互和对其做出反应时，人们所做、所想和所感的基础机制，该机制是测试分数产生可观察变化的原因。通过对反应过程的相关定义进行总结和比较，笔者认为其具有以下四方面特征：①表现内容的多维性，反应过程包含应试者认知状态、情绪、动机、行为等多个方面，通过不同维度反映其在测试项目中的表现；②测试过程的情境性，反应过程是指应试者在特定测试项目和情境中参与应答的认知过程；③应答过程的外显性，通过数字化终端设备可对反应过程产生的数据进行采集，用于对反应过程进行表征和特征分析；④过程与结果的关联性，反应过程的相关数据有助于解释测试分数变化，是支持评估结果的证据。

过程数据是指应试者在测试情境和评估过程中的表现特征，主要涵盖测试过程中与应试者行为、时间、生理反应等相关的数据记录。通过此类数据能够展示应试者基于评估任务的思维过程，更好地推断应试者的测试表现以评价其知识掌握水平，从而为评估任务的设计与改进提供指导。教育评估过程中所产生的过程数据具有多样性、时效性、个性化等特点。具体而言，在多样性方面，过程数据包括在线行为、语言交互、面部表情、手势动作、眼球运动、生理反应等多样化指标；在时效性方面，过程数据呈现应试者在应答过程中即时的表现及反应；在个性化方面，过程数据能够反映应试者个体差异，提供不同个体如何参与测评任务和进行问题解决的信息来源。

1.1.2 反应过程与过程数据的映射关系

基于数字技术自动收集的过程数据，具备足够的时间分辨率、空间分辨率及粒度，是支持对评估项目中应试者反应过程进行分析的重要证据。过程数据的收集方法、反应过程数据及反应过程三者之间的映射关系如图1所示，多种收集方法用于获取和采集反应过程数据，反应过程数据是对反应过程的客观描述和记录，通过反应过程数据能够对应试者反应过程进行观察和推断。其中，用于收集反应过程数据的技术和方法包括认知访谈、民族志观察、眼动追踪等，采集对象涵盖应试者与管理员；反应过程数据包含应试者的作答行为和生理反应等相关记录；反应过程对应学生在应对评估任务时的思维过程、策略、情绪等。

1.2 教育评估中过程数据的收集方法

1.2.1 认知访谈与出声思维报告

认知访谈和出声思维报告是以心理学及认知理论为基础，主要面向教育测试和心理评估，用于收集主体反应过程证据的方法^[5]。认知访谈是一种定性研究方法，主要通过回溯性口头报告、同时性询问、出声思维报告三种形式，系统地获取和记录个体在回答测试任务时的心理过程，广泛应用于调查问卷编制和评价项目设计^[6]。出声思维报告源于个体对自己内心活动的观察与描述，用于获取个体的信息处理数据。在出声思维过程中，研究者要求应试者在进行问题解决和推理任务的同时，将此过程中所专注的思维以口头叙述的形式表达出来，所描述的言语信息被转录为文本数据，用于分析和了解应试者解决任务时的认知过程^[6]。

1.2.2 民族志观察与视频分析

民族志强调通过深入参与和观察，从文化角度解释群体的社会互动行为。视频分析是运用摄像设备捕捉参与者的非语言行为和环境背景等多方面信息，并对所获图像信息进行分析从而加深对研究对象的理解。在民族志观察的基础上，视频民族志是运用音视频录制等技术来捕捉互动细节，挖掘主体的行为意义及微观机制。该方法强调通过视频记录观察、理解和探讨具体情境下的社会现象与议题研究^[7]。在教育评估中，通过视频民族志观察可以采集真实测试情境中受访者的行为、情感、言语互动等精细过程数据，如谈话、面部表情、手势等信息，这些数据有助于分析评估主体的认知、情感、文化背景等因素如何影响评估结果^[8]。

1.2.3 眼动追踪与生理反应测量

眼动追踪和生理反应测量是心理学中用于研究个体认知和情绪反应的常用方法。眼动追踪是一种可以追踪个体眼球注视位置的技术，通过红外和图像设备客观记录应试者视线在位置、时间、频数等方面的眼动指标，主要包括感兴趣区域、注视时间、扫视次数等。眼动轨迹、注视点数、瞳孔直径等数据，以反映视觉注意力以及认知处理的集中位置，这些能够揭示基本的认知和视觉加工过程^[9]。生理反应测量是指借助脑成像和电生理机制等技术收集个体的生理信号，主要包括皮肤电反应、脑电波、心电等，通过这些生理信号形成的电导反应数据对应试者的情绪状态与认知活动进行分析。在教育评估中运用眼动追踪和生理反应测量，对评估过程中应试者的生理反应和眼动行为进行采集并加以分析，以呈现学生在测试项目中的大脑活动模式、情绪反应、认知加工过程等。

1.2.4 评估后测问卷与管理员报告

评估后测问卷和管理员报告用于收集辅助验证评估过程的数据，为提高评估准确性提供更全面的数据来源。评估后测问卷是应试者在完成整个评估任务后，填写有关测试动机、测试体验和总体评价等信息，此类数据可用于验证学生应试过程以及改进评估项目设计。教育评估任务中不仅包含应试者，还应关注评估管理员。管理员报告指在评估中担任监督、评分、提问等角色的评估管理员，根据自己的观察、与应试者的互动对评估过程进行详细记录所形成的文件，包括评分信息和观察日志等。通过对评估管理员的反应过程进行考察，降低由于管理员认知偏差等因素对应试者应答表现的影响，以确保其对学生表现的推断客观有效。

1.2.5 计算机日志数据采集

日志数据作为计算机辅助评估中应用最为广泛的过程数据，通常基于嵌入实时埋点的应用程序和代码片段进行采集，主要用于推断应试者参与测试任务的反应过程和交互行为。依据数据包含的相关内容可将日志数据分为访问相关、流程相关、响应相关三种类型。其中，访问相关数据主要包括访问信息、访问时间、设备属性等数据，用于呈现应试者特定的行为模式与交互状态；流程相关数据主要包括操作事件、点击流、时间戳等数据，能够反映应试者的操作序列和交互轨迹；响应相关数据包含应试者的答案选择、更改行为、输入时间等，此类数据蕴含着应试者的反应时间与认知活动^[10]。

2 过程数据在教育评估中的规模化应用

2.1 过程数据在评估周期中的应用形式

过程数据蕴含应试者参与测试项目的方式、解决问题的策略等信息，可为评估设计者提供反馈。随着数字化评估、数据科学和计算心理测量学的发展，能够实现对测试中的细节反应进行大规模分析，对评估反应过程的认知和情感维度进行深入分析，因此在整个评估周期中，过程数据的应用显著增加。评估周期是对教育评估活动进行计划、实施和改进的系统化步骤，包括设计任务、评估测试、结果验证、优化改进等环节。过程数据在评估周期中各个环节的应用形式如图2所示，研究者通常在整个评估周期中以目标为导向收集过程数据，用于改进评估设计、分析参与表现、验证测试等多个方面。

①评估设计 评估设计是实施评估工作的前提，包括评估目标、评估框架、评估指标等要素的规划设计。在评估设计中，需明确设计原理与决策并指向可解释且有效的评估结果。过程数据在应答过程、用户体验和测试可访问性等方面能够提供客观依据与反馈，已成为评估设计和项目迭代中的重要组成部分。为了更好地指导评估项目设计，可以通过收集和分析过程数据，将学生的思维过程和评估方式、项目类型等属性进行关联。运用眼动追踪、出声思维报告、认知访谈、用户体验研究等方法收集的过程数据，可用于捕捉反应过程中与评估效果和有效性相关的问题，进而对评估设计进行迭代优化。

②现场测试 在国际大规模评估中，有着不同文化背景的应试者群体会对测试内容产生不同理解，加之评估管理和评估环境的差异，导致评估结果出现偏差。通过民族志观察、评估后测调查问卷、日志数据采集等方式获取在评估现场和环境中的过程数据，能够从不同角度阐明评估结果，在一定程度上减少由于文化差异带来的评估误差^[11]。依据测试现场的过程数据对应试者群体如何理解和接受测试项目内容进行分析，为评估设计、评估管理和验证提供辅助信息，从而提高评估的准确性。

③质量保证 过程数据作为评估质量保证的支撑要素，可用于发现评估过程中由于管理和接受差异所导致的异常情况。用于保证评估质量的过程数据来源广泛，如管理员报告、民族志观察记录以及包含击键记录和作答反应时间的日志数据等，通过此类数据展示数据收集、编码、分析等评估过程，确认评估结果与过程数据的内部一致性，以确保测试质量和可靠性。此外，评估过程的视频、音频记录等质量保证数据也提供了丰富的证据信息，可以帮助检测评估管理变化、作弊行为、数据伪造等异常问题^[12]。

④参与和表现 数字技术赋能的教育评估能够提供可靠证据并准确刻画学生的知识与能力状态，在这之中，如何使用过程数据分析学生表现以提升评估质量显得尤为关键。有关反应时间和反应过程的点击流、眼动追踪和出声思维报告等数据，可用于推断应试者在测试项目中使用的策略，识别猜测、疲劳和消极应答等行为，以补充和扩展对应试者测试参与和表现的测量分析。过程数据广泛应用于对学生的测试参与情况和评估表现进行解释，对评估原理、评估设计、评估验证等具有重要意义。

⑤测试和项目验证 过程数据能够提供一系列蕴含丰富信息的证据，揭示学生在应答过程中有关刺激和反应之间发生的情况，是相较于传统评价方式和测试分数更为全面可靠的评估依据。通过反应时间、日志数据、评估问卷等过程数据，对应试者表现产生差异的原因进行分析，有助于验证评估结果与评估过程的一致性，为更好地解释评估得分意义和提升测试项目的整体效度提供助力。将过程数据纳入测试验证的整体框架中，结合关于测试分数和项目特征的心理测量数据，可以补充有关评估过程和结果的证据信息。

2.2 过程数据在教育评估中的应用实践

近年来，关于学生反应过程数据的获取和分析应用进展迅速，主要集中在以下三个方面：一是对大规模评估中作为副产品生成的反应过程数据进行分析，比较不同环境下学生的动机、表现和参与情况；二是通过分析来自认知实验室、现场试验、现场观测的过程数据，对测试设计、用户体验和评估效度进行改进，以提供及时干预；三是通过数字化评估设计获取学生参与数据，分析学生的问题解决、互动、协作等过程。以上三个方面均涉及运用过程数据对学生应试参与程度和表现的测量分析，笔者对相关实践应用进行描述和总结，以阐述这两个主题研究。

①基于过程数据的参与程度测量 在教育评估中，学生的应试参与程度会对评估准确性及可靠性产生一定影响。参与度不足表现为学生不思考、猜测、快速提交答案等快速猜测行为，这些行为可能导致评估项目无法真实反映学生的能力水平。已有研究通过眼动追踪、计算机日志等方法获取应试者的项目响应时间，根据项目响应时间识别快速猜测行为，并试图评估各种与快速猜测行为相关的反应时间阈值，如基于信息的快速猜测行为阈值设定方法^[13]。

基于过程数据的参与程度测量涵盖对快速猜测、疲劳、问题解决等行为的识别、测量和分析。例如， Kroehne等^[14]通过数字和纸质评估方式所产生的过程数据，对不同测试环境和管理模式下信息运用、通信技术和科学素养测试中的快速猜测率进行比较。该研究使用包括基于数字笔无痕记录的答题坐标、时间戳以及基于纸质评估的答题数据等大规模评估数据。通过将此类数据分解成以答案更改事件为单位的日志事件和反应时间差值，对学生的不同行为进行分类以测算快速猜测率。结果表明，不同学生群体的快速猜测率不同，且快速猜测率与测试设计的监督模式、任务难度、作答方式等相关。Maddox ^[15]通过视频民族志观察捕捉测试者和应试者的谈话、手势等详细数据，将测试环境和测试者也纳入评估框架，用以分析探讨评估情境下测试者和应试者、应试者和测试环境之间的交互过程。该研究对个体简短的谈话和手势序列进行梳理，补充日志文件和测试分数的评估信息，来识别应试者在人机交互评估中的担忧、困惑、挣扎等行为表现。测试者在评估中的敏锐观察、提示引导、言语鼓励等行为会对应试者的参与产生一定影响，因此通过捕捉测试情境中评估主体间的互动行为，能够对应试者的参与程度和时序特征进行深入分析。

综上所述，基于过程数据的参与程度测量需考虑以下问题：一是快速猜测行为在不同国家、性别、文化等群体中存在差异；二是应试参与度与评估模式、测试设计等特征相关；三是许多参与度不足的行为在反应时间上处于正常分布范围内，存在猜测行为与解决行为混合的情况。因此，需要有目的地采集项目内测试行为的细粒度数据，以便更好地区分问题解决和测试疲劳、猜测等其他行为。与此同时，有必要通过改进测试设计、测试可访问性和用户体验降低学生脱离测试的程度，提高对不同类型测试项目参与度不足的检测准确性。

②基于过程数据的应试表现测量 过程数据为评估学生表现提供了有力支撑，主要应用可分为以下两类：一是在常规的数学、语言、科学等学科的评估领域，评估任务具有明确标准的答案，运用过程数据补充对学生表现的分析；二是在创造力、批判性思维和问题解决等复杂能力的创新评估领域，所评估的知识建构本质上面向过程，评估者更关注问题解决过程，因此项目设计旨在评估应试者如何与任务进行交互，如访问和使用信息、与非人类代理及其他参与者进行互动。

在具有明确答案的常规评估领域中，通常运用过程数据补充对应试表现的测量分析。例如，在基于样本的大规模评估中，法国的一个研究团队通过数据挖掘技术对学习过程产生的日志数据进行记录和分析，以呈现学生处理交互式数学任务的方法策略，从而了解数字工具和交互过程在学生解决问题时的作用。该团队关注评估情境中的互动与反馈，结合教学情境理论与教学活动理论，基于操作日志数据构建解释模型，用以描述学生的知识结构和操作理解表现，为准确评估学生表现和解释评估结果提供证据信息^[16]。

在过程导向的创新评估领域中，通常将过程数据作为评估的核心，有目的地将过程数据纳入评估设计阶段。例如，研究者采用计算机评估方式，对应试者参与复杂任务产生的点击流、时间戳、动作事件、工具资源使用等详细交互记录进行抓取和分析，从而评估学生问题解决、协作和计算等复杂能力^[17-18]。此类研究通过过程数据设计项目中的测试指标，并从认知技能、技术运用、行动策略等多个维度对应试者的应试表现和复杂能力进行分析与评估。

通过对上述案例的分析可以发现，与运用过程数据作为补充证据不同的是，在通过设计有目的地使用过程数据来评估学生表现时，需要在评估前基于已有假设对数据收集、验证和迭代等方面进行设计。然而，任何基于过程数据推断应试者表现的方式都需要进行有效性验证，因为在不同的应试者群体和文化背景下，不能确定过程导向的评估结果与所要评估的建构过程相关。测量评估表现时对于过程数据的依赖程度越高，对合理验证的要求就越高。

3 过程数据在教育评估中的有效性验证

与常规测试分数的有效性验证相同，应用过程数据也需要合理的论据、授权以及对应用可靠性、公平性的考虑，以避免数据质量、隐私安全和评估偏差等问题。过程数据源自数字化和自动化的收集方式，受方法论、处理方式、理论模型应用等因素的影响，在应用时需要解释和验证。在大规模评估中，对过程数据的有效解释和应用需要考虑以下四个方面。

①注重多源数据的采集 评估反应过程包含应试者的认知、行为、情感等多个维度，单一的过程数据收集方法容易对结果有效性产生影响。因此，运用不同来源的过程数据进行适当的三角测量对于推断应试者的表现和参与格外重要。例如，在过程数据的采集方法中，日志数据涵盖学生运用键盘、鼠标进行交互的事件记录，但无法通过计算机日志抽取采集学生屏幕外（如使用纸和笔）的行为数据，有效性相对较低，因而需要结合其他来源的过程数据进行推测和评估。使用多个来源的过程数据，如眼动追踪、出声思维、视频分析等进行多方互证，以减少教育评估偏差，对于验证过程数据的可靠性具有重要价值。

②选择适切的理论架构 知识建构过程涉及多个维度和潜在特征，而过程数据是应试者在评估任务中生理和行为反应的测试记录，通常只能提供有限的应试表现信息，这些表现信息不一定与所要评估的知识建构过程有显著关系。理论架构有助于解释行为表现中的潜在特征，如人格特质、认知能力、动机水平等，由此将反应过程数据与评估的知识建构过程相关联时，需要合理的理论架构和背景知识来补充缺失信息，并对二者之间的联系进行解读。适切的理论架构对于过程数据的应用解释具有重要作用，理论架构的选择、使用及其与过程数据之间的关联需要充分的学理与验证。

③开展多样性议题研究 由于应试群体差异化可能导致过程数据出现预期之外、与建构过程不相关的变化，因此对反应过程数据的有效解释和应用需要考虑应试者群体的多样性，包括神经多样性、残障、语言和文化多样性等。例如，患有自闭症和身体残疾等的学生在作答时间以及击键方式上有别于正常学生^[19]。有研究者在国际大规模评估中，通过群体比较观察到与语言多样性相关的“差异响应时间”，发现不同语言背景的应试者在反应时间上有所差异^[20]。上述研究表明，过程数据有助于研究者探索多样性、公平性、包容性的相关议题研究，因此需要关注学生特质、教育水平与文化背景等对评估过程的影响。

④建立过程数据应用规范 过程数据的使用方式影响评估所需采集的数据类型、数据存储方式和结果。数字化评估会捕捉和使用应试者在应对评估任务时的隐私行为数据，甚至获取应试者的音频与视频记录。因此，收集过程数据的方式比传统以结果为导向的评估方式更容易引发数据隐私泄露和道德伦理问题，这对教育评估的数据安全、信息公开以及建立维护公众信任提出了挑战。此外，教师和学生对于评估中过程数据收集和使用方式的看法，可能会对评估质量产生反作用致使评估效度降低^[21]。因此，在大规模教育评估中须尽快建立适当的伦理框架和协议，以规范过程数据的应用。

4 数据驱动的规模化教育评估实践进路

过程数据作为学生思维痕迹的信息来源，为教育管理者通过大规模评估了解学生测试表现提供了必要支持。使用更多有效过程数据增强对学生应试过程的理解，能够对学生的复杂能力评估起到支撑作用。教育部等六部门在2021年印发的《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》中指出，要创新评价应用，客观分析学生的能力，支撑各学段全过程纵向评价和德智体美劳全要素横向评价，转变简单的以考试成绩为唯一标准的学生评价模式^[22]。教育部部长怀进鹏在世界数字教育大会上提出要共同探索数字教育的规划、标准、监测评估^[23]。教育评价改革进入创新发展阶段，技术与教育评价迎来创新融合^[24]。在此背景下，如何设计、获取和使用过程数据，对提高评估质量以及推进规模化数字教育尤为重要。结合报告文件，笔者认为未来数据驱动的规模化教育评估需要重点关注以下五个方面。

①建立过程数据驱动的数字教育评测体系 随着教育大数据与智能技术的逐步发展，教育评估范式逐渐形成由感知评判到结果数据再到过程数据的转变。为推进数字教育评估发展与转型，应该建立以数字教育评测内容为核心，以多向度精准数据收集为枢纽，将教学环境、教学流程、教学要素等相关数据进行规整耦合，为培养数字时代人才构建并形成动态化、伴随式、全过程数字教育评测体系。数字教育评测体系利用数字技术对评价流程和评价方式进行系统梳理与优化，涵盖学业成绩、综合素质、教育质量等指标。在评估实践中，需要整合过程数据与评估结构、项目设计、数据采集预设、应用验证等环节，以优化教育评估效力。

②探索评价高质量发展的数据化评估模式 教学评价作为教育过程的重要组成部分和关键导向，其客观性与科学性关乎教育的质量与成效。提升教育评估实践的精准性、有效性，需要构建评价高质量发展的数据化评估模式，着力推动智能教育和数字技术在评估中的发展应用。数据化评估模式是以系统性方法为评价思路，以数智技术赋能为底层支柱，通过统整教学流程、思维过程、学习结果等全方位的数据信息来推动科学的教育评价分析，实现智能化、个性化和社会化的教育评估创新。该评估模式采用科学监测、精准描绘、差异化评测的理念，将过程数据作为关键要素融入评估的指标设计、活动实施和结果反馈，旨在促进教育评估提质增效。

③面向跨场景人机协同的数智精准评测设计 生成式人工智能、先进计算、智能交互等数智技术进步及其在教育中的融合应用，使得学习者能够自如切换学习场景和获取优质数字资源。学习场景的延伸与混合为学习者学习提供了全时空支持，促使教育评估形态得以重塑，需要通过人机协同对跨场景下的教育教学进行评测设计。数智精准评测设计要以促进学生发展为根本目标，以数智化技术为辅助手段追踪获取多来源过程性数据，对过程数据及其产生的内隐性原因进行分析，实现能够跨越正式和非正式多个场景的全覆盖智能化评测，以精准把握学生能力水平。通过不断探寻教育评测设计中人与机器的角色分配与平衡比例，依据精准刻画和发展导向的评测机制，形成对学生多维度、个性化的评价结果，以提升评测效能。

④开展“教学评管一体化”的数字教育评测实践 教学、评价与管理往往由不同部门与个体实施，难免存在协同不畅、脱节、割裂等问题，需要在目标、策略、方法及内容方面达成教、学、管、评统一。“教学评管一体化”的数字教育评测实践，需要组成以教育管理者、评价者、教师以及学生为主导的实践共同体，围绕共同的价值主线，以提高教育质量为准绳，以学生发展为中心，通过协同合作、创新实践、发展导向形成育人合力，推动教学、评价、管理协同一体。在数字教育评测实践中，通过数字智能技术对教师教学、学生学习、教学评价、教育管理各项活动进行赋能，并将教学、评价与管理活动相融合，依据评价结果调控和指导教学、管理，通过管理优化教学、评价，从而形成教学评管闭环。

⑤健全评测数据伦理规范与监测评估规制 评估数据在教育中的应用引起了教育管理者、研究者对数据伦理和隐私问题的关注。国家网信办等七部门联合发布《生成式人工智能服务管理暂行办法》，对中国生成式人工智能的应用服务进行了规范^[25]，数字教育背景下更加需要从教育评价的系统化转型方面积极引导数智技术的合理运用，并对评测数据的应用伦理与监测办法进行明确规定与制约。评测数据的应用监管有赖于建立一套覆盖全面、科学有效且安全可控的评估规制，既要明确评测数据的使用伦理原则与边界限制，又要拟定包含监测指标、评估流程、责任主体等核心内容的制度标准与法律限度。在评估实践中，应重视对评价主体进行数据采集、分类、筛选和评判公开的透明度，通过说明评测数据收集、应用的缘由建立利益相关者的信任与理解，以保障评价主体的知情同意权和数据隐私保护权。

参考文献

[1] MADDOX B. The Uses of Process Data in Large-scale Educational Assessments[R].Paris: Organization for Economic Co-operation and Development, 2023.

[2] DOWNING S M. Validity: On the Meaningful Interpretation of Assessment Data[J].Medical Education, 2003, 37(9): 830-837.

[3] ERCIKAN K, PELLEGRINO J W.Validation of Score Meaning for the Next Generation of Assessments: The Use of Response Processes[M].Oxford: Taylor & Francis, 2017.

[4] HUBLEY A M, ZUMBO B D. Response Processes in the Context of Validity: Setting the Stage[M]//ZUMBO B, HUBLEY A. Understanding and Investigating Response Processes in Validation Research. Berlin: Springer, 2017: 1-12.

[5] PADILLA J L, LEIGHTON J P. Cognitive Interviewing and Think aloud Methods[M]//ZUMBO B, HUBLEY A. Understanding and Investigating Response Processes in Validation Research. Berlin: Springer, 2017: 211-228.

[6] PEPPER D, HODGEN J, LAMESOO K, et al. Think Aloud: Using Cognitive Interviewing to Validate the PISA Assessment of Student Self-efficacy in Mathematics[J].International Journal of Research & Method in Education, 2018, 41(1): 3-16.

[7] STREECK J, MEHUS S. Microethnography: The Study of Practices[M]//Fitch K L, Sanders R E. Handbook of Language and Social Interaction. Oxford: Psychology Press, 2004: 381-404.

[8] MADDOX B. Interviewer-respondent Interaction and Rapport in PIAAC[J].Quality Assurance in Education, 2018, 26(2): 182-195.

[9] ORANJE A, GORIN J, JIA Y, et al. Collecting, Analysing, and Interpreting Response Time, Eye Tracking and Log Data[M]//Ercikan K, Pellegrino J. Validation of Score Meaning for the Next Generation of Assessments. New York: Routledge, 2017: 39-51.

[10] KROEHNE U, GOLDHAMMER F. How to Conceptualize, Represent, and Analyze Logdata from Technology-based Assessments? A Generic Framework and an Application to Questionnaire Items[J].Behaviormetrika, 2018, 45(2): 527-563.

[11] OECD. Innovating Assessments to Measure and Support Complex Skills[R].Paris: Organization for Economic Co-operation and Development, 2023.

[12] YAMAMOTO K, LENNON M L. Understanding and Detecting Data Fabrication in Large-scale Assessments[J].Quality Assurance in Education, 2018, 26(2): 196-212.

[13] WISE S L. An Information-based Approach to Identifying Rapid-guessing Thresholds[J].Applied Measurement in Education, 2019, 32(4): 325-336.

[14] KROEHNE U, DERIBO T, GOLDHAMMER F. Rapid Guessing Rates Across Administration Mode and Test Setting[J].Psychological Test and Assessment Modeling, 2020, 62(2): 147-177.

[15] MADDOX B. Talk and Gesture as Process Data[J]. Measurement:Interdisciplinary Research and Perspectives, 2017, 15(3/4): 113-127.

[16] SALLES F, DOS SANTOS R, KESKPAIK S. When Didactics Meet Data Science: Process Data Analysis in Large-scale Mathematics Assessment in France[J]. Large-scale Assessments in Education, 2020, 8(1): 1-20.

[17] HE Q W, BORGONOVI F, PACCAGNELLA M.Leveraging Process Data to Assess Adults’ Problem-solving Skills: Using Sequence Mining to Identify Behavioral Patterns Across Digital Tasks[J].Computers & Education, 2021, 166(6): 1-15.

[18] STOEFFLER K, ROSEN Y, BOLSINOVA M, et al.Gamified Performance Assessment of Collaborative Problem Solving Skills[J].Computers in Human Behavior, 2020, 104(3): 1-9.

[19] ZUMBO B D, MADDOX B, CARE N M. Process and Product in Computer-based Assessments: Clearing the Ground for a Holistic Validity Framework[J].European Journal of Psychological Assessment, 2023, 39(4): 252-262.

[20] ERCIKAN K, GUO H W, HE Q W. Use of Response Process Data to Inform Group Comparisons and Fairness Research[J].Educational Assessment, 2020, 25(3): 179-197.

[21] JOHNSON M, SHAW S. What is Computer-based Testing Washback, How can it be Evaluated and How can This Support Practitioner Research?[J].Journal of Further and Higher Education, 2019, 43(9): 1255-1270.

[22] 教育部, 中央网信办, 国家发展改革委, 等. 教育部等六部门关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见(教科信[2021]2号)[EB/OL].(2021-07-08)[2024-03-05].

[23] 怀进鹏. 数字变革与教育未来: 在世界数字教育大会上的主旨演讲[EB/OL]. (2023-2-13)[2024-03-13].

[24] 张一春, 杨宇晴, 王瑞喆. 数字化转型背景下我国教育评价政策演进之路: 基于21世纪我国154项政策文本的分析[J].中国教育信息化, 2023, 29(12): 3-14.

[25] 中国网信网. 生成式人工智能服务管理暂行办法[EB/OL].(2023-7-13)[2024-03-08].

基金资助

2022年度江苏省教育科学规划重点课题“多模态大数据支撑下的个性化学习活动设计与评价研究”(B/2022/01/167)

教育部教育管理信息中心教育管理与决策研究服务专项2023年度委托课题“数字教育监测评估国际比较研究及其数据库建设”(MOE-CIEM-20230018)