一种元学习增强的早期知识追踪建模方法MetaKT

MetaKT: A Meta⁃learning⁃enhanced early⁃stage knowledge tracing approach

摘要

知识追踪根据学生的历史学习轨迹来实现对其知识掌握水平的实时评估与跟踪，从而预测学生未来的学习表现，是在线学习系统实现个性化学习体验的核心技术之一.与传统方法相比，现有的基于深度神经网络的知识追踪模型取得了显著优势，但其通常依赖大量训练数据.在学生答题早期，交互数据极度稀缺，所以训练一个复杂、有效的深度知识追踪模型十分具有挑战性.针对此问题，提出一种基于元学习增强的早期知识追踪框架（Meta⁃Learning⁃Enhanced Knowledge Tracing，MetaKT）.给定目标知识追踪任务和其他若干个相关辅助任务，MetaKT首先在辅助任务上训练模型，然后利用目标任务的数据对预训练后的模型进行微调直至模型收敛.在七个公开数据集上以常用的DKT和DKVMN为基准进行实验，结果发现，提出的MetaKT框架使DKT和DKVMN模型分别在27和33 （共35）个测试场景中的AUC （Area under Curve）获得了提升.

Abstract

Knowledge Tracing (KT) dynamically assesses and tracks students' knowledge mastery levels based on their historical learning trajectories，enabling the prediction of their future learning performance. As a core technology in online learning systems，KT facilitates personalized learning experiences. While existing deep neural network⁃based KT models (e.g.，DKT，DKVMN) have demonstrated significant advantages over traditional methods, they typically require large⁃scale training data. Early⁃stage interactions，where the student response data are extremely sparse，pose substantial challenges to training complex and effective deep KT models. To address this limitation，we propose MetaKT (Meta⁃Learning⁃Enhanced Knowledge Tracing)，a framework that leverages meta⁃learning to enhance early⁃stage KT performance. Given a target KT task and several related auxiliary tasks，MetaKT first pre⁃trains the model on auxiliary tasks，and then fine⁃tunes it using the target task's limited data until convergence. Experiments on seven public datasets，with DKT and DKVMN as backbones，demonstrate that MetaKT improves AUC for DKT and DKVMN in 27 and 33 out of 35 test scenarios，respectively.

Graphical abstract

关键词

元学习 / 深度知识追踪 / 小样本学习 / MAML / 个性化学生建模

Key words

meta learning / deep knowledge tracing / few shot learning / MAML / personalized student modeling

随着互联网技术不断发展，在线教育成为一种越来越受欢迎的学习方式，为学习者提供了更加灵活和便捷的学习途径^［1］.为了提高学生的学习效率，在线教育平台，如MOOCs^［2］，通过个性化推荐系统为学生定制学习资源，以适应不同学生的学习需求^［3］.知识追踪（Knowledge Tracing，KT）可以借助机器学习和大数据技术，根据学生的历史学习轨迹，实现对学生知识水平的实时评估与跟踪，以准确地预测学生未来的学习与答题表现，为学生个性化和自适应的学习提供技术支撑，这已成为大规模在线学习系统的核心技术之一^［4］.

知识追踪的概念由心理学家Atkinson教授^［5］首次提出.卡内基梅隆大学Corbett et al^［6］较早地提出贝叶斯知识追踪方法（Bayesian Knowledge Tracing，BKT），并将其用于一个关于计算机程序设计课程的智能教学辅助系统中进行个性化的学习资源推荐.随着深度学习在计算机视觉、自然语言处理以及语音识别等领域的广泛应用，2015年斯坦福大学Piech et al^［7］提出深度知识追踪模型（Deep Knowledge Tracing，DKT），首次将循环神经网络（Recurrent Neural Network，RNN）用在知识追踪任务上并取得了突破性的性能提升.此后，深度学习成为最受关注的建模方法之一，产出大量卓有成效的研究成果.Zhang et al^［8］将记忆增强神经网络引入知识追踪任务，利用一个动态存储矩阵和静态矩阵分别存储学生不断更新的知识水平状态和学生初始知识水平.Ghosh et al^［9］使用一种新颖的注意力机制来构建知识追踪模型，该注意力的权重根据试题间的相似度和上下文有关的距离呈指数级别衰减.Shen et al^［10］提出基于卷积神经网络的知识追踪模型（Convolutional Knowledge Tracing，CKT），通过多层一维卷积操作，从学生答题序列数据中提取学生个体的学习率特征.Yang et al^［11］建立试题与知识概念之间的对应关系图并利用图卷积神经网络（Graph Convolution Neural Networks，GCN）对学生知识水平进行建模.Su et al^［12］提出融合试题文本信息的EERNN模型，首先基于试题的文本信息，利用一个双向LSTM （Bi⁃Directional Long Short⁃Term Memory）对试题进行编码，进一步利用RNN对学生知识水平进行跟踪.Cui et al^［13］提出一种新型双图集成学习知识追踪方法，通过超图建模与有向图建模分别构建学习交互的双图结构，从而捕获异构化的习题⁃概念关联与交互转移关系.篇幅所限，本文不再一一列举，更多研究详见文献［4］.得益于深度模型强大的表征学习能力和参数复杂性，现有的深度知识追踪方法在拥有海量历史答题数据的场景下取得了很好的性能，但在学生答题早期，答题数量极度稀缺，这一场景在知识追踪任务上普遍存在.以公开数据集ASSISTments2009为例，答题数量小于10的学生人数占总人数的23.1%，64.2%的学生的答题数量不超过50个，图1给出了该数据集上学生答题数量区间分布图.现有研究鲜有关注学生早期知识追踪的建模问题，即在答题数量较少的情况下实现对学生知识水平的精准建模.

为此，本文将元学习机制^［14］引入知识追踪任务，创新性地提出一种基于元学习增强的知识追踪框架（Meta⁃Learning⁃Enhanced Knowledge Tracing，MetaKT），旨在借助相关知识追踪任务中学习到的知识来提升学生答题早期的知识追踪模型的性能.元学习^［14］（Meta⁃Learning）可从相关任务上学习和获取有助于在给定任务上更快更准地进行建模的信息，尤其在数据量较稀疏的场景中，基于元学习方法获得的模型往往具有较好的性能.受模型无关元学习算法MAML^［15］（Model Agnostic Meta Learning）的启发，在给定的多个知识追踪建模任务中，本文首先随机设定其中一个为目标任务（或测试任务），其他任务为辅助任务（或训练任务），然后整合多个辅助任务的数据集构建元训练集，基于某个特定知识追踪算法（例如DKT），在多任务学习框架下利用元训练集对模型进行预训练.最后，将预训练得到的模型参数作为目标任务模型的初始化参数，并利用目标任务的训练数据做进一步的迭代优化，直至模型收敛到最优（或局部最优）状态.

本文的主要贡献如下.

（1）面向学生答题早期数据极度稀缺这一常见的真实应用场景，提出早期知识追踪建模预测问题，旨在答题数量较少的情况下，通过改进或设计新方法实现对学生知识水平的精准建模，以提高知识追踪模型的预见性.

（2）提出基于元学习增强的知识追踪建模方法MetaKT，并设计了模型无关元学习知识追踪框架，通过借助其他相关知识追踪数据学习到的知识，辅助目标任务上知识追踪模型的训练，从而缓解答题数据量稀缺导致模型性能下降的问题.

（3）在七个公开数据集上的实验验证了所提MetaKT方法在早期知识追踪任务上的有效性.以DKT模型为基准，常用的指标AUC （Area under Curve）取得了27升8降的结果；以DKVMN模型为基准，取得了33升2降的优异表现.相关代码和数据详见https：//github.com/JHFSUE/MetaKT.

1 相关工作

常用的知识追踪方法包括贝叶斯知识追踪和深度知识追踪等两类方法.

1.1 贝叶斯知识追踪

1994年Corbett et al^［6］提出贝叶斯知识追踪模型，定义了学生的先验知识、完成一次答题后掌握相应知识概念的概率、猜测参数和粗心参数等变量，并利用隐马尔可夫模型对上述四个参数进行学习，然后采用贝叶斯公式实时地对学生的知识掌握水平进行更新.由于这四个参数的意义明确，预测结果更容易解释.BKT自提出以来受到了广泛关注，并成为最流行的知识追踪模型之一.Pardos and Heffernan^［16］在基础BKT模型中先后引入学生个体先验知识、问题难度^［17］和学生在每个问题上尝试作答的次数^［18］等信息以提升模型性能.Nedungadi and Remya^［19］利用一个随时间衰减的函数在基础BKT模型中引入遗忘因素.Wang et al^［20］同时引入知识状态的层次属性和时间属性对BKT进行改进.

1.2 深度知识追踪

2015年斯坦福大学Piech et al^［7］首次将RNN用在知识追踪任务上，提出深度知识追踪模型DKT.得益于深度神经网络强大的表征学习能力和函数拟合能力，DKT模型在 公开数据集ASSISTments上的AUC指标高出传统BKT模型近25%.此后，深度神经网络得到了研究者广泛的关注，涌现了一批成效卓著的深度知识追踪建模方法.动态键值记忆网络（Dynamic Key⁃Value Memory Networks，DKVMN）^［8］通过两个内存矩阵来建模知识点的底层概念结构并跟踪每个概念的掌握状态.注意力知识追踪（Attentive Knowledge Tracing，AKT）^［9］采用单调注意力机制，根据交互序列与当前时间的距离，动态调整交互过程中试题的注意力权重.基于图的知识追踪（Graph⁃Based Knowledge Tracing，GKT）^［21］将知识追踪任务转化为图神经网络中针对时间序列节点的分类问题，构建了一个知识点关系图并明确地学习了它们的关系.Su et al^［12］和Liu et al^［22］通过引入试题文本、遗忘因素^［23］等辅助信息来建模学生的知识状态.Liu et al^［24］引入试题与概念的对应关系来构建知识追踪模型.Nagatani et al^［25］通过引入遗忘有关的信息对DKT模型进行扩展.

现有多数知识追踪方法聚焦于海量的学生答题数据进行建模，并取得了显著成效.然而，鲜有研究关注在答题数量较少的情况下来实现对学生知识水平的精准建模的问题.

2 所提方法MetaKT

2.1　问题描述

在知识追踪任务中，设Q=\left\{q_{\mathrm{1}},q_{\mathrm{2}},\cdots ,q_M\right\}，其中，q\in Q表示问题，M表示问题总数.学生从Q中选择一些试题进行回答，学生回答的记录为：

X=\left\{\left(q_{\mathrm{1}},r_{\mathrm{1}}\right),\left(q_{\mathrm{2}},r_{\mathrm{2}}\right),\cdots ,\left(q_t,r_t\right)\right\}

其中，r\in \left\{\mathrm{0,1}\right\}.如果学生回答正确则r=\mathrm{1}，否则r=\mathrm{0}.模型的输出是y_t，表示学生在t时刻正确回答试题的概率.

从训练数据集D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}中随机采样学生样本数据，构建元训练数据集T=\left\{T_{\mathrm{1}},T_{\mathrm{2}},\cdots ,T_n\right\}，其中，n表示元训练数据集数量，T_i=\left\{S_i,Q_i\right\}，S_i表示支持集，Q_i表示查询集，并且S_i\bigcap Q_i\ne \mathrm{\varnothing }.在元训练阶段，使用支持集S_i对模型进行训练，使用查询集Q_i优化模型的初始参数.在元测试阶段中，将测试数据集D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}划分为支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}和查询集d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}，并且d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}\bigcap d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}=\mathrm{\varnothing }，利用在元训练中学习到的先验知识，通过支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}微调，最终在查询集d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}上测试模型性能.

2.2　模型整体框架

图2给出了所提方法MetaKT的基本框架，右下角的知识状态是基于元学习优化后的学生知识掌握概率分布，作为元测试阶段的最终预测结果，三角形的形态（如大小、颜色层次）反映知识掌握的不同维度与水平.如图2所示，为了增强模型预测小样本数据的能力，MetaKT通过模型无关元学习算法MAML^［15］对基学习模型参数进行优化.元学习参数优化分为元训练和元测试两个阶段，在元训练阶段，首先从知识追踪数据集中随机抽取一定数量的学生交互数据构建元训练数据集，并基于初始基学习器进行双层优化.在元测试阶段，利用在元训练中学习到的先验知识进行微调，微调后，评估模型在小样本知识追踪数据集上的性能.

2.3　元优化学习

首先，构建元训练数据集，并在元训练阶段模型进行参数优化；然后，在元测试阶段，利用在元训练中学习到的先验知识，对小样本数据进行测试，以验证模型在新任务上的预测效果.以下算法给出了所提MetaKT方法的详细描述.

算法 元优化算法

输入：内循环学习率\eta，外循环学习率\gamma，测试数据集D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}，元训练数据集D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}

输出：正确回答的概率y_t

1.初始化{\theta }^{(\mathrm{1})}

2.元训练

3.当时

4. 从D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}中随机取样T=\left\{S,Q\right\}

5. 支持集的损失梯度为{\nabla }_{{\theta }^{\left(i\right)}}{L}_{S_i}\left(f_{{\theta }^{\left(i\right)}}\right)

6. 用梯度下降法使用\eta更新参数：

{\tilde{\theta }}^{\left(i\right)}\leftarrow {\theta }^{\left(i\right)}-\eta *{\nabla }_{{\theta }^{\left(i\right)}}{L}_{S_i}\left(f_{{\theta }^{\left(i\right)}}\right)

7. 计算查询集的损失为L_{Q_i}\left(f_{{\tilde{\theta }}^{\left(i\right)}}\right)

8.使用\gamma更新参数：{\theta }^{\left(i+\mathrm{1}\right)}\leftarrow {\theta }^{\left(i\right)}-\gamma *{\nabla }_{{\tilde{\theta }}^{\left(i\right)}}{L}_{Q_i}\left(f_{{\tilde{\theta }}^{\left(i\right)}}\right)

9.结束

10.元测试

11.将D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}划分为d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}和d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}

12.利用元训练优化后的模型对d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}进行微调

13.基于微调后的模型评估d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}

具体地，构建元训练数据集的过程如下.

训练数据集D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}包含多个知识追踪数据集，用于模型在元学习过程中的训练阶段；测试数据集D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}为目标数据集，表示用于微调和评估的模型.p\left(\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}\right)和p\left(\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}\right)分别对应数据集D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}和D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}的分布，并且训练集和测试集的分布不相交，即p(\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n})\bigcap p(\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t})=\mathrm{\varnothing }.

从D_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}中随机采样学生样本数据来构建元训练数据集T.T_i由支持集S_i和查询集Q_i组成，即T_i=\left\{S_i,Q_i\right\}，其中，i表示第i个支持集和查询集，且S_i\bigcap Q_i\ne \mathrm{\varnothing }.最终构建的元训练数据集为T=\left\{T_{\mathrm{1}},T_{\mathrm{2}},\cdots ,T_n\right\}.

在元训练阶段，受模型无关元学习算法MAML^［15］在处理小样本方面的成功启发，首先对元训练数据集进行训练，然后，将元训练优化后的模型参数作为元测试阶段模型的初始化参数.

具体地，首先初始化模型参数为{\theta }^{\left(\mathrm{1}\right)}，经过n个元训练集T对模型参数进行优化.在第i次元优化步骤中，在支持集S_i上进行适应，计算损失L_{S_i}\left(f_{{\theta }^{(i)}}\right)，如式（1）所示：

{\tilde{\theta }}^{\left(i\right)}\leftarrow {\theta }^{\left(i\right)}-\eta *{\nabla }_{{\theta }^{\left(i\right)}}{L}_{S_i}\left(f_{{\theta }^{\left(i\right)}}\right)(1)

其中，S_i表示元训练数据集T_i中的支持集；函数f代表基学习器的映射关系，其数学定义为f_{\theta }:X\to y，y表示预测学生正确回答知识点的概率；{\tilde{\theta }}^{\left(i\right)}表示经过支持集梯度下降更新后的模型参数，L_{S_i}\left(f_{{\theta }^{\left(i\right)}}\right)表示使用模型参数{\theta }^{\left(i\right)}在支持集S_i上计算的交叉熵损失；\eta是内循环学习率.接着，通过查询集来评估模型并再次计算损失，如式（2）所示：

\begin{array}{c}{\theta }^{\left(i+\mathrm{1}\right)}\leftarrow {\theta }^{\left(i\right)}-\gamma *{\nabla }_{{\tilde{\theta }}^{\left(i\right)}}{L}_{Q_i}\left(f_{{\tilde{\theta }}^{\left(i\right)}}\right)\end{array}(2)

其中，Q_i表示元训练数据集T_i中的查询集，{\theta }^{\left(i+\mathrm{1}\right)}表示经过查询集梯度下降更新后的模型参数，L_{Q_i}\left(f_{{\tilde{\theta }}^{\left(i\right)}}\right)表示使用支持集更新后的模型参数在查询集Q_i上计算的交叉熵损失，\gamma是外循环学习率.经过n次元训练之后，可以获得具有先验知识{\theta }^{\left(n+\mathrm{1}\right)}的模型.

最后进入元测试阶段.由于元训练优化后的模型参数不完全适应测试数据集，因此，需要对测试数据集D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}进行微调.将D_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}划分为支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}和查询集d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}，使用元训练优化后的参数模型在支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}上进行微调.微调时，根据支持集损失计算梯度并更新参数，使模型收敛到更优状态，如式（3）所示：

\begin{array}{c}\theta \leftarrow {\theta }^{\left(n+\mathrm{1}\right)}-\alpha *{\nabla }_{{\theta }^{\left(n+\mathrm{1}\right)}}{L}_{d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}}\left(f_{{\theta }^{\left(n+\mathrm{1}\right)}}\right)\end{array}(3)

其中，\alpha表示元测试阶段的学习率，L_{d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}}\left(f_{{\theta }^{\left(n+\mathrm{1}\right)}}\right)表示使用元训练优化后的参数{\theta }^{\left(n+\mathrm{1}\right)}在支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}上计算的交叉熵损失，\theta表示经过支持集d_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}微调后的模型参数.最后，使用查询集d_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}评估微调后模型的性能.

3 实验结果与分析

分别将两个经典的深度知识追踪模型DKT^［7］和DKVMN^［8］作为基准模型放入所提方法MetaKT中开展实验.需要注意的是，MetaKT是一个面向早期知识追踪问题的普适性框架，现有的其他深度知识追踪模型，例如AKT^［9］和GKT^［21］，也可以作为基准模型放入该框架进行训练.受算力和时间所限，将MetaKT与其他更为先进的深度知识追踪模型进行融合的研究留待以后开展.为了分析所提方法的性能表现，设计了如下两个问题.

（1） MetaKT框架是否可以带来基准模型的性能提升？

（2）答题数据量的变化对模型性能产生怎样的影响？

首先介绍实验所需数据集和实验设置，然后，围绕上述两个问题进行实验结果的分析.

3.1　数据集

为了评估MetaKT的有效性，本文采用七个公开的数据集，这些数据均来源于真实教学平台的学生答题数据，包括EdNet，ASSISTments2009 （ASSIST09），ASSISTments2012 （ASSIST12），ASSISTments2015 （ASSIST15），ASSISTments2017 （ASSIST17），JunyiAcademy （Junyi）和algebra05.表1给出了七个数据集的详细情况.

3.2　实验

操作系统为Windows 10 专业版64⁃bit （Build 19045），硬件配置为Intel Xeon W⁃2255 CPU （20 个核心，基准频率为3.7 GHz），64 GB内存，显卡为NVIDIA GeForce RTX 3090.开发环境为PyCharm 2021.3.所有模型均使用PyTorch实现，优化器为Adam.默认设置学习率为0.001.批量大小为64，深度知识追踪模型的dropout为0.1.使用5折交叉验证来评价模型的性能.设置元测试阶段学习率\alpha =\mathrm{0.001}，内循环学习率\eta的取值范围为\left\{\mathrm{0.01,0.001,0.0001}\right\}，外循环学习率\gamma的取值范围为\left\{\mathrm{0.01,0.001}\right\}.

对于动态键值记忆网络（DKVMN）模型，键矩阵\left({\mathit{d}}_k\right)和值内存矩阵\left({\mathit{d}}_v\right)维度的取值范围为\left\{\mathrm{10,50,100,200}\right\}.同时，该模型的内存维度N的取值范围为\left\{\mathrm{10,20,50}\right\}.

3.3　模型的评价指标

为了能够准确地预测学生未来的学习与答题表现，将其建模为一个二元分类问题，选取AUC和ACC作为评价指标.AUC （Area Under ROC Curve）是ROC （Receiver Operating Characteristic Curve）曲线下面积，通过对ROC曲线下各部分的面积求和而得到.ROC曲线以假正例率（False Positive Rate，FPR）为横轴、真正例率（True Positive Rate，TPR）为纵轴.AUC衡量了学习器在不同分类阈值下的整体性能，其取值范围为\left[\mathrm{0,1}\right]，越接近1表示模型的区分能力越强.ACC （Accuracy，准确率）反映了分类器整体预测的正确性，其取值范围同样为\left[\mathrm{0,1}\right]，其值越大说明分类器的整体预测精度越高.

3.4　与基准模型的比较

通过比较所提方法与基准方法的性能，对MetaKT框架是否可以提升基准模型的性能进行解答.为了便于分析，将所提方法与DKT （DKVMN）结合后的模型命名为MetaDKT （MetaDKVMN），逐一进行分析说明.

（1）以DKT为基准模型.表2给出了以DKT模型为基准，在七个公开数据集上的比较实验结果，表中箭头的上和下分别表示MetaDKT和DKT模型相比，性能升高或降低.由表可见，MetaDKT的整体表现优于基准DKT模型.在最大答题数量为10时，和基准模型相比，均有不同幅度的提升.在最大答题数量为5，20，30，50时，和基准模型相比，均取得了五胜二负的结果.

（2）以DKVMN为基准模型.表3给出了以DKVMN模型为基准，在七个公开数据集上的比较实验结果，表中箭头的上和下分别表示MetaDKVMN和DKVMN模型相比，性能升高或降低.由表可见，MetaDKVMN的整体表现优于基准DKVMN模型.在最大答题数量为5，20，50时，和基准模型相比，算法性能均有不同幅度的提升.在最大答题数量为10和30时，和基准模型相比，均取得了六胜一负的结果.以最大答题数量是5为例，在algebra05数据集上，MetaDKVMN的AUC比基准DKVMN模型高1.86%；在ASSIST2017数据集上，MetaDKVMN的AUC比基准DKVMN模型高0.66%.表明MetaDKVMN通过引入元学习机制，在一定程度上提升了DKVMN在小样本场景下的性能，也证明MetaKT的元学习优化策略在多数场景下能够提升基准模型的性能.

（3）显著性分析.为了进一步验证MetaKT的性能提升是否具有统计学显著性，在对比实验中引入非参数检验方法，即符号检验（Sign Test）.该方法不依赖结果分布的正态性假设，能够稳健地检验MetaKT和基准模型相比，改进是否显著.具体地，符号检验通过统计MetaKT在多个实验场景中“优于”或“劣于”基准模型的次数，并基于二项分布计算显著性水平.

实验结果如下.

（1）实验1 （MetaDKT vs. DKT），35个场景中MetaKT提升27次，下降8次.符号检验得到的p=\mathrm{0.00094}\left(P\left(X\ge \mathrm{27}\right)\approx \mathrm{0.00094}\right)，显著小于0.001，可以认为MetaKT对DKT的提升具有显著性.

（2）实验2 （MetaDKVMN vs. DKVMN），35个场景中MetaKT提升33次，下降2次.符号检验得到的p=\mathrm{1.84}\times {\mathrm{10}}^{-\mathrm{8}}\left(P\left(X\ge \mathrm{33}\right)\approx \mathrm{1.84}\times {\mathrm{10}}^{-\mathrm{8}}\right),

远小于0.0001，可以认为MetaKT对DKVMN的提升具有极显著性.

综上，即使在部分场景下，数值提升的幅度有限，MetaKT对基准模型的改进仍然具有统计学显著性，进一步增强了实验结论的可信度.

3.5　答题数量对模型性能的影响

为了验证答题数据量对模型性能的影响，从源数据集中截取5，10，20，30，50等不同长度的序列开展实验.图3和图4显示七个数据集上模型随着数据量的增加，其AUC的变化.由图可见，数据量过少时，所有方法的性能都不理想，随着训练数据增加，所有模型的AUC整体呈上升趋势，表明更多的训练数据有助于提升模型性能.根据所提方法在不同数据集上的表现，可以看到以下趋势.

（1）随着答题交互数量的增加，所有模型的AUC均有所提升，其中所提方法和基准DKVMN模型的融合在多数情况下取得了较好的性能.这说明通过元训练阶段利用其他知识追踪数据集进行的参数优化是有效的，能够快速有效地处理新的知识追踪任务.

（2）在ASSISTments2009数据集上，所提方法与基准DKT的融合性能较好.在ASSISTments2015和algebra05数据集上，所提方法与基准DKT模型相比，性能偶有下降，可能是因为ASSISTments2015包含更多的学生，而且知识点数量最少，平均每个知识点的回答率更高.algebra05拥有的学生数量最少，平均每个学生完成的试题最多.

4 结论

为了解决小样本环境下学生知识状态评估的难题，本文提出一种基于元学习增强的知识追踪模型MetaKT，通过引入模型无关元学习算法来提高模型在小样本条件下的预测性能.在七个真实教育数据集上进行了广泛实验，经过非参数检验，结果表明，相对于基准方法，MetaKT算法带来的性能提升具有统计学上的显著性，这说明通过引入元学习机制，所提方法能够有效借助其他

相关任务上学习到的知识来提升模型性能.未来将优化MetaKT模型的架构，并将MetaKT与其他更先进的深度知识追踪模型进行融合，实现在学生答题早期对其知识掌握水平的精准建模，提升模型的预见性.

参考文献

[1] Miao F C， Wayne H， Huang R H，et al. AI and education：A guidance for policymakers.Paris：United Nations Educational，Scientific and Cultural Organization. https://unesdoc.unesco.org/ark:/48223/pf0000379707,2021.

[2] Anderson A， Huttenlocher D， Kleinberg J，et al. Engaging with massive online courses∥Proceedings of the 23rd International Conference on World wide web. New York，NY，USA：Association for Computing Machinery，2014：687-698.

[3] Desmarais M C， Baker R S J D. A review of recent advances in learner and skill modeling in intelligent learning environments. User Modeling and User⁃Adapted Interaction，2012，22(1)：9-38.

[4] Shen S H， Liu Q， Huang Z Y，et al. A survey of knowledge tracing：Models，variants，and applications. IEEE Transactions on Learning Technologies，2024，17：1898-1919.

[5] Atkinson R C. Ingredients for a theory of instruction. American Psychologist，1972，27(10)：921-931.

[6] Corbett A T， Anderson J R，et al. Knowledge tracing：Modeling the acquisition of procedural knowledge.User Modeling and User⁃adapted Interaction，1994，4：253-278.

[7] Piech C， Bassen J， Huang J，et al. Deep knowledge tracing. Advances in Neural Information Processing Systems，2015，28：505-513.

[8] Zhang J N， Shi X J， King I，et al. Dynamic key⁃value memory networks for knowledge tracing∥Proceedings of the 26th International Conference on World Wide Web. Geneva，Switzerland：Inter⁃national World Wide Web Conferences Steering Committee，2017：765-774.

[9] Ghosh A， Heffernan N， Lan A S. Context⁃aware attentive knowledge tracing∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York，NY，USA：Association for Computing Machinery，2020：2330-2339.

[10] Shen S H， Liu Q， Chen E H，et al. Convolutional knowledge tracing：Modeling individualization in student learning process∥Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval.New York，NY，USA：Association for Computing Machinery，2020：1857-1860.

[11] Yang Y， Shen J， Qu Y R，et al. GIKT：A graph⁃based interaction model for knowledge tracing∥Machine Learning and Knowledge Discovery in Databases：European Conference. Heidelberg,Germany：Springer，2020：299-315.

[12] Su Y， Liu Q W， Liu Q，et al. Exercise⁃enhanced sequential modeling for student performance prediction∥Proceedings of the 32nd AAAI Conference on Artificial Intelligenc，13th Innovative Applications of Artificial Intelligence Conference and 8th AAAI Symposium on Educational Advances in Artificial Intelligence. Menlo Park，NJ，USA：AAAI Press，2018：2435-2443.

[13] Cui C R， Yao Y M， Zhang C Y，et al. DGEKT：A dual graph ensemble learning method for knowledge tracing. ACM Transactions on Information Systems，2004，42(3)：1-24.

[14] Lemke C， Budka M， Gabrys B. Metalearning：A survey of trends and technologies. Artificial Intelligence Review，2015，44(1)：117-130.

[15] Finn C， Abbeel P， Levine S. Model⁃agnostic meta⁃learning for fast adaptation of deep networks∥Proceedings of the 34th International Conference on Machine Learning. Volume 70. Sydney，Australia：JMLR.org，2017：1126-1135.

[16] Pardos Z A， Heffernan N T. Modeling individua⁃lization in a Bayesian networks implementation of knowledge tracing∥Proceedings of the 18th International Conference on User Modeling，Adaptation，and Personalization. Heidelberg，Germany：Springer，2010：255-266.

[17] Pardos Z A， Heffernan N T. KT⁃IDEM：Introducing item difficulty to the knowledge tracing model∥Proceedings of the 19th International Conference on User Modeling，Adaption，and Personalization. Heidelberg，Germany：Springer，2011：243-254.

[18] Pardos Z A， Bergner Y， Seaton D T，et al. Adapting Bayesian knowledge tracing to a massive open online course in edX∥Proceedings of the 6th International Conference on Educational Data Mining.Memphis,TE,USA：International Educational Data Mining Society,2013：137-144.

[19] Nedungadi P， Remya M S. Incorporating forgetting in the personalized，clustered，bayesian knowledge tracing model∥2015 International Conference on Cognitive Computing and Information Processing. Noida，India：IEEE，2015：1-5.

[20] Wang Z， Zhu J L， Li X，et al. Structured knowledge tracing models for student assessment on Coursera∥Proceedings of the 3rd ACM Conference on Learning @Scale. New York，NY，USA：Association for Computing Machinery，2016：209-212.

[21] Nakagawa H， Iwasawa Y， Matsuo Y. Graph⁃based knowledge tracing：Modeling student proficiency using graph neural network∥2019 IEEE/WIC/ACM International Conference on Web Intelligence. Thessaloniki，Greece：IEEE，2019：156-163.

[22] Liu Q， Huang Z Y， Yin Y，et al. Ekt：Exercise⁃aware knowledge tracing for student performance prediction. IEEE Transactions on Knowledge and Data Engineering，2019，33(1)：100-115.

[23] Huang Z Y， Liu Q， Chen Y Y，et al. Learning or forgetting?A dynamic approach for tracking the knowledge proficiency of students. ACM Transactions on Information Systems，2020，38(2)：1-33.

[24] Liu Y F， Yang Y， Chen X Y，et al. Improving knowledge tracing via pre⁃training question embeddings. https：//arxiv.org/abs/2012.05031,2020-12-09.

[25] Nagatani K， Zhang Q， Sato M，et al. Augmenting knowledge tracing by considering forgetting behavior∥The World Wide Web Conference. New York，NY，USA：Association for Computing Machinery，2019：3101-3107.

基金资助

国家自然科学基金(62177031)

山东省自然科学基金(ZR2021MF044)

2023年度教育部人文社会科学研究专项任务（高校辅导员研究）(2023JDSZ3174)

山东建筑大学国内访问学者经费