基于扩散模型的多结构感知知识推荐

A Sequential recommendation model with structure-guided diffusion and knowledge tracing

摘要

已有基于知识概念的序列推荐方法大多仅依赖简单的ID嵌入或原始文本语义进行推荐，忽略了文本描述中存在的语义噪声以及知识点之间固有的先修后继结构关系，此外，现有方法往往未能充分考量学习者在学习过程中动态变化的知识掌握状态，导致推荐结果难以精准匹配用户的当前能力水平.针对这些问题，提出了一种基于结构引导扩散与知识追踪的序列推荐模型SG-DiffRec.不同于传统的静态表征学习，SG-DiffRec利用扩散模型的生成流形特性，将知识图谱的拓扑结构作为条件引导注入语义生成过程.该机制能够将发散的语义分布强行对齐到符合教学逻辑的结构轨道上，从而生成兼具语义深度与结构精度的增强表征.同时，模型引入深度知识追踪模块实时捕捉学习者的动态认知能力，并通过多模态注意力机制实现静态知识属性与动态能力状态的自适应校准，综合考虑知识图谱的全局拓扑结构，交互数据的局部时序结构，语义空间的深层特征结构.在真实的三个教育数据集Junyi，ASSISTments09，ASSISTments12上进行了大量的实验，实验结果表明SG-DiffRec优于现有的流行序列推荐模型.

Abstract

Most existing concept-aware sequential recommendation methods mainly rely on ID embeddings or raw textual semantics， while neglecting semantic noise in text， prerequisite-successor relations among knowledge concepts， and learners dynamically changing knowledge mastery. As a result， recommendation results often fail to match learners current cognitive states. To address these limitations， SG-DiffRec， a sequential recommendation model that integrates structure-guided diffusion with knowledge tracing is proposed. Specifically， SG-DiffRec incorporates the topological structure of a knowledge graph into the semantic generation process of diffusion models， guiding representations toward pedagogically consistent structural patterns and producing embeddings with both semantic richness and structural consistency. In addition， a deep knowledge tracing module is introduced to capture learners dynamic mastery states， while a multimodal attention mechanism adaptively fuses static knowledge attributes with dynamic learner states. Extensive experiments on three real-world educational datasets， Junyi， ASSISTments09， and ASSISTments12， demonstrate that SG-DiffRec outperforms several competitive sequential recommendation methods.

Graphical abstract

关键词

序列推荐 / 扩散模型 / 知识图谱 / 深度知识追踪

Key words

sequential recommendation / diffusion model / knowledge graph / deep knowledge tracing

随着在线教育平台如MOOCs、智能辅导系统的飞速发展和数字化教学资源的爆炸式增长，学习者面临着日益严峻的信息过载问题^［1-2］.尽管海量的学习资源为个性化学习提供了可能，但在面对成千上万个知识点和习题时，学习者往往难以规划合理的学习路径，容易陷入迷航状态，导致学习效率低下甚至产生挫败感.因此，面向教育场景的知识概念推荐成为实现自适应学习的重要技术之一，与电商或社交场景中的一般推荐不同，教育推荐不仅需要预测学习者可能感兴趣的内容，还应保证推荐结果符合教学逻辑与学习规律^［3］.

近年来，序列推荐方法通过建模学习者历史交互序列^［4］，在教育推荐任务中取得了较好效果.然而，现有方法在语义建模方面仍存在明显不足.许多方法将知识概念表示为离散ID，或直接利用预训练语言模型对概念文本进行编码.由于教育概念具有较强的学科语境，同一术语在不同知识领域中可能具有不同含义，直接采用通用语义编码容易引入与教学任务无关的噪声，从而削弱概念表示的判别性与可解释性.

除语义信息外，教育知识推荐还具有显著的结构性特征.知识点之间通常存在先修、后继及层级依赖关系，这些关系共同构成了教学顺序与认知路径.现有部分方法虽然引入了知识图谱或图神经网络（Graph Neural Network，GNN），但多将结构信息视为辅助特征，缺乏对语义空间与结构空间的一体化约束，导致推荐结果可能在语义上相关、但在教学逻辑上不一致.并且学习者在学习过程中的认知状态是动态变化的.答题对错、重复练习与阶段性表现都会持续影响学习者对知识点的掌握程度.然而，许多序列推荐模型仍主要关注行为迁移或兴趣演化，将学习者视为静态偏好主体，难以充分反映其当前知识状态的变化，进而影响推荐结果与学习者真实能力水平之间的匹配程度.

针对上述不足，本文提出一种基于结构引导扩散与知识追踪的序列推荐模型SG-DiffRec（Structures-Guided Diffusion and Knowledge Tracing-based Sequence Recommendation），该模型旨在通过生成式扩散模型解决语义表征中的噪声问题，并结合图结构与知识追踪实现精准推荐，能够从语义、结构和认知状态三个维度综合推断学习者的长短期兴趣，将知识图谱的全局拓扑结构，交互数据的局部时序结构，语义空间的深层特征结构全部利用起来，综合考虑多方面结构去推荐.

尽管基于Transformer的序列推荐模型已成为当前主流范式，并在下一项预测任务中展现出较强性能，但其核心仍主要围绕行为序列本身进行建模，难以同时解决教育场景中的三类关键问题，第一类，知识概念文本存在学科语境依赖，直接使用通用语义编码容易引入噪声；第二类，知识点之间存在明确的先修与后继依赖，仅依赖行为共现难以保证推荐结果符合教学逻辑；第三类，学习者的作答反馈持续反映其知识掌握状态的动态变化，仅建模兴趣迁移不足以刻画其当前能力水平.因此，本文的研究意义并不在于替代Transformer主干，而在于在主流序列推荐框架之上，引入结构引导扩散、图结构聚合与知识追踪机制，实现对语义、结构和认知状态三类信息的统一建模.

本文的贡献主要如下：

（1）以往基于知识概念的推荐往往直接使用预训练语言模型的文本表征或简单的ID嵌入，忽略了文本描述中存在的语义噪声以及知识点之间固有的先修后继结构依赖，导致语义歧义问题；本文采用了结构引导的扩散模型，通过图编码器提取知识图谱的结构特征作为条件，将其引入扩散模型的逆向去噪过程.这一机制强制生成的语义向量在保留核心含义的同时与图谱结构对齐，有效滤除了任务无关的噪声，从而生成高质量的多模态特征表示.

（2）引入了深度知识追踪（Deep Knowledge Tracing，DKT）模块，克服了传统序列推荐将用户视为静态实体或仅关注兴趣迁移的局限.该模块利用门控循环单元（Gated Recurrent Unit，GRU）实时捕获学习者基于答题对错产生的知识状态动态演变.通过将动态的知识状态与静态的语义-结构特征进行深度融合，模型能够更精准地感知用户的当前能力水平，从而实现符合认知规律的精准推荐.

（3）在教育领域３个公开的真实数据集Junyi、ASSISTments09、ASSISTments12上进行了大量的实验，结果表明，所提出的SG-DiffRec模型在NDCG、HR等各项关键指标上均优于与之比较的现有主流序列推荐及GNN基准模型，验证了所提方法的有效性和鲁棒性.

1 相关工作

1.1 基于语义的推荐算法

序列推荐早期主要依赖协同过滤、矩阵分解、马尔可夫链等行为建模方法^［5］.这类方法能够从交互序列中学习项目转移规律，但通常将知识点或项目视为离散ID，难以充分利用概念名称、题目文本及属性描述等语义信息.在教育场景中，不同知识概念往往具有明确的学科内涵、层级关系与教学语境，仅依赖ID嵌入容易造成语义稀疏和冷启动问题，也难以解释不同知识点之间的内容关联.

为弥补这一不足，研究者开始引入预训练语言模型和大语言模型（Large Language Model，LLM）^［6-7］对项目文本进行编码，将文本语义作为推荐的补充信息.ZESRec^［8］利用预训练语言模型提取文本特征并服务于下一项预测；P5^［9］将推荐任务统一到文本到文本的生成框架中，展示了生成式语义建模在推荐场景中的潜力；TALLRec^［10］进一步结合指令微调与LoRA等参数高效微调技术，提升了模型在少样本场景下的语义迁移能力^［11］.此外，随着扩散模型等生成式方法的发展^［12］，DiffuRec^［13］等工作开始尝试通过生成机制提升潜在表示质量，并能在稀疏数据场景下表现出较好的鲁棒性^［14-16］.

1.2 基于结构建模的推荐算法

与电商、社交等通用推荐场景不同，教育知识推荐具有更强的结构性.知识点之间通常存在先修、后继、同层级关联等明确关系，这些关系共同构成了教学逻辑与认知依赖.如果忽略这种结构信息，模型虽然可能学习到表面上的行为共现模式，却难以保证推荐结果符合实际教学顺序和学习规律.

为此，研究者逐渐将图结构建模引入推荐系统，通过构建学习者—概念交互图、概念依赖图或知识图谱来挖掘高阶邻域信息与潜在关联关系.GCARec^［17］在学习者—概念图上设计了拓扑层面和特征层面的数据增强策略，并借助对比学习提升结构表征质量；KMDCL^［18］等方法则关注交互图中的无效交互和噪声边，试图通过图建模提升推荐表示的鲁棒性.此外，对于缺乏显式知识图谱的数据集，已有研究还会根据概念关联信息构造转换图^［19］或估计图，以补充推荐所需的结构先验^［20］.

1.3 基于认知状态建模的推荐算法

学习者在教育场景中的行为序列并不只是兴趣序列，更是知识掌握状态不断变化的认知过程.这类序列推荐方法主要依赖循环神经网络^［21-22］和自注意力机制来建模交互顺序^［23-25］.其中，GRU4Rec^［21］等方法证明了门控循环单元在拟合复杂行为模式方面的有效性，SASRec^［23］、Bert4Rec^［24］和S3-Rec^［26］等模型则进一步通过自注意力机制和自监督任务增强了序列表征能力.这些方法在下一项预测方面取得了良好效果，但它们更多关注的是行为转移和排序优化，未必能够直接反映学习者对知识点的真实掌握程度.

与一般序列推荐不同，教育推荐中的答题对错、重复练习和阶段性表现都蕴含着显著的认知状态信号.知识追踪类方法通过利用知识点—作答结果交互序列，动态更新学习者的隐式知识状态，能够更细粒度地刻画学习者能力的演化轨迹^［27-28］.这类方法强调学习者当前掌握水平的动态变化，对个性化教学和自适应推荐具有重要意义.

然而，现有研究中面向推荐的序列模型与面向认知建模的知识追踪模型仍存在一定割裂，前者往往将学习者视为静态偏好主体或仅关注兴趣迁移，忽略答题反馈所揭示的能力波动；后者虽然能够有效追踪知识状态，却常常缺少对知识概念语义属性和图谱结构信息的充分利用.因此，如何将动态认知状态与知识语义、结构依赖共同纳入统一框架，仍是教育序列推荐领域尚未充分解决的问题.

2 面向知识推荐的结构感知扩散模型

本章针对现有知识推荐方法在语义建模、结构约束和学习者动态认知状态刻画方面的不足，提出一种基于结构引导扩散与知识追踪的多结构感知知识推荐模型SG-DiffRec.

该模型主要由以下7部分构成.

（1）文本生成与多模态初始化模块：利用大语言模型生成增强文本，并提取初始语义向量.

（2）结构引导扩散模块：结合前向加噪与逆向去噪，利用图结构特征引导，生成无噪语义表征.

（3）文本聚合模块：基于图卷积网络（Graph Convolutional Network，GCN），在概念拓扑图上进行高阶邻域信息的传播与聚合.

（4）多任务序列预训练模块：通过多任务自监督信号，捕捉数据的多粒度特征以缓解稀疏性.

（5）DKT模块：利用GRU实时捕捉学习者因答题反馈产生的隐式知识状态波动.

（6）语义-结构-状态联合融合模块：不仅是对异构特征的拼接与线性投影，其本质是对底层结构包括知识图谱的全局拓扑结构，交互数据的局部时序结构，语义空间的深层特征结构的动态校准，寻找它们在同一个潜在空间中的结构一致性.

（7）预测与推荐模块：计算序列最终表征与候选概念的匹配度，输出推荐结果.

2.1 问题描述

基于知识点的序列推荐旨在根据学习者过去练习的包含知识点的习题序列及答题表现，预测学习者下一个最可能需要学习或掌握的知识点，同时需要充分利用知识图谱中的结构信息，下面给出本章算法的符号定义：

设M个知识点组成的集合V=｛v₁，v₂，...，v_m ｝，其中v_i 表示序列中学习者练习的知识点，此外，定义知识图谱为G=（V，E），其中E包含知识点间的先修与后继关系.SG-DiffRec模型的目标是根据学习者与习题的交互序列S_u，融合扩散模型生成去噪的语义特征、GNN提取的图谱结构特征以及DKT捕获的动态知识状态，预测用户下一次交互的知识点v_t+1 .因此，对每个输入的序列，SG-DiffRec模型会对所有候选知识点给出一个预测得分向量\widehat{y}.其中，\widehat{y}中的每个元素表示对应知识点被推荐的可能性，得分越高，说明该知识点越有可能成为学习者下一次交互的对象.

2.2 工作流程

SG-DiffRec模型综合利用知识点表征与学习者动态状态信息，以提升推荐结果的准确性.对于知识点，模型同时建模其文本语义信息和知识图谱中的结构关系；对于学习者，模型结合其作答过程中的答题结果，刻画知识掌握状态的动态变化.在此基础上，进一步借助自注意力机制捕捉学习序列中较长范围的前后关联.具体而言，模型主要融合三类信息：一是知识点名称、属性及文本描述所蕴含的语义信息；二是知识图谱中先修、后继及层级关系所体现的结构信息；三是学习者作答顺序和答题结果所体现的认知状态演变信息.模型整体流程如图1所示.

图1（a）是结构扩散引导与聚合模块.首先，利用大语言模型生成的初始文本描述，使用BART将其向量化，记为x_{\mathrm{0}}，接着，采用GNN提取知识图谱中的结构特征，并将其作为条件信息引入扩散模型，以引导扩散模型生成高质量清晰语义向量e_diff .随后，该表征被送入GCN在交互图上进行传播，以捕获高阶邻域信息.

图1（b）图是预训练与预测模块.模型将多层卷积之后的去噪语义特征向量h_{struct}，结构特征与知识状态h_t映射到同一潜在空间.通过自注意力机制进行深度融合，并基于此预测下一个最可能且适合的知识点.

图1（c）图为深度知识追踪模块，该部分首先对学习者的历史答题记录进行表示，然后利用GRU网络随着答题过程不断更新学习状态，生成能够反映学习者当前能力的动态知识状态向量h_t.

2.3 文本生成模块

为了解决仅依赖ID嵌入导致的语义稀疏问题，本文利用大语言模型GPT-4o构建富含上下文的文本描述.对于知识概念集合V中的任意概念v_i，首先根据其在知识图谱中的元数据构建提示词，包含概念名称\mathrm{N}\mathrm{a}\mathrm{m}{\mathrm{e}}_i、所属领域\mathrm{A}\mathrm{r}\mathrm{e}{\mathrm{a}}_i、主题\mathrm{T}\mathrm{o}\mathrm{p}\mathrm{i}{\mathrm{c}}_i以及其先修集合P_i和后继集合S_i.利用LLM生成的增强文本描述T_i能够捕捉概念的深层语义.接着，使用BART预训练语言模型将增强文本描述T_i编码为初始语义向量x_{\mathrm{0}}.

2.4 结构引导扩散模块

为了生成高质量且结构对齐的语义表征，本文引入条件高斯扩散模型，传统的扩散模型通常从纯高斯噪声开始生成，这可能导致生成的语义向量偏离原始文本的含义，为了在引入结构信息的同时最大程度保留原始文本的核心语义，本文在推理阶段采用了一种截断逆向精炼策略，该模块包含前向加噪和逆向去噪两个过程.前向过程，向初始文本向量x_{\mathrm{0}}逐步添加高斯噪声.在第t步，加噪后的潜在变量x_t定义如公式1所示，{\overline{\alpha }}_t是噪声调度参数，ϵ是标准正态分布，ϵ~\mathrm{N}(\mathrm{0,1}).

x_t=\sqrt[]{{\overline{\alpha }}_t}{x}_{t-\mathrm{1}}+\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t}ϵ，（1）

逆向过程是训练一个去噪网络{ϵ}_{\theta }，从噪声变量x_t中逐步恢复出原始信号x_{\mathrm{0}}，根据图结构c去引导，恢复原始信号，本文将GNN提取的结构嵌入h_i^{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{c}\mathrm{t}}作为条件c引入去噪网络，去噪网络训练公式如公式2所示：

{ϵ}_{\theta }(x_{t-\mathrm{1}}\left|x_t,c)\right.，（2）

为了确保生成的语义与知识图谱结构一致，去噪网络的优化目标是最小化预测噪声与真实噪声的均方误差，损失记为L_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}，计算如公式3所示：

L_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}=E_{x_{\mathrm{0}},t,ϵ,c}\left[||ϵ-{ϵ}_{\theta }(x_t,t,c)|{|}^{\mathrm{2}}\right]，（3）

经过训练后，利用逆向过程生成的增强语义向量e_i^{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}融合了深层文本语义与图谱结构信息，具有更强的鲁棒性.

2.5 文本聚合模块

在扩散过程之后，获得了去噪且精炼的语义表示，记为e_i^{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}.为了进一步捕获高阶的协作信号，在概念拓扑图上采用了GCN.具体而言，使用扩散模块输出的去噪向量来初始化GCN的节点嵌入，而不是使用原始文本特征或随机初始化.这使得模型能够通过用户行为结构传播纯净的语义信息，把初始去噪向量作为卷积层初始向量E^{(\mathrm{0})}，具体如公式4所示：

E^{(\mathrm{0})}=e_i^{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}，（4）

多层聚合邻居的信息，E^{(l+\mathrm{1})}表示第l+\mathrm{1}层聚合之后的语义向量，聚合函数如公式5所示：

E^{(l+\mathrm{1})}={\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\tilde{A}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}{E}^{(l)}，（5）

经过L层图卷积传播后，获得了融合高阶结构信息的最终项目嵌入矩阵，记为h_struct， 如公式6所示：

h_{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{c}\mathrm{t}}=E^{(L)}，（6）

2.6 序列预训练模块

为了解决冷启动问题并充分利用概念丰富的属性信息，在微调之前引入了一个多任务自监督预训练阶段.借鉴S3-Rec^［26］的思想，设计了包含四个子任务的复合损失函数，旨在从不同粒度捕捉数据特征.具体而言，预训练目标损失函数L_{PT}如公式7所示：

L_{\mathrm{P}\mathrm{T}}=L_{\mathrm{M}\mathrm{I}\mathrm{P}}+L_{\mathrm{S}\mathrm{P}}+L_{\mathrm{A}\mathrm{A}\mathrm{P}}+L_{\mathrm{M}\mathrm{A}\mathrm{P}}，（7）

遮蔽项目预测（MIP）：随机遮蔽输入序列中的部分项目，强迫模型利用扩散模型生成的增强语义向量e^{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}重建被遮蔽的项目ID，这是最基础的序列建模任务.

片段预测（SP）：为了捕捉长序列与局部上下文的联系，将原始序列切分为多个片段，预测某个片段是否属于当前序列，以此增强模型对序列连续性的理解.

关联属性预测（AAP）：考虑到教育数据的层级结构，引入了细粒度的知识点Topic预测任务.当项目v_i被遮蔽时，模型不仅要预测其ID，还要利用上下文预测该项目所属的具体知识点，这有助于解决稀疏性问题，因为不同的题目可能共享相同的知识点.

多粒度/互信息属性预测（MAP）：除了细粒度知识点，还引入了粗粒度的知识点Area预测或序列-属性互信息最大化任务.该任务要求序列的整体表示与序列中包含的属性集合保持高度的一致性，从而增强模型对用户整体兴趣偏好的宏观把控.

2.7 DKT模块

DKT模块用于实时捕捉学习者在交互序列中的动态知识状态.对于学习者的交互序列S_u，每个时间步的输入x_t需要同时编码当前练习的知识概念c_t和作答结果a_t.为了有效区分不同作答结果对知识状态演变的差异化影响，本文采用交互元组的联合独热编码策略.设知识概念总数为K，将输入特征空间扩展为2K维.具体而言，对于第t步的交互(c_t,a_t)，输入向量x_t的构建如公式8所示：

x_t=\mathrm{o}\mathrm{n}\mathrm{e}\mathrm{h}\mathrm{o}\mathrm{t}(c_t+a_t\cdot K)\in {\{\mathrm{0,1}\}}^{\mathrm{2}K}，（8）

其中，c_t为概念索引，a_t\in \{\mathrm{0,1}\}为作答结果，0表示错误，1表示正确.该编码机制在于将概念-结果对映射到互斥的特征子空间中，前K维空间对应于答错该概念的表征，后K维空间对应于答对该概念的表征.这种处理方式解耦了正负反馈信号，使得后续的GRU网络能够针对做对或做错学习到不同的状态更新模式，从而更精准地模拟学习者知识掌握程度的非线性波动.

在构建好融合了正负反馈信号的输入特征向量x_t之后，为了进一步捕捉学习者知识状态随时间推移的非线性动态演变过程，本文采用GRU来建模知识状态的演变.GRU的经典公式包含h_t和{\tilde{h}}_t，生成公式如公式9和公式10所示：

{\tilde{h}}_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(W_h{x}_t+U_h(r_t\odot h_{t-\mathrm{1}})+b_h)，（9）

h_t=(\mathrm{1}-z_t)\odot h_{t-\mathrm{1}}+z_t\odot {\tilde{h}}_t，（10）

h_t\in {\mathrm{R}}^{\mathrm{d}\mathrm{k}\mathrm{t}}代表学习者在时刻t的隐式知识状态向量，h_t和r_t分别为更新门和重置门，{\tilde{h}}_t是GRU的候选隐状态.

2.8 语义-结构-状态的多模态融合模块

针对现有方法往往难以兼顾静态图结构与动态交互序列的局限性，本文采用自注意力机制，实现了一个语义-结构-状态联合嵌入空间的构建，使得模型能够同时利用知识图谱的全局拓扑信息和学习者的局部时序状态.本模块采用自注意力机制进行动态校准，模型首先通过线性投影将异构特征映射到共享的潜在空间E_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}，简单来说就是将扩散生成的语义嵌入e^{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}、GCN提取的结构嵌入h^{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{c}\mathrm{t}}以及DKT输出的知识状态h^{kt}进行拼接与线性投影，具体投影公式如公式11所示：

E_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(W_{\mathrm{1}}{e}_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}},W_{\mathrm{2}}{h}_{\mathrm{s}\mathrm{t}\mathrm{r}\mathrm{u}\mathrm{c}\mathrm{t}},W_{\mathrm{3}}{h}_t)，（11）

W1，W2，W3都是可学习的线性投影矩阵，负责将来源不同、维度也不同的特征向量映射到同一个维度的共享特征空间中.

2.9 推荐模块

基于多模态融合层在最后时间步通过E_{final}输出的最终序列表征s_u，即DKT模块最后一个时间步向量与语义-结构拼接投影得到，本模块旨在量化学习者当前状态与候选知识概念v\in V之间的适配程度.与传统电商推荐仅关注兴趣匹配不同，教育场景下的推荐本质上是在寻找学习者当前认知区与候选知识点的最佳契合点.

具体而言，采用内积操作来度量学习者综合状态向量s_u与候选概念嵌入e_v在共享潜在空间中的相似度.该分数不仅反映了语义上的相关性，更隐含了学习者能力与概念难度的认知匹配度.预测概率分布\widehat{y}通过Softmax函数归一化得到，公式如下所示：

\widehat{y}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(s_u\cdot e_v^T)，（12）

e_v为候选概念的嵌入向量.得分越高的概念，意味着其既符合学习者的语义兴趣路径，又在其当前的知识能力范围之内.在模型训练阶段，为了实现全链路的端到端优化，采用交叉熵损失函数作为目标函数，交叉熵损失函数公式如公式13所示：

L=-{\sum }_{j=\mathrm{1}}^M{y}_j\mathrm{l}\mathrm{o}\mathrm{g}({\widehat{y}}_j)，（13）

y_j为真实标签，若下一时刻交互的是概念v_j则为1，否则为0.在推理阶段，选择\widehat{y}中得分最高的TOP-K个概念作为推荐结果.

3 实验结果与分析

本节首先描述了实验中使用的三个真实教育数据集、对比基准方法和评估指标，然后将提出的SG-DiffRec模型与现有的主流序列推荐方法进行了性能比较，最后通过消融实验和参数敏感性分析，对不同实验环境下的SG-DiffRec进行了详细的分析.

3.1 实验环境

本节实验环境如表1所示.

3.2 实验数据集

本章在三个数据集上进行了实验：JUNYI、ASSISTments09和ASSISTments12.它们都提供了学习者的学习序列.这些数据集从其原始的问答对序列转换为概念回答对.每个概念都有一个ID和一个名称.在表2中提供了这三个数据集的统计数据.对于知识图，JUNYI数据集提供了一个专门的知识图，勾勒出概念依赖关系.而对于ASSISTments09和ASSISTments12，使用转换图^［19］作为知识图的估计

3.3 对比模型

为全面验证本文模型的有效性，本文从序列建模、语义增强、结构建模、特征建模与自监督预训练五个角度选取代表性基线进行对比.其中，SASRec和BERT4Rec作为主流序列推荐基线，用于衡量本文在标准序列建模框架上的增益；ZESRec作为文本语义增强方法，用于比较外部文本语义信息的贡献；GCARec作为图结构建模方法，用于验证结构先验对教育推荐任务的作用；FDSA作为特征级自注意力方法，用于反映多特征协同建模能力；S3-Rec作为自监督序列推荐代表方法，用于比较预训练策略对数据稀疏场景的改善效果.通过与不同类别方法对比，可以更全面地检验SG-DiffRec在语义去噪、结构约束和动态认知状态建模三个方面的综合优势.

SASRec^［23］：利用自注意力模型来预测下一个项目.

Bert4Rec^［24］：利用原始的BERT^［29］方案进行下一个项目预测

ZESRec^［8］：利用预训练的语言模型对文本进行编码，作为下一个预测的输入特征.

GCARec^［17］：提出拓扑层面与特征层面的数据增强方法，生成学习者—概念图的多视图，用于对比学习.

FDSA^［30］：利用自我注意力来捕捉项目和特征的转换模式

S3-Rec^［26］：预训练以属性、项目、子序列等相关的互信息最大化为目标的自注意力模型

3.4 实验结果度量标准

本文采用如下３个指标对实验结果进行度量.

HR@1：表示在推荐列表的前1个位置即为正确推荐项目的测试用例比例，它反映了模型在最严格条件下的预测准确性.

NDCG@5：考虑了正确项目在推荐列表前５项中的相对位置，位置越靠前，对指标的贡献越大.

MRR@5：该指标通过计算正确项目在推荐列表前5项中排名的倒数均值，来评估模型的排序质量.MRR@5更加关注正确项目是否排在列表的前列.MRR值越大，表示模型越倾向于将正确项目推荐在最显眼的位置，反映了模型在Top-K列表中极强的头部排序能力.

3.5 实验参数设定

为使实验结果公平公正，所有基线模型的参数设置在公开实现或推荐范围内.所有数据集中Transformer骨干网络的潜在向量维数d=256，GNN与DKT的隐藏层维数均设置为64，文本特征维度为768.此外，在验证集上选择其他超参数，该验证集是训练集中随机划分的验证子集.Adam算法被用于优化模型参数，其中初始学习率lr被设置为0.001.此外，训练每一批次数据输入的大小设置为256，序列最大截断长度为50，微调阶段的迭代次数为30，扩散模型步数比例0.5.

3.6 实验结果分析

3.6.1 与基线模型对比

由表3可知，S3-Rec是整体表现最强的基线模型，说明自监督预训练策略能够在一定程度上缓解教育序列推荐中的数据稀疏问题，并增强模型对项目属性信息与序列上下文关系的建模能力.与此同时，FDSA与SASRec在部分数据集上的表现较为接近，表明显式特征建模对下一项预测具有一定帮助；而GCARec在三个数据集上的整体表现弱于SASRec，说明仅依赖图对比增强并不能稳定提升教育场景下的推荐性能.这表明，单一的语义增强、结构建模或序列建模方法，都难以充分刻画教育推荐任务中涉及的多维信息.

与最优基线相比，SG-DiffRec在三个数据集上均取得了最优结果.在Junyi数据集上，HR@1、NDCG@5和MRR@5分别提升2.41%、2.49%和1.97%；在ASSISTments12数据集上分别提升0.78%、0.26%和0.46%；在ASSISTments09数据集上分别提升4.35%、0.51%和0.68%.从结果可以看出，本文模型不仅提升了首位命中的准确率，同时也改善了推荐列表前列的整体排序质量.其中，Junyi与ASSISTments09上的提升更为明显，尤其是HR@1指标增长较大，说明当知识依赖关系更强或交互数据更稀疏时，本文模型在将当前最合适的知识点排在首位方面具有更强优势.产生这样的情况的原因可能是SG-DiffRec并非仅从单一角度改进推荐过程，而是围绕教育推荐的任务特点进行了统一建模.首先，结构引导扩散模块将知识图谱拓扑信息引入语义去噪过程，在保留概念语义信息的同时削弱原始文本中的噪声干扰，使概念表示更加符合教学结构约束；其次，结构聚合模块进一步编码知识点之间的高阶依赖关系，使模型不仅能够学习学过什么，还能够理解下一步更适合学什么；最后，DKT模块对学习者作答序列进行动态建模，能够刻画知识掌握状态随时间变化的过程，从而使推荐结果更加贴合学习者当前能力水平.

综合来看，现有基线方法虽然分别在自监督预训练、特征建模或结构增强方面取得了一定效果，但仍难以同时兼顾语义纯净性、知识结构一致性与学习者状态动态性.相比之下，SG-DiffRec通过结构引导扩散、概念图结构聚合、DKT动态状态建模以及多模态联合融合，实现了对语义、结构和认知状态三类信息的协同建模，因此能够在三个公开数据集上稳定优于各类基线模型，体现出较好的综合性能和教育适配性.

3.6.2 消融实验

为了验证本章设计的扩散模型模块以及结构引导机制的有效性，本文对比了完整模型SG-DiffRec与两个变体模型：w/o Guidance模型，保留扩散模型但移除结构引导和w/o Diffusion模型，完全移除扩散模块，无结构引导.具体结果如表4所示.

从消融实验结果表明，w/o Guidance模型各个评估指标均有所下降.对于Junyi数据集，HR@1评估分数下降了约1.0%，NDCG@5下降了0.46%，但对于数据较为稀疏的ASSISTments09数据集，各项指标下降幅度相对较小.推测可能是Junyi数据集作为稠密数据集，其知识点之间包含极强的先修后继结构依赖关系，而单纯的文本扩散生成容易在密集的语义空间中产生偏离原始教学逻辑的幻觉；引入结构引导后，图谱信息充当了强约束条件，使得生成方向对编码器的结构输入更为敏感.实验表明，在扩散逆向过程中引入结构特征作为引导，能够有效地捕捉数据中的全局结构依赖关系，确保生成的语义向量符合教学逻辑.

w/o Diffusion模型对数据集ASSISTments12评估分数下降最为显著，HR@1下降了1.8%左右，ASSISTments09数据集下降了1.6%左右，说明扩散生成框架有效缓解了数据稀疏问题.从语义特征角度看，扩散模型中的逆向去噪过程可以视为一种高质量的特征增强手段，它能够修复预训练语言模型表征中的各向异性噪声，使得模型在面对交互稀疏的长尾知识点时表现更好；从数据分布角度来说，前向加噪与逆向重构增加了特征空间的样本多样性.相比之下，Junyi数据集在移除扩散模块后下降幅度较小，这表明在数据充足的情况下，模型对生成的依赖较弱，而在稀疏场景下，扩散模型通过最大化潜在语义的一致性，能够使模型学习到更鲁棒的特征表示，从而更好地捕捉用户与概念之间的深层关联，显著增强模型对原始序列特征的表达能力，扩散模型以及图引导对指标的具体影响情况如图2所示.

3.6.3 参数敏感性

为了探究扩散模型推理阶段的精炼比例λ对最终推荐性能的影响，本小节在Junyi数据集上进行了详细的参数敏感性实验.λ控制了起始噪声水平，即t_step =λ×T指的是前向加噪的步数.λ它决定了模型在多大程度上保留原始文本语义，以及在多大程度上引入结构引导进行重构.实验结果如图3所示.

结构引导的去噪增益从图3可以清晰地观察到，当λ从0.2增加到0.5时，各项指标均呈现显著的上升趋势.在λ较小时，逆向扩散过程步数较少，生成的表征过于贴近原始预训练语言模型的输出.由于原始BERT表征存在显著的各向异性和语义噪声，仅进行轻微的去噪难以充分纠正这些偏差.随着λ的增加，模型获得了更多的去噪步数空间，图编码器提取的结构特征能够更充分地引导扩散过程，将语义向量从高噪声区域拉回到符合知识图谱逻辑的流形上.这一过程有效地注入了先修后继的结构先验，从而提升了推荐的准确性.

当λ达到0.5时，模型在指标上面均达到最优性能.模型在保留原始语义与重构结构特征之间达到了最佳平衡点.原始文本表征作为强有力的语义锚点，确保了生成的向量不会偏离知识点的核心含义；而适度的扩散重构则最大限度地利用了图谱结构来优化特征分布.这验证了本文提出的逆向精炼策略的有效性.

随着λ进一步增加超过0.5，各项指标开始出现明显下滑.过大的λ意味着引入了过量的初始噪声，这破坏了原始文本中包含的细粒度语义信息，导致生成过程出现语义漂移.此时，模型过分依赖图结构的条件引导来重建向量，容易导致生成的表征趋于同质化，使得不同知识点之间的区分度降低，难以捕捉用户的个性化长尾兴趣.综上所述，合理选择精炼比例λ至关重要.实验表明，将λ设置为0.5能够最大化SG-DiffRec的性能，使其既能利用扩散模型修复语义缺陷，又能避免因过度生成而丢失信息的保真度.

4 结语

本文提出了基于结构引导扩散与知识追踪的序列推荐模型SG-DiffRec，探索了生成式扩散模型在消除语义噪声中的应用，以及图结构与动态认知状态的深度融合机制；同时，本文在理论与实践上证明了结构引导及精炼比例对平衡语义锚点与知识约束的重要性.在三个真实教育数据集上的实验结果证明了SG-DiffRec性能的优越性.接下来的工作将进一步优化多模态特征的对齐与自适应推荐策略.

参考文献

[1] Lin Y， Feng S， Lin F， et al. Adaptive course recommendation in MOOCs［J］. Knowledge-Based Systems， 2021， 224： 107085.

[2] Liu Q， Huang Z， Huang Z， et al. Finding similar exercises in online education systems［C］//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. London：ACM， 2018： 1821-1830.

[3] Li A， Li Y， Gao X. Personalized learning path recommendation based on knowledge graphs： A survey［J］. Electronics， 2026， 15（1）： 238.

[4] Pan L W， Pan W K， Wei M Y， et al. A survey on sequential recommendation［J］. Frontiers of Computer Science， 2026， 20（3）： 2003606.

[5] Quadrana M， Cremonesi P， Jannach D. Sequence-aware recommender systems［J］. ACM Computing Surveys， 2019， 51（4）： 1-36.

[6] Zhao Z， Fan W， Li J， et al. Recommender systems in the era of large language models （LLMs）［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（11）： 6889-6907.

[7] 徐凤如， 李博涵， 胥帅. 基于深度学习与大语言模型的序列推荐研究进展［J］. 计算机科学与探索， 2025， 19（2）： 344-366.

[8] Ding H， Ma Y， Deoras A， et al. Zero-shot recommender systems［PP/OL］. V2. arXiv （2021-10-12）.

[9] Geng S， Liu S， Fu Z， et al. Recommendation as language processing （RLP）： A unified pretrain， personalized prompt & predict paradigm （P5）［C］//Proceedings of the 16th ACM Conference on Recommender Systems. Seattle：ACM， 2022： 299-315.

[10] Bao K， Zhang J， Zhang Y， et al. TALLRec： An effective and efficient tuning framework to align large language model with recommendation［C］//Proceedings of the 17th ACM Conference on Recommender Systems. Singapore：ACM， 2023： 1007-1014.

[11] Li Y， Liu Y， Furukawa T. Integrating prior knowledge from meta-learning and large language models for cold-start recommendation［J］. Proceedings of International Exchange and Innovation Conference on Engineering & Sciences （IEICES）， 2023， 9： 327-333.

[12] Liu F， Zou L， Zhao X， et al. Flow matching based sequential recommender model［PP/OL］. V1. arXiv （2025-05-22）.

[13] Wang W， Xu Y， Feng F， et al. Diffusion recommender model［C］//Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval.Taipei： ACM， 2023： 832-841.

[14] Jiang Y， Yang Y， Xia L， et al. DiffKG： Knowledge graph diffusion model for recommendation［C］//Proceedings of the 17th ACM International Conference on Web Search and Data Mining. Mérida：ACM， 2024： 313-321.

[15] Chen M， Xia L， Xu Y， et al. Collaborative diffusion models for recommendation［C］//Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval. Padua：ACM， 2025： 1975-1984.

[16] Li Z， Xia L， Hua H， et al. DiffGraph： Heterogeneous graph diffusion model［C］//Proceedings of the Eighteenth ACM International Conference on Web Search and Data Mining. Hannover：ACM， 2025： 40-49.

[17] Yu M， Ding Z， Yu J， et al. Graph contrastive learning with adaptive augmentation for knowledge concept recommendation［C］//2023 26th International Conference on Computer Supported Cooperative Work in Design （CSCWD）. Rio de Janeiro：IEEE， 2023： 1281-1286.

[18] Li K， Zhang Y， Li X， et al. Mask diffusion-based contrastive learning for knowledge-aware recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2025， 37（9）： 5407-5419.

[19] Nakagawa H， Iwasawa Y， Matsuo Y. Graph-based knowledge tracing： Modeling student proficiency using graph neural network［C］//IEEE/WIC/ACM International Conference on Web Intelligence. Thessaloniki：ACM， 2019： 156-163.

[20] Askarbekuly N， Fayzrakhmanov T， Babarogić S， et al. An outcome-based educational recommender system［PP/OL］. V1. arXiv （2025-09-18）.

[21] Hidasi B， Karatzoglou A， Baltrunas L， et al. Session-based recommendations with recurrent neural networks［PP/OL］. V4. arXiv （2016-03-29）.

[22] Zhang S， Wang M， Wang W， et al. GLINT-RU： Gated lightweight intelligent recurrent units for sequential recommender systems［C］//Proceedings of the 31st ACM SIGKDD Conference on Knowledge Discovery and Data Mining. ACM，Toronto： 2025： 1948-1959.

[23] Kang W C， McAuley J. Self-attentive sequential recommendation［C］//2018 IEEE International Conference on Data Mining （ICDM）. Singapore： IEEE， 2018： 197-206.

[24] Sun F， Liu J， Wu J， et al. BERT4Rec： Sequential recommendation with bidirectional encoder representations from transformer［C］//Proceedings of the 28th ACM International Conference on Information and Knowledge Management. Beijing：ACM， 2019： 1441-1450.

[25] Cheng K， Chang H， Wang P， et al. RPE4Rec： Enhancing dynamic node retrieval with efficient relative position encoding for recommendation systems［C］//Proceedings of the Nineteenth ACM International Conference on Web Search and Data Mining. Boise：ACM， 2026： 89-98.

[26] Zhou K， Wang H， Zhao W X， et al. S3-rec： Self-supervised learning for sequential recommendation with mutual information maximization［C］//Proceedings of the 29th ACM International Conference on Information & Knowledge Management.Galway： ACM， 2020： 1893-1902.

[27] Long T， Qin J， Shen J， et al. Improving knowledge tracing with collaborative information［C］//Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining.Tempe： ACM， 2022： 599-607.

[28] Nasrin A， Qian L， Obiomon P， et al. Enhancing learning path recommendation via multi-task learning［C］//2025 Artificial Intelligence x Humanities， Education， and Art （AIxHEART）. Laguna Hills：IEEE， 2025： 85-91.

[29] Devlin J， Chang M W， Lee K， et al. BERT： Pre-training of deep bidirectional transformers for language understanding［C］//Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （long and Short Papers）. Minneapolis：Association for Computational Linguistics， 2019： 4171-4186.

[30] Zhang T， Zhao P， Liu Y， et al. Feature-level deeper self-attention network for sequential recommendation［C］ 2019 International Joint Conference on Artificial Intelligence， Macao：IJCAI. 2019： 4320-4326.

基金资助

国家自然科学基金资助项目(62577026)