基于图神经网络的自适应知识图谱推理框架

Adaptive knowledge graph reasoning framework based on graph neural networks

摘要

针对现有基于图神经网络（GNN）的知识图谱推理存在实体传播规模爆炸、语义关联缺失及关系数据稀疏等不足，提出一种基于图神经网络的自适应知识推理框架（CASS）.首先，设计面向连接的语义相关采样策略，通过自适应传播路径过滤冗余实体并保留潜在目标；该策略采用改进的渐进式传播机制维持线性复杂度，并结合动态抽样分布与迭代淘汰策略对无效节点进行剪枝.其次，引入基于掩码图的对比学习范式，利用可学习掩码函数定位并遮蔽关键节点子图结构以重构自监督信号，从而增强模型在稀疏场景下的推理鲁棒性.最后，在公共数据集WN18RR、NELL-995和YAGO3-10上的实验表明，CASS在直推式（Transductive）推理任务中性能提升显著，特别是在WN18RR数据集上，其MRR（Mean Reciprocal Rank）指标较最先进的基线模型提升了1.8个百分点.

Abstract

A graph neural network （GNN）-based adaptive knowledge reasoning framework （CASS） was proposed to address the limitations of extant GNN-based knowledge graph reasoning， such as the explosive growth of entity propagation scale， loss of semantic associations， and sparsity of relational data. First， a connection-oriented semantic correlation sampling strategy was designed to filter redundant entities and retain potential targets through adaptive propagation paths. This strategy employed an improved progressive propagation mechanism to maintain linear complexity， and integrated dynamic sampling distribution with iterative elimination strategy to prune invalid nodes. Second， a masked graph-based contrastive learning paradigm was introduced. It utilized a learnable masking function to locate and mask the subgraph structures of critical nodes to reconstruct self-supervised signals， thereby enhancing the reasoning robustness of the model in sparse scenarios. Finally， experiments on public datasets WN18RR， NELL-995， and YAGO3-10 demonstrated that CASS achieved significant performance improvements in transductive reasoning tasks. In particular， on the WN18RR dataset， its mean reciprocal rank （MRR） yielded a 1.8 percentage point improvement over state-of-the-art baseline models.

Graphical abstract

关键词

知识图谱 / 知识图谱推理 / 图采样 / 图神经网络 / 自监督学习

Key words

knowledge graph / knowledge graph reasoning / graph sampling / graph neural network / self-supervised learning

知识图谱（KG）在动态演化中普遍存在知识不完备问题，旨在推断隐含关联的知识图谱推理（KGR）技术因此成为研究热点^［1-3］.当前，基于GNN的推理方法虽取得了最优性能^［4］，但仍面临随传播层数增加导致的实体规模爆炸与过平滑现象^［5-6］，以及渐进式传播中冗余实体带来的计算复杂度骤增^［7-8］等瓶颈；同时，关系数据的稀疏性也阻碍了全局潜在关系的有效学习.针对上述挑战，提出一种基于图神经网络的自适应知识推理框架（Contrastive Adaptive Subgraph Sampling，CASS）.该框架包含两大核心：一是设计面向连接的语义相关采样策略，结合动态抽样分布与迭代淘汰机制对无效节点进行精准剪枝，在维持线性计算复杂度的同时有效过滤冗余实体；二是引入基于掩码图的对比学习范式，通过定位并遮蔽关键节点子图结构以重构自监督信号，显著提升了模型在稀疏场景下的推理鲁棒性.

1 相关工作

知识图谱推理方法主要可划分为基于三元组、基于路径与基于图神经网络三大类.

基于三元组的模型（如TransE^［9］、DistMult^［10］等）通过低维向量空间的语义匹配进行预测，虽计算高效，但在多跳推理与长尾关系建模上泛化能力不足，且缺乏逻辑可解释性.基于路径的方法（如DeepPath^［11］等）依托多跳关系路径的逻辑连贯性进行推断，具备较好的解释性，但随推理跳数增加不仅计算复杂度激增，且对稀疏数据的鲁棒性较弱.相比之下，基于GNN的方法（如GraphSAGE^［12］、HAN^［13］等）通过消息传递机制聚合结构与特征信息，实现了上下文感知的深层推理，取得了当前最优性能.然而，现有GNN模型在复杂场景下仍存在明显局限^［14］：其传播过程易忽略查询关系的深层语义依赖；随传播层数加深，无关实体的冗余参与会导致计算开销呈指数级爆炸；同时，关系数据的稀疏性易造成实体交互的局部割裂，阻碍潜在关系的有效学习.针对上述痛点，提出基于GNN的自适应知识推理框架CASS，通过优化传播路径与增强稀疏信号重构来提升推理效能.

2 方法

2.1 相关符号定义

将基于图神经网络的知识图谱推理模型表示为F\left(w,{\widehat{G}}^L\right)，其中模型参数为w，{\widehat{G}}^L为传播路径，包含每个传播步骤中涉及的实体的集合，即{\widehat{G}}^L=\left\{V^{\mathrm{0}},V^{\mathrm{1}},\dots ,V^{\mathrm{𝓁}}\right\}，其中V^{\mathrm{𝓁}}\left(\mathrm{𝓁}=\mathrm{1},\dots ,L\right)是第\mathrm{𝓁}个传播步骤中所涉及到的实体集合.表示实体通过V^L从V^{\mathrm{0}}传播到V^L，经过多个步骤.研究的目标是设计更好的传播路径{\widehat{G}}^L，使得优化后的模型能够正确预测每个查询\left(e_q,r_q,?\right)的目标实体e_a.渐进式传播方法根据不同的查询实体来设计与之对应的传播路径，虽然取得了最先进的性能，但也忽略了查询关系之间的依赖性，并且在较大的传播层数时会涉及到过多的实体.受到渐进式传播方法和同质图在采样技术上应用的启发，研究旨在通过动态调整传播路径的采样技术来实现自适应传播.将查询\left(e_q,r_q,?\right)定义查询依赖的传播路径为：

{\widehat{G}}_{e_q,r_q}^L=\left\{V_{e_q,r_q}^{\mathrm{0}},V_{e_q,r_q}^{\mathrm{1}},\dots ,V_{e_q,r_q}^{\mathrm{𝓁}}\right\}，（1）

其中：

V_{e_q,r_q}^{\mathrm{𝓁}}=\left\{\begin{array}{l}\left\{e_q\right\}\mathrm{𝓁}=\mathrm{0}\\ S\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)\mathrm{𝓁}=\mathrm{1}\dots L\end{array}\right..（2）

传播从查询实体e_q开始，L步的实体集合V_{e_q,r_q}^{\mathrm{𝓁}}，过采样策略S\left(\cdot \right)自适应地从前一步的实体集合V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}及其邻居中选取子集.

2.2 CASS框架描述

在此情境下，知识图谱推理面临四大关键困难：①接收到查询\left(e_q,r_q,?\right)时，目标答案实体e_a是未知的，这使得直接从相邻实体进行采样可能无法保留查询实体与潜在目标实体之间的结构性联系.②传播路径中实体与查询关系r_q之间存在极为复杂的语义依赖关系，这种复杂性超出了常规简单启发式方法能够有效捕获的范围.③在传播过程中，特别是在大规模知识图谱上，对实体进行采样并有选择地保留潜在目标实体，当采样实体集中的实体在后续采样过程中其邻居实体仍未被采样为采样实体时，仍然会存在实体爆炸导致查询性能降低的问题.④在稀疏KG中，稀疏的实体关系会导致部分实体描述不充分且不同部分之间会相互隔离，这使得无法充分学习到实体间的潜在关系.

因此，基于上述问题设计了一种基于图神经网络的自适应知识推理框架，模型的整体框架图如图1所示.在以下部分，将介绍该推理框架.为解决前三个困难，设计了一种面向连接的语义相关采样策略（图1（a））.针对第四个困难，引入了基于掩码图的对比学习范式（图1（b-1）、（b-2））.

2.3 面向连接的语义相关采样策略

将对提出的面向连接的语义相关采样策略的各组成部分进行详细介绍，包括一种改进的渐进式传播策略和一个基于学习的抽样分布.具体过程如下图2所示.

2.3.1 改进的渐进式传播策略

在构建数据采样方案时，需同时考虑采样目标实体和采样方法的效率与精准性.当目标实体e_a在查询\left(e_q,r_q,?\right)中未明确时，若采取无差别采样邻近实体的方式，可能破坏查询实体与潜在目标间的结构关联性，导致关键拓扑信息丢失.现有的采样方法没有办法很好地解决这一问题，局部聚焦型采样的复杂度随传播步数L呈指数级增长；层级控制型采样中前一层的实体可能与当前层采样的实体之间的联系极少，无法保留局部结构；子图抽取型采样虽然能够更好的保留局部结构，但是难以控制哪些实体与查询更相关且值得被采样.

观察到大多数目标实体在图结构中呈现邻近查询实体的聚集特性.基于此发现，研究提出动态节点保留机制，即在每一步传播中保留已选择的实体.具体来说，通过约束V_{e_q,r_q}^{\mathrm{0}}\subseteq V_{e_q,r_q}^{\mathrm{1}}\subseteq \dots \subseteq V_{e_q,r_q}^L保留前一步的实体，并以增量的方式从新访问的实体中采样，避免丢弃掉潜在目标.这种设计的好处是，随着迭代次数的增加，邻近的目标实体在概率传播过程中更容易保留；同时，连续两层实体间的层间连接得以保留.采样器S\left(\cdot \right)分为两个部分：候选实体集和采样实体集.

1） 候选实体

定义实体集合V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}为第\left(\mathrm{𝓁}-\mathrm{1}\right)步已经访问过的实体，第\mathrm{𝓁}步的实体集合定义为{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}，N\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)表示这些已访问实体的邻居实体（视为候选采样）.为了确保\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)在后续采样步骤中被保留，因此将新访问的实体作为候选实体，即

{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}=CAND\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)=N\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)\backslash V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}.（3）

在图3中举例了采样候选实体的过程.假设存在实体“苹果公司”“微软公司”（分别记为e_{\mathrm{1}},e_{\mathrm{2}}），即在第\left(\mathrm{𝓁}-\mathrm{1}\right)步已访问过的实体集，即V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}=\left\{e_{\mathrm{1}},e_{\mathrm{2}}\right\}.“iPhone”“iOS系统”“Windows系统”“Surface电脑”（分别记为\left(e_{\mathrm{3}},e_{\mathrm{4}},e_{\mathrm{5}},e_{\mathrm{6}}\right)）是这些已访问实体的邻居；则邻居实体集为N\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)=\left\{e_{\mathrm{3}},e_{\mathrm{4}},e_{\mathrm{5}},e_{\mathrm{6}}\right\}.此外，关系图中的邻居关系是e_{\mathrm{1}}\stackrel{\mathrm{生产}}{\to }{e}_{\mathrm{3}}，e_{\mathrm{1}}\stackrel{\mathrm{开发}}{\to }{e}_{\mathrm{4}}，e_{\mathrm{2}}\stackrel{\mathrm{开发}}{\to }{e}_{\mathrm{5}}，e_{\mathrm{2}}\stackrel{\mathrm{生产}}{\to }{e}_{\mathrm{6}}.因此，根据候选实体生成策略，第l步的候选实体集为{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}=CAND\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\right)=\left\{e_{\mathrm{3}},e_{\mathrm{4}},e_{\mathrm{5}},e_{\mathrm{6}}\right\}\backslash \left\{e_{\mathrm{1}},e_{\mathrm{2}}\right\}=\left\{e_{\mathrm{3}},e_{\mathrm{4}},e_{\mathrm{5}},e_{\mathrm{6}}\right\}.

2） 采样实体

为了避免涉及到的实体数量过多，因此，从第\mathrm{𝓁}步的实体集合{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}中无放回地采样K\left(\ll \left|{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}\right|\right)个实体.第\mathrm{𝓁}步采样的实体与第n步的实体共同构成第\mathrm{𝓁}步的实体集合，即

V_{(e_q,r_q)}^l=V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}}\bigcup SAMP({\overline{V}}_{e_q,r_q}^l).（4）

SAMP({\overline{V}}_{e_q,r_q}^l)表示从实体集{\overline{V}}_{e_q,r_q}^l中按照概率分布进行采样的操作.

3） 动态距离权重淘汰机制

针对论文中动态距离权重淘汰机制，设计了一个基于可学习参数的动态淘汰概率策略，该策略能够根据层数\mathrm{d}自适应调整淘汰概率，并通过历史采样记录动态优化参数，实现对未采样实体的惩罚与采样实体的奖励机制.定义基础淘汰概率函数P_{base}\left(d;\theta \right)，其中\theta =\left\{{\theta }_{\mathrm{1}},{\theta }_{\mathrm{2}},\dots ,{\theta }_L\right\}为可学习参数，对应层数d=\mathrm{1,2},\dots ,L的基础淘汰权重，通过sigmoid函数将概率映射到［0，1］区间：

P_{base}\left(d;\theta \right)=\sigma \left(-\theta \cdot d+b\right)=\frac{\mathrm{1}}{\mathrm{1}+e^{\theta \cdot d-b}}，（5）

其中，\theta >\mathrm{0}为可学习的衰减率参数，控制淘汰概率随层数增加的递减速度；b为可学习的偏置参数，调节初始淘汰概率（d=\mathrm{1}时的基准值）；\sigma \left(\cdot \right)为sigmoid函数，将概率映射到［0，1］区间.

引入未采样次数C_{\mathrm{未被}\mathrm{采样}}\left(e\right)和最大希望周期n，定义惩罚系数\alpha \left(e\right)：

\alpha \left(e\right)=\mathrm{1}+\beta \cdot \left(\frac{C_{\mathrm{未被}\mathrm{采样}}\left(e\right)}{n}\right)\gamma，（6）

其中，\beta =\mathrm{0}为可学习的惩罚强度参数；\gamma >\mathrm{0}为可学习的惩罚指数参数，控制惩罚增长的非线性程度.

在具体的算法实现中，未采样次数C_{\mathrm{未被}\mathrm{采样}}\left(e\right)采用动态追踪策略：在传播开始前（即层数d=\mathrm{0}时），所有候选实体的C_{\mathrm{未被}\mathrm{采样}}\left(e\right)初始化为0；在每一层d的传播与采样结束后，若实体e在当前层未被选中保留，则其未采样次数递增（即C_{\mathrm{未被}\mathrm{采样}}\left(e\right)自动加1）；若该实体在当前层被成功采样，则其C_{\mathrm{未被}\mathrm{采样}}\left(e\right)会被重置为0.

此外，最大希望周期n是一个用于控制模型对“长期未采样实体”容忍度的关键超参数.由于知识图谱的平均有效推理跳数通常较短，若实体连续多层未被采样，其对目标实体的结构贡献往往已呈指数级衰减.因此，在具体实验中，综合考虑计算效率与保留潜在目标的平衡，将n经验性地设置为3.当C_{\mathrm{未被}\mathrm{采样}}\left(e\right)>n时，公式（6）所计算出的惩罚系数\alpha \left(e\right)会出现显著增长，从而大幅提高该实体的淘汰概率，强制系统剪枝掉这些长期无贡献的冗余节点.

当实体e在层数d^{\mathrm{\text{'}}}被采样时，定义奖励系数R\left(d,d^{\mathrm{\text{'}}}\right)降低当前层d的淘汰概率：

R\left(d,d^{\mathrm{\text{'}}}\right)=\mathrm{1}-\lambda \cdot \mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{\left|d,d^{\mathrm{\text{'}}}\right|}{\tau }\right)，（7）

其中，\lambda \in \left(\mathrm{0,1}\right)为可学习的奖励强度参数；\tau为可学习的距离衰减参数，控制奖励影响的层数范围.

综合基础概率、惩罚项和奖励项，得到动态淘汰概率为：

P_{elim}\left(e,d;\theta ,b,\beta ,\gamma ,\lambda ,\tau \right)=P_{base}\left(d;\theta ,b\right)\cdot \alpha \left(e\right)\cdot R\left(d,d\text{'}\right).（8）

采用交叉熵损失结合正则化，其中y\left(e\right)为淘汰标签（1表示淘汰，0表示保留）：

\begin{array}{l}{L}_{elim}=-\left[y\left(e\right)\cdot \mathrm{l}\mathrm{o}\mathrm{g}{P}_{elim}\left(e\right)+\left(\mathrm{1}-y\left(e\right)\right)\cdot \right.\\ \left.\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-P_{elim}\left(e\right)\right)\right]+{\lambda }_{reg}\cdot {‖\mathrm{\Theta }‖}^{\mathrm{2}}\end{array}，（9）

其中，\mathrm{\Theta }=\left\{\theta ,b,\beta ,\gamma ,\lambda ,\tau \right\}为可学习参数集合；{\lambda }_{reg}为正则化系数，避免过拟合.

2.3.2 基于学习的动态抽样分布

面向连接的语义相关采样策略有效解决了目标候选实体过多的问题.然而，从{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}集合中随机选取K个实体的做法未能充分考量不同实体与各类查询之间的语义相关性.传统的贪心搜索策略，如束搜索（beam search）^［15］，在这种情况下并不适用，主要原因是缺乏直观的衡量语义相关性的评估标准.为克服这一局限，提出针对每个传播步骤\mathrm{𝓁}引入专门的参数{\theta }^{\mathrm{𝓁}}对采样器S\left(\cdot \right)进行参数化，具体表示为V_{e_q,r_q}^{\mathrm{𝓁}}=S\left(V_{e_q,r_q}^{\mathrm{𝓁}-\mathrm{1}};{\theta }^{\mathrm{𝓁}}\right).

对于基于GNN的知识图谱推理方法来说，传播过程的最终阶段所获得的实体嵌入表示h_{e_o}^{\mathrm{𝓁}}，用于评估实体e_o作为目标答案的匹配度.具体来说，通过学习得到的实体特征表达它们与查询三元组\left(e_q,r_q,?\right)之间的语义关联强度.为实现知识的有效共享，模型在每层\mathrm{𝓁}=\mathrm{1}\dots L引入了带有参数{\theta }^{\mathrm{𝓁}}\in R^d的线性映射函数g\left(h_{e_o}^{\mathrm{𝓁}};{\theta }^{\mathrm{𝓁}}\right)={\theta }^{{\mathrm{𝓁}}^T}{h}_{e_o}^{\mathrm{𝓁}}，并据此进行概率分布进行采样：

{\rho }^{\mathrm{𝓁}}\left(e\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left(g\left(h_e^{\mathrm{𝓁}};{\theta }^{\mathrm{𝓁}}\right)/\tau \right)}{{\sum }_{e^{\mathrm{\text{'}}}\in {{\overline{v}}^{\mathrm{𝓁}}}_{e_q,r_q}}\mathrm{e}\mathrm{x}\mathrm{p}\left(g\left(h_{e^{\mathrm{\text{'}}}}^{\mathrm{𝓁}};{\theta }^{\mathrm{𝓁}}\right)/\tau \right)}，（10）

其中温度值\tau >\mathrm{0}.

针对从概率分布{\rho }^{\mathrm{𝓁}}\left(e\right)中进行无放回抽样时面临的计算成本问题，采用改进的Gumbel top-k采样技术^［16-17］进行优化.该方法的实现步骤如下：首先对每个e\in {{\overline{v}}^{\mathrm{𝓁}}}_{e_q,r_q}独立生成服从均匀分布U\left(\mathrm{0,1}\right)的随机噪声U_e，并形成Gumbel logits G_e=g\left(h_e^{\mathrm{𝓁}};{\theta }^{\mathrm{𝓁}}\right)-\mathrm{l}\mathrm{o}\mathrm{g}\left(-\mathrm{l}\mathrm{o}\mathrm{g}{U}_e\right).然后根据Gumbel logits G_e的值对候选集合{\overline{V}}_{e_q,r_q}^{\mathrm{𝓁}}中的实体进行降序排列，选取前K个实体.

2.3.3 采样策略训练

\theta =\left\{{\theta }^{\mathrm{1}},\dots ,{\theta }^L\right\}表示为采样参数，并将参数化的传播路径表示为{\overline{G}}_{e_q,r_q}^L\left(\theta \right).考虑到公式（10）中采用的采样分布与GNN的表示存在密切联系，发现同时优化模型参数和采样器参数能够更有效地促进知识在两个组件间的传递.因此，构建了以下优化目标：

w^{\mathrm{*}},{\theta }^{\mathrm{*}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{w,\theta }{\mathrm{m}\mathrm{i}\mathrm{n}}{\sum }_{\left(e_q,r_q,e_a\right)\in Q_{tra}}L\left(F\left(w,{\widehat{G}}_{e_q,r_q}^L\left(\theta \right)\right),e_a\right).（11）

每个实例的损失函数L\left(F\left(w,{\widehat{G}}_{e_q,r_q}^L\left(\theta \right)\right),e_a\right)是所有实体e_o\in V_{e_q,r_q}^L上的二元交叉熵损失，即：

L\left(F\left(w,{\widehat{G}}_{e_q,r_q}^L\left(\theta \right)\right),e_a\right)=-{\sum }_{e_o\in V_{e_q,r_a}^L}{y}_{e_o}\mathrm{l}\mathrm{o}\mathrm{g}\left({\phi }_{e_o}\right)+\left(\mathrm{1}-y_{e_o}\right)\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-{\phi }_{e_o}\right)，（12）

其中，实体e_o的相似度得分{\phi }_{e_o}=f\left(h_{e_o}^L;w_{\phi }^T\right)\in \left[\mathrm{0,1}\right]表示e_o是目标答案实体的可能性，如果e_o=e_a则标签y_{e_o}=\mathrm{1}，否则为0.

重参数技巧通常应用于Gumbel分布场景^［18］.然而，这种方法的局限性在于它避免了直接的采样操作，因此仍然需要较高的计算资源投入.作为替代方案，采用了直通梯度估计器（straight-through （ST） estimator）^［19］，该方法能够有效近似估计离散变量的梯度信息.ST估计器的核心思想在于将采样过程看作恒等映射进行处理，从而实现反向传播.具体而言，该方法不直接利用实值表示h_e^{\mathrm{𝓁}}来计算消息传递，而是采用了更为高效的替代计算方式：

h_e^{\mathrm{𝓁}}=\left(\mathrm{1}-no\_grad\left({\rho }^{\mathrm{𝓁}}\left(e\right)\right)+{\rho }^{\mathrm{𝓁}}\left(e\right)\right)\cdot h_e^{\mathrm{𝓁}}，（13）

其中no\_grad\left({\rho }^{\mathrm{𝓁}}\left(e\right)\right)表示反向传播不会通过此项.这种设计确保了前向计算流程的完整性，同时在反向传播阶段仍能通过概率乘法器{\rho }^{\mathrm{𝓁}}\left(e\right)进行有效梯度传递.对于离散型采样分布的梯度估算，文献［19-20］也提出了REINFORCE算法作为替代方案.然而，该技术的一个显著缺点是其估计结果具有较大的方差，且随着网络层次的加深，这种方差会逐步累积，因此在该模型架构中未采用此技术.因此，选择使用Adam优化算法^［20］来同步更新模型的权重参数\omega和采样器\theta.

2.4 基于掩码图的对比学习范式

2.4.1 采样策略训练

为了在图结构G中自动提炼重构的自监督信号，提出了自适应地重构被掩码的查询实体\left(e_q\right)-目标实体\left(e_a\right)的关系边，以利于高阶协作关系的建模.可学习掩码方案的核心思想是首先识别G中的中心节点，然后根据其子图结构信息掩码信息丰富的关系边.基于图的可学习交互掩码函数\phi \left(\cdot \right)可以形式化为：

\phi \left(G,V;L\right)=\left\{e_q,e_a,V,\epsilon \backslash \left\{\left(v_{\mathrm{1}},v_{\mathrm{2}}\right)\left|v_{\mathrm{1}},v_{\mathrm{2}}\in N_v^L,v\in V\right.\right\}\right\}，（14）

其中V是\phi \left(\cdot \right)中的中心节点集合.为控制计算开销并聚焦关键语义，采用了目标驱动的选取规则：在每个训练批次中，直接选取当前查询实体e_q、目标实体e_a及其在局部传播路径中的高频枢纽节点构成V.N_v^L表示节点v在L跳内的邻域节点集合，超参数L用于控制在基于重构的自增强过程中注入的高阶连通性.此外，通过集合减法操作"\backslash "剔除关联边\left(v_{\mathrm{1}},v_{\mathrm{2}}\right)来实现掩码，该操作在给定中心节点v\in V的采样子图结构中进行.

2.4.2 基于语义相关性的正负样本选择

掩码策略的核心目的是让模型学习恢复被掩码的关键边，因此构建高质量的正负样本对至关重要.模型在同一批次中，对前top-k个语义相关性最强的关系进行掩码重构生成增强视图，将同一实体经过掩码重构后形成的不同视图互为正样本；而负样本则是同一批次中的其他实体经过掩码重构后形成的任意视图.具体来说，给定知识图谱中的一个实体e\in E，通过关系掩码操作生成其不同的视图，正样本e^{+}为同一实体e在不同掩码重构视图下的表示e^{+}=\left\{Z_e^k\left|k\ne j\right.\right\}，其中，e^{+}为实体e的正样本集合；Z_e^k为实体e在视图k下的表示；k是视图索引，取值范围为\left\{\mathrm{1,2},\dots ,K\right\}（K为总视图数）；j为当前锚点视图的索引.负样本e^{-}则是统一批次中其他实体e^{\mathrm{\text{'}}}\ne e在任意掩码视图下的表示e^{-}=\left\{Z_{e^{\mathrm{\text{'}}}}^m\left|e^{\mathrm{\text{'}}}\ne e,\forall m\right.\right\}，其中，e^{-}为实体e的负样本集合，即所有异质实体的任意视图表示；\forall m包含所有可能的视图类型，m为视图索引.

2.4.3 模型训练

为了优化自监督学习（SSL）增强任务，定义了以下多任务训练目标.

重构损失.受掩码自编码器在视觉和语言学习中的成果启发^［21］，采用了基于重构的SSL任务来恢复被掩码的头实体和尾实体之间关系边.具体来说，使用了余弦相似度来衡量节点对的相似性：

L_{recon}=\sum _{\left(e_i,e_j\right)\in M}\left[\mathrm{1}-\mathrm{s}\mathrm{i}\mathrm{m}\left(h_{e_i},h_{e_j}\right)\right]+\lambda \sum _{\left(e_i,e_j\right)\notin M}\left[\mathrm{0},\mathrm{s}\mathrm{i}\mathrm{m}\left(h_{e_i},h_{e_j}\right)-\gamma \right]，（15）

其中，M是被掩码的关系边集合，M\subset \epsilon；\left(e_i,e_j\right)为被掩码的关系边；h_{e_i}为实体表示向量，h_{e_j}为相关实体的表示向量；\mathrm{s}\mathrm{i}\mathrm{m}\left(\cdot ,\cdot \right)是余弦相似度函数；\epsilon是所有有效关系的集合；\lambda \in \left(\mathrm{0,1}\right)为负样本惩罚权重，\gamma \in \left(\mathrm{0,1}\right)为边界间隔参数.

为进一步增强表示学习能力，引入对比学习作为补充手段，并结合重构任务，最大化掩码子图结构内部的节点嵌入一致性.形式上，采用InfoNCE损失作为对比学习损失函数：

L_{ssl}=-\frac{\mathrm{1}}{\left|B\right|}{\sum }_{e\in B}\mathrm{l}\mathrm{o}\mathrm{g}\frac{{\sum }_{k\ne j}exp\left(\frac{sim\left(Z_e^j,Z_e^k\right)}{\tau }\right)}{{\sum }_{k\ne j}exp\left(\frac{sim\left(Z_e^j,Z_e^k\right)}{\tau }\right)+{\sum }_{e^{\mathrm{\text{'}}}\ne e}{\sum }_{m}exp\left(\frac{sim\left(Z_e^j,Z_{e^{\mathrm{\text{'}}}}^k\right)}{\tau }\right)}，（16）

其中，B为批次实体集合，e为锚点实体，\tau为温度参数.

2.5 模型训练

提出的模型训练分为两部分.上层部分采用多任务训练策略，联合优化知识图谱推理任务和自监督学习任务：

L_{upper}=L\left(F\left(w,{\widehat{G}}^L\left(\theta \right)\right),e_a\right)+L_{elim}+{\lambda }_{\mathrm{1}}{L}_{ssl}+{\lambda }_{\mathrm{2}}{‖\mathrm{\Theta }‖}_F^{\mathrm{2}}，（17）

其中，\mathrm{\Theta }表示主任务中的模型参数集，{\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{2}}是分别控制自监督学习和正则化强度的超参数；L\left(F\left(w,{\widehat{G}}^L\left(\theta \right)\right),e_a\right)为采样策略的损失函数，L_{elim}为动态距离权重淘汰机制损失函数.

下层部分则为重构损失任务：

L_{lower}=L_{recon} .（18）

3 实验

在直推式设定下，通过实验验证所提出的CASS推理框架的有效性并分析其组成部分.考虑到提出的CASS框架核心在于通过自适应采样与对比学习范式解决大规模图谱中的实体传播规模爆炸与数据稀疏性问题，且主要依赖全局拓扑结构进行语义增强.直推式设置能够最直接、准确地衡量模型在捕捉复杂图结构与长程语义依赖方面的效能，充分验证采样策略在完整图谱下的优化优势.而归纳式（Inductive）场景侧重于跨图谱的实体迁移能力，与研究所侧重的结构优化目标有所区分，故留待后续工作进一步探索.

3.1 实验设置

3.1.1 模型训练

假设拥有一个知识图谱G=\left(V,R,\epsilon ,Q\right)，其中查询集Q被划分为三个互斥子集Q_{tra}/Q_{val}/Q_{tst}，分别用于训练、验证和测试，\epsilon为事实三元组.

选取知识图谱推理领域常用公开数据开展模型训练与测试，公开数据集具体包括： WN18RR（基于WN18的链路预测数据集，提供丰富实体关系信息）； FB15k237（Freebase子集，过滤琐碎三元组，避免训练与验证/测试集实体直连导致的信息泄露）；NELL-995（是NELL系统第995次迭代的数据集，是评估模型在稀疏图谱上进行多跳推理能力的经典基准）；YAGO3-10（YAGO3知识库的核心子集，仅保留了至少包含10个关系连边的实体，常用于评估模型在大规模、高异质性图谱上的推理性能与扩展能力）.

这些数据集的统计信息如表1所示.

3.1.2 实验设计

知识图谱实体预测任务是知识图谱构建与完善中的核心环节，其通过挖掘已有知识中的潜在关联，补全缺失的实体信息，为知识图谱的语义完整性与应用价值提供关键支撑.作为知识图谱推理的重要分支，实体预测聚焦于基于已有的实体属性、关系信息及上下文语义，推断知识图谱中尚未显式记录的实体（如未标注的节点或未明确的实体类型），从而拓展知识图谱的覆盖范围.相较于关系预测任务（侧重通过实体信息推断缺失的关系），实体预测更注重从碎片化知识中还原实体的完整语义边界，这一过程不仅能够提升知识图谱的密度与准确性，更为下游的问答系统、智能推荐等应用提供更全面的实体语义基础.

实体预测旨在基于已知的实体与关系信息，推断查询三元组中缺失的目标实体，例如给定查询头实体e_q和关系r_q，预测尾实体e_a.

3.2 模型对比实验

将所提出的CASS推理框架与non-GNN方法：ConvE、QuatE、RotatE、MINERVA、DRUM、RNNLogic以及基于GNN的全传播方法CompGCN和渐进式传播方法NBFNet和RED-GNN等进行比较.考虑到篇幅限制与评测的侧重点，对比实验主要在WN18RR、NELL-995和YAGO3-10这三个数据集上展开，而FB15k237数据集将专门用于后续的采样策略与消融实验分析.

实验对比结果见表2.首先，基于GNN的方法可以同时捕获知识图谱中的结构和语义信息，总体上优于非基于GNN的方法.其次，渐进式传播方法，如NBFNet和RED-GNN的性能优于全传播方法CompGCN，特别是在规模较大的知识图谱上，如WN18RR、NELL-995和YAGO3-10.具体而言，提出的CASS推理框架在大多数基准上优于所有基线.

此外，比较了不同基于GNN的推理方法在不同传播步数L下的MRR性能，在这里使用的是WN18RR和NELL-995数据集，如图4所示.随着图神经网络层数L的增加，一些方法会出现过度平滑问题且随L增大很快耗尽内存.相比之下，RED-GNN和NBFNet在L=2到L=5时因捕获更多长距离信息性能提升，但当涉及到的实体过多时，L>5后性能停滞.此外，RED-GNN和NBFNet传播路径设计相同，此处的性能曲线也相似.而提出的CASS推理框架，它的性能随着更深的传播步数仍然持续提升，且与其他方法相比缓解了过平滑的问题.

3.2.1 运行时间

提出的CASS推理框架的核心优势之一在于显著减少了无效实体的参与，从而大幅降低了计算资源的消耗.为此，在直推式数据集WN18RR上对比了不同基于GNN模型的训练时间与性能收敛关系，实验结果如图5所示.

由图可知，全量传播方法CompGCN的收敛速度最为迟缓，原因在于其消息传递过程涉及全图节点，带来了巨大的内存与计算开销.其次，将CASS与渐进式传播方法RED-GNN和NBFNet相比，CASS模型在更短的训练时间内率先收敛并达到了更优的MRR指标.这充分表明，设计的自适应采样技术不仅能有效过滤冗余节点，显著降低模型的训练资源消耗，更在直推式推理场景下实现了精度与计算效率的双重提升.

3.3 消融实验

3.3.1 采样方法

对比三种主流采样方法（即局部聚焦型采样、层级控制型采样和子图抽取型采样）与提出的面向连接的语义相关采样策略.如表3所示，无论是在无学习还是有学习的设置下，面向连接的语义相关采样策略均显著优于其他采样策略.局部聚焦型和层级控制型采样表现较差，原因在于其采样过程缺乏对语义相关性的有效控制.子图抽取型采样由于倾向于在查询实体周围的相关局部区域内传播（目标实体通常靠近查询实体），因此性能稍优于前两者.为了量化分析，定义EI(L)用于衡量传播路径中参与的实体数量，计算公式如下：

EI(L)=\frac{\mathrm{1}}{|Q_{tst}|}{\sum }_{(e_q,r_q,e_a)\in Q_{ts}}{\rm I}{\rm I}\{U_{\mathit{𝓁}=\mathrm{1}...L}{V}_{e_q,r_q}^{\mathit{𝓁}}\}，（19）

其中，Q_{tst}包含测试集中的查询，则是查询(e_q,r_q,?)在第\mathrm{𝓁}步的实体集合，且\mathrm{{\rm I}}\mathrm{{\rm I}}\{U_{\mathrm{𝓁}=\mathrm{1}...L}{V}_{e_q,r_q}^{\mathrm{𝓁}}\}在e_q属于V_{e_q,r_q}^{\mathrm{𝓁}}时为1，否则为0.

3.3.2 采样策略

对第2.3.3节中采用的直通梯度估计器（ST）与另外三种常见的离散变量梯度估计及采样策略（随机采样器Random、REINFORCE算法、双层优化Bi-level）进行了对比分析.在WN18RR和FB15k237数据集上的实验结果如图6所示.首先，与无学习权重的随机采样器（Random）相比，其他三种基于学习的分布均表现出更优的性能，证明了动态抽样分布的有效性.其次，由于梯度估计量存在较大的方差，REINFORCE算法的学习曲线呈现出明显的震荡与不稳定.相比之下，采用的ST估计器不仅收敛最为平稳，且最终在两个数据集上取得的MRR与Hit@10指标均显著优于Bi-level等其他策略，展现出了最佳的综合性能.

3.4 采样实体K的影响

深入分析了采样实体数量K对模型性能的影响.参数K直接限制了传播路径中每步所涉及的实体规模（详见2.3节）.为了量化其影响，设置了不同的K值，并评估了其在不同传播深度L下的性能变化，实验结果如图7所示.

由图可知，当K值极小时，由于目标实体的覆盖率过低，早期传播结果甚至劣于无采样基线模型（RED-GNN）.随着K值的增大，模型性能显著提升.然而，当K持续增大且传播深度L增加时，性能收益呈现边际递减效应，甚至出现性能回落.这表明过大的K和L会引入大量与查询无关的噪声实体和关系信息.此外，盲目增大K值会导致模型训练的内存开销与时间成本急剧上升.因此，在实际应用中，为平衡推理精度与计算效率，参数K需选取适中值.

3.5 传播策略的对比

对渐进式传播策略以及改进的渐进式传播策略进行了传播方法的可视化实验.针对两个不同查询q_{\mathrm{1}}=(e_q,r_{\mathrm{1}},?)和q_{\mathrm{2}}=(e_q,r_{\mathrm{2}},?)，这两个查询在FB15k237数据集上具有相同的查询实体e_q但查询关系不同(r_{\mathrm{1}}\ne r_{\mathrm{2}}).如图8所示，改进的渐进式传播策略学习到的q_{\mathrm{1}}和q_{\mathrm{2}}的两条传播路径存在明显差异，而非改进的路径则完全相同.此外，改进的渐进式传播策略路径包含的实体数量明显更少.该实验进一步证明了改进的渐进式传播策略能够学习依赖于查询的传播路径.

3.6 掩码比例的敏感性分析

为探究掩码比例（p_{mask}）对对比学习重构效果及最终推理性能的影响，在WN18RR和NELL-995数据集上进行了参数敏感性分析，评估区间设为｛10%， 20%， 30%， 40%， 50%｝.如图9所示，当p_{mask}\in [\mathrm{20}\mathrm{\%},\mathrm{30}\mathrm{\%}]时，模型在两个数据集上的MRR指标均达到最优.当掩码比例过低（）时，图结构破坏较小，重构任务偏易，模型难以充分学习深层的高阶拓扑语义；当比例过高（p_{mask}>\mathrm{40}\mathrm{\%}）时，子图中大量关键语义连边被遮蔽，上下文断裂导致自监督学习引入的噪声大于收益，性能显著回落.基于此分析，实验统一将p_{mask}的默认值设定为20%.

3.7 实验分析

为全面评估CASS知识图谱推理框架的有效性，从四大维度开展实验分析：一是整体性能上，CASS在WN18RR、NELL-995、YAGO3-10三个基准数据集的直推式推理任务中，性能显著优于现有SOTA模型，其中WN18RR数据集上MRR提升1.8个百分点，掩码图对比学习范式保障了稀疏场景下的推理鲁棒性；二是推理效率上，所提语义相关采样策略可自适应过滤冗余实体，相较全传播与规则采样方法，实现了计算效率与推理精度的最优平衡；三是长程推理能力上，改进的传播机制与淘汰策略有效缓解过平滑问题，可稳定捕捉实体间长距离逻辑依赖，适配多跳复杂查询；四是组件稳定性上，相关实验验证了采样器设计与自适应采样理念的合理性与稳定性.

综上，CASS通过路径采样与对比学习的联合优化，有效解决了大规模知识图谱推理的核心痛点，综合性能优越.

4 结论

针对基于图神经网络的知识图谱推理中长期存在的实体参与规模激增、深层语义关联难以捕捉以及关系数据稀疏等挑战，提出了一种全新的自适应知识推理框架CASS.该框架创新性地设计了面向连接的语义相关采样策略，通过改进的渐进式传播机制结合动态抽样分布与迭代淘汰策略，在严格控制线性计算复杂度的前提下，实现了对冗余实体的精准过滤与高置信度潜在目标的有效保留.此外，引入了基于掩码图的自监督对比学习范式，显著增强了模型在极端稀疏数据场景下的拓扑结构感知能力与推理鲁棒性.

在WN18RR、NELL-995和YAGO3-10三个主流基准数据集上的直推式推理实验表明，CASS优于NBFNet、RED-GNN等当前先进的基线模型，在应对长路径推理与稀疏图谱时展现出显著的性能优势.未来的研究将重点探索该自适应采样策略在超大规模动态演化知识图谱中的应用潜力，尝试将其核心机制迁移至更具挑战性的归纳式推理场景，并致力于融合多模态知识以进一步拓宽模型复杂逻辑推理的语义理解边界.

参考文献

[1] Pan S R， Luo L H， Wang Y F， et al. Unifying large language models and knowledge graphs： A roadmap［J］. IEEE Transactions on Knowledge and Data Engineering， 2024， 36（7）： 3580-3599.

[2] Sun Z Q， Deng Z H， Nie J Y， et al. RotatE： Knowledge graph embedding by relational rotation in complex space［PP/OL］. arXiv （2019-02-26）［2026-03-01］.

[3] Schlichtkrull M， Kipf T N， Bloem P， et al. Modeling relational data with graph convolutional networks［C］//European semantic web conference. Cham： Springer International Publishing， 2018： 593-607.

[4] Ye Z， Kumar Y J， Sing G O， et al. A comprehensive survey of graph neural networks for knowledge graphs［J］. IEEE Access， 2022， 10： 75729-75741.

[5] Vashishth S， Sanyal S， Nitin V， et al. Composition-based multi-relational graph convolutional networks［PP/OL］. V2. arXiv （2020-01-18）［2026-03-01］.

[6] Oono K， Suzuki T. Graph neural networks exponentially lose expressive power for node classification［PP/OL］. V5. arXiv （2021-01-06） ［2026-03-01］.

[7] Zhu Z， Zhang Z， Xhonneux L P， et al. Neural bellman-ford networks： A general graph neural network framework for link prediction［J］. Advances in neural information processing systems， 2021， 34： 29476-29490.

[8] Zhang Y Q， Yao Q M. Knowledge graph reasoning with relational digraph［C］//Proceedings of the ACM Web Conference 2022. Virtual Event， Lyon France. ACM， 2022： 912-924.

[9] Bordes A， Usunier N， Garcia-Durán A， et al. Translating embeddings for modeling multi-relational data［C］//Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2. ACM， 2013： 2787-2795.

[10] Yang B S， Yih W T， He X D， et al. Embedding entities and relations for learning and inference in knowledge bases［PP/OL］. V4. arXiv （2015-08-29）［ 2026-03-01］.

[11] Xiong W H， Hoang T， Wang W Y. DeepPath： A reinforcement learning method for knowledge graph reasoning［C］//Proceedings of the 2017 Conference on Empirical Methods in NaturalLanguage Processing. Copenhagen， Denmark. ACL， 2017： 564-573.

[12] Hamilton W L， Ying R， Leskovec J. Inductive representation learning on large graphs［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. ACM， 2017： 1025-1035.

[13] Wang X， Ji H Y， Shi C， et al. Heterogeneous graph attention network［C］//The World Wide Web Conference. ACM， 2019： 2022-2032.

[14] Wang Z， Ma S X， Wang K W， et al. Rule-guided graph neural networks for explainable knowledge graph reasoning［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2025， 39（12）： 12784-12791.

[15] Wilt C， Thayer J， Ruml W. A comparison of greedy search algorithms［J］. Proceedings of the International Symposium on Combinatorial Search， 2010， 1（1）： 129-136.

[16] Kool W， Van Hoof H， Welling M. Stochastic beams and where to find them： The gumbel-top-k trick for sampling sequences without replacement［C］//International conference on machine learning. PMLR， 2019： 3499-3508.

[17] Xie S M， Ermon S. Reparameterizable subset sampling via continuous relaxations［C］//Proceedings of the Twenty-Eighth International Joint Conference on Artificial Intelligence. August 10-16， 2019. Macao， China. International Joint Conferences on Artificial Intelligence Organization， 2019： 3919-3925.

[18] Jang E， Gu S X， Poole B. Categorical reparameterization with gumbel-softmax［PP/OL］. V5. arXiv （2017-08-05） ［ 2026-03-01］.

[19] Bengio Y， Le´onard Nicholas， Courville A.Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation［EB/OL］.Computer Science， 2013.DOI：10.48550/arXiv.1305.2982 .

[20] Kingma D， Ba J. Adam： A Method for Stochastic Optimization［EB/OL］.Computer Science， 2014.DOI：10.48550/arXiv.1412.6980 .

[21] 殷铭， 王巍和达， 郭伟超， 等. 基于提示学习的民族地区安全治理中舆情检测技术研究［J］. 西南民族大学学报（自然科学版）， 2025， 51（6）： 612-623.

基金资助

国家自然科学基金(61105061)

成都市哲学社会科学规划资助(2025AS016)

西南民族大学中央高校基本科研业务费专项资金资助(ZYN2025109)