基于上下文时序关联的时序知识图谱嵌入方法

Embedding of Temporal Knowledge Graph Based on Contextual Temporal Association

摘要

时序知识图谱的嵌入表示是知识工程领域的研究热点之一，现有的时序嵌入模型大多通过不同的方式将时间信息融入静态嵌入模型中，以此学习实体和关系的时间演化过程，但是难以挖掘和学习细粒度的时序关联信息。因此本文在之前研究的基础上，提出一种在复数空间下上下文时序关联的时序图谱嵌入表示模型，将细粒度时序信息细分为知识开始时间的相关性和知识时间间隔的一致性。设计了一种上下文感知时序关联信息挖掘方法，筛选语义相似的上下文四元组，挖掘训练四元组中包含的时间信息与上下文四元组时序关联信息，增强嵌入模型对于细粒度时序信息的学习。将本文方法与已有的方法在两个公开的时序知识图谱数据集YAGO11k和Wikidata12k上进行了实验。实验结果表明，对于MRR（mean reciprocal rank）和Hits@k（k=1，3，10）指标，本文方法与已有方法相比都有一定的提升。

Abstract

The embedding representation of temporal knowledge graphs is one of the hotspots in the field of knowledge engineering. Existing temporal embedding models mostly integrate time information into some static embedding models in different ways to learn the temporal evolution process of entities and relationships. However, it is difficult to mine and learn some fine⁃grained temporal correlation information. Therefore, based on previous research, we propose a temporal graph embedding representation model of contextual temporal correlation in the complex space, which subdivides fine⁃grained temporal information into the relevance of knowledge start time and the consistency of knowledge time intervals. A context⁃aware temporal correlation information mining method is designed to select semantically similar contextual quadruples, mine the temporal correlation information contained in the training quadruples and contextual quadruples, and enhance the embedding model's learning of fine⁃grained temporal information. The proposed method is experimented with two public temporal knowledge graph datasets, YAGO11k and Wikidata12k, and the results show that compared with existing methods, our method has certain improvements in MRR (mean reciprocal rank) and Hits@k (k=1,3,10) indicators.

Graphical abstract

关键词

时序知识图谱 / 时序关联 / 上下文感知 / 知识表示学习 / 链接预测

Key words

temporal knowledge graph / temporal association / context awareness / knowledge representation learning / link prediction

0　 引 言

知识图谱以三元组的形式存储了大量的现实世界中的知识，在许多下游任务中起到非常重要的支撑作用，如智能问答系统^[1]、推荐系统^[2]和自然语言理解^[3]等。但随着技术的发展，知识图谱的规模日益庞大，常见的如Freebase^[4]和Dbpedia^[5]等开放知识图谱通常包含数百万个实体，以及上亿条知识三元组。这给图谱中知识的表示学习带来了极大的挑战。

知识图谱中的嵌入表示学习旨在将图谱中离散的符号如实体和关系，映射至一个低维连续的向量空间，并通过设计得分函数使得低维的嵌入向量能够直接体现其语义信息，如典型的基于翻译的TransE模型^[6]和 RotatE^[7]模型等。传统的嵌入模型尽管在静态知识图谱上表现得很好，但是都忽略了时间信息，难以对涉及时间的关系（如study in，visits等）进行嵌入学习。

目前一些时序知识图谱如YAGO3^[8]、Wikidata^[9]等存储了数十亿的带有时间信息的知识四元组。如在YAGO11k^[10]中四元组<Brian Schmidt,graduated From,University of Arizona,[1989,1993]>表示在1989年至1993年，布莱恩·施密特从亚利桑那大学毕业，这个现实世界中的知识仅在[1989—1993]时间间隔内有效。相比于静态知识图谱，时序知识图谱表现出更复杂的时间动态。对于同一个头实体和关系，在不同的时间点可能有多个尾实体使事实成立，其关系与时间相关联。因此如何将知识的表示学习中带有时间信息也是亟须解决的问题之一。许多研究者在TransE模型的基础上引入时间信息，以完成时序知识图谱的嵌入表示，如TTransE^[11]、HyTE^[10]、ATiSE^[12]、TeRo^[13]等模型。

在时序知识图谱中，对于语义信息相似的事实，其包含的时间信息往往存在着某种细粒度的关联，并且语义越接近，其带有的时序信息关联性也越高。如在YAGO11k时序知识图谱中，四元组<Brian Schmidt,graduated From, University of Arizona, [1989,1993]>和四元组<Studs Terkel, gra⁃duated From, University of Chicago,[1932,1936]>静态知识的语义信息十分相似，都是描述某个人毕业于某个大学，并且知识的持续时间都为4年，关联性较高。而现有的嵌入模型大多都是基于负采样的方式进行训练，最终使正样本和负样本的得分函数值的差距尽可能地大，以此区分正负样本。因此将语义相似事实的时序关联信息与负采样损失函数相结合，不仅能助力于时序嵌入模型学习和挖掘细粒度的时序信息，同时还能够助力于区分正负样本。

基于此，本文提出一种在复数空间下上下文时序关联的时序图谱嵌入表示模型，在TeRo模型^[13]的基础上，引入了上下文感知的时序关联信息学习方法，使模型具备挖掘细粒度时序信息的能力，同时还能促进模型的训练。

1　 相关工作

知识表示学习是知识图谱应用中较为关键的问题之一，引起了许多学者的广泛关注。传统的知识嵌入表示模型主要可以分为两类：基于翻译的嵌入模型和基于语义匹配的嵌入模型。基于翻译的嵌入模型将关系视为从头实体到尾实体的翻译，期望头实体的嵌入向量与关系嵌入向量之和逼近于尾实体的嵌入向量，以此表示实体和关系的语义信息。如TransE^[6]模型的核心思想是将头实体和关系的嵌入向量之和视为尾实体嵌入向量的翻译，但是TransE模型很难学习到一对多、多对多等复杂关系，其扩展模型^[14~16]在一定程度上缓解了这些问题，然而面对自反关系、非对称关系等特殊的关系模式时，这些模型仍然无法表示学习。而后，Sun等^[7]提出了RotatE模型，引入复数空间并将每个关系定义为从头实体和尾实体的旋转，在一定程度上解决了复杂的关系模式，但对于自反关系，即实体通过关系与自身相关，基于翻译的嵌入模型都无法进行嵌入学习表示，因为在学习中会导致自反关系的嵌入向量为0^[13]。姚思雨等^[17]提出了一种规则引导的知识图谱联合嵌入学习模型，基于图卷积网络将上下文信息与文本信息融合到实体与关系的嵌入表示中。

基于语义匹配的嵌入模型主要通过语义匹配衡量三元组的合理性，通常使用关系矩阵乘法将头实体映射至尾实体，通过嵌入表示匹配实体和关系中潜在的语义信息。常见的包括DistMult^[18]、ComplEx^[19]、QuatE^[20]和GeomE^[21]等模型。DistMult将每个关系表示为一个矩阵并将其限制为对角矩阵，从而减少了参数的数量，但是难以学习非对称关系。而ComplEx引入复数空间，将图谱中实体和关系表示为复向量，因此可以很好地处理包含非对称关系的事实。QuatE模型是ComplEx模型在超复数空间的拓展，其实体和关系的嵌入表示都包含一个实部向量和三个虚部向量，提供了更好空间解释。GeomE模型引入了一种新颖的基于几何代数的知识图谱嵌入框架，利用多向量表示和几何乘积来对实体和关系进行建模，能够学习静态知识图谱中的各种关系模型，并具有良好的泛化性。虽然这些模型在静态知识图谱上取得不了不错的效果，但是由于缺乏对时间信息的学习，导致难以应用于时序知识图谱。

随着时序知识图谱的快速发展，如何对带有时间信息的知识进行嵌入表示学习迅速成为研究热点之一。最为典型的是基于TransE模型的时序扩展模型，通过不同的方式将时间信息融入基于翻译的得分函数中，以此学习时间信息，包括TTransE^[11]、HyTE^[10]、Duration-HyTE^[22]和ATiSE^[12]等模型。其中，HyTE将实体和关系映射到特定于时间的超平面中，并将超平面的法向量作为训练参数。Duration-HyTE在HyTE的基础上将关系分为持续型关系和瞬时型关系，并对知识的有效时间进行建模，提出了一种知识有效可信度思想。ATiSE使用加性时间序列分解将时间信息合并到实体和关系的表示中，并考虑到实体和关系表示随时间演变过程中的时间不确定性，将时序知识图谱的嵌入表示映射到多维高斯分布的空间中。另外，有些研究者在DistMult的基础上进行时序扩展，提出了TDistMult^[23]和TA-DistMult^[24]等模型。文献[25]的DE-SimplE通过一种历时实体嵌入函数来学习时间信息，该函数能够提供任何时间点的实体特征，并利用与SimplE相同的得分函数对四元组的合理性进行评价。TNT-Complex^[26]使用正则化组件对静态模型ComplEx进行了扩展，将时态知识图谱表示成一个4阶张量，其中包括一个时态模式向量。TeRo^[13]模型在复数空间下将实体嵌入的时间演化定义为从开始时间到当前时间的旋转，对于涉及到时间间隔的知识，将每个关系表示为一对对偶的复数嵌入，分别用于处理知识的开始和结束，具有随时间的推移学习和推理各种关系模式的能力。

2　 本文模型

2.1　问题定义

在本文中，时序知识图谱被表示为四元组的集合G=\left\{\left(h,r,t,\left[{\tau }_{\mathrm{s}},{\tau }_{\mathrm{e}}\right]\right)\mid h,t\in E,r\in R,{\tau }_{\mathrm{s}},{\tau }_{\mathrm{e}}\in T\right\}，其中,E表示实体集合，R表示关系集合，T表示时间片。每个四元组表示静态事实三元组(h,r,t)仅在开始时间{\tau }_{\mathrm{s}}至结束时间{\tau }_{\mathrm{e}}内是有效的。

本文通过链接预测任务评估嵌入模型所学习到的知识表示，主要包括实体链接预测和关系连接预测。其中实体链接预测包括头实体预测(?,r,t)和尾实体预测(h,r,?)。

2.2　模型整体架构

本文提出了如图1所示的时序图谱嵌入模型架构。在模型中，首先将实体的时间演化过程视为复数空间中从开始时间到当前时间的旋转，将时序图谱中的四元组映射至复数空间，其次在模型中设计了一种上下文感知时序关联信息挖掘方法，包括上下文筛选和时序关联信息挖掘，主要用于捕捉如时间顺序和时间间隔等细粒度的时间信息。然后，分别使用多层感知器和注意力层、全连接层对开始时间相关性和持续时间一致性进行建模。最后，设计用于衡量四元组可信度的得分函数，并使用负采样损失函数对模型进行优化训练。

2.3　复数空间旋转的知识表示学习

根据文献[13]，本文将时序图谱中的实体、关系映射至复数向量空间中，即h,r,t\in {\mathbb{C}}^d。每个嵌入向量都有其实部向量和虚部向量。为了解决静态嵌入模型的局限性，本文在嵌入模型训练中加入了时间演化过程，并将实体嵌入的时间演化定义为复数空间中的从开始时间到当前时间旋转。即，在未考虑时间因素的情况下头/尾实体分别对应h,t的向量，考虑时间因素后需要将其映射成复数空间下的{\mathit{h}}_t,{\mathit{t}}_t\mathrm{向量}。映射函数如下^[13]：

{\mathit{h}}_t=h\circ \tau ,{\mathit{t}}_t=t\circ \tau(1)

其中\circ表示厄米点积（Hermitian dot product），将每个时间步{\tau }_i\in {\mathbb{C}}^d的模约束为1，即|{\tau }_i|=\mathrm{1}。由欧拉恒等式{\mathrm{e}}^{i\theta }=\mathrm{c}\mathrm{o}\mathrm{s}\theta +\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{n}\theta，映射可以看作围绕复平面原点逆时针旋转{\theta }_{\tau ,i}，并且仅影响复数向量空间中实体嵌入的相位。

2.4　上下文感知

在时序知识图谱中，语义相似的知识开始和结束的时间存在着一定的联系。因此在模型的训练中，本文设计了一种上下文感知的时序关联信息挖掘方法，在复数空间旋转的基础上，引入上下文四元组时序关联信息挖掘，以此来增强模型对于细粒度时序关系的学习，如时间顺序、持续时间等。通过分析现有的大型时序知识图谱，本文认为对于四元组(h,r,t,[{\tau }_s,{\tau }_e])及其上下文四元组集合c，主要存在着两种时序关联信息：开始时间相关性和持续时间一致性。

对于正样本及其上下文四元组，它们之间的开始相关性和持续时间一致性较强。而对于负样本（随机替换头尾实体，时序不变）和基于负样本筛选出来的上下文四元组则与之相反。因此对于模型的训练能够起到促进作用。

基于上述思路，本文对上下文四元组进行了筛选。对于四元组{\xi }_i=(h_i,r_i,t_i,[{\tau }_s^i,{\tau }_e^i])，首先通过级联操作，得到不带时间信息的复数空间下静态知识三元组(h_i,r_i,t_i)的语义信息，然后基于语义的余弦相似度，筛选出当前四元组的top k个上下文四元组。具体如下所示：

{\mathit{\varphi }}_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}=h_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}\oplus r_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}\oplus t_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}(2)

{{\mathit{\varphi }}_i}^{\mathrm{i}\mathrm{m}\mathrm{g}}={h_i}^{\mathrm{i}\mathrm{m}\mathrm{g}}\oplus {r_i}^{\mathrm{i}\mathrm{m}\mathrm{g}}\oplus {t_i}^{\mathrm{i}\mathrm{m}\mathrm{g}}(3)

c_i=\mathrm{t}\mathrm{o}\mathrm{p}k\{\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{\varphi }}_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}},{\mathit{\varphi }}_j^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}})+\mathrm{c}\mathrm{o}\mathrm{s}({\mathit{\varphi }}_i^{\mathrm{i}\mathrm{m}\mathrm{g}},{\mathit{\varphi }}_j^{\mathrm{i}\mathrm{m}\mathrm{g}}\left.)\right|j\in G\}(4)

其中，\oplus表示级联操作，{\mathit{\varphi }}_i^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}},{\mathit{\varphi }}_i^{\mathrm{i}\mathrm{m}\mathrm{g}}分别表示当前四元组{\xi }_i的静态知识在复数空间下实部和虚部的语义向量；{\mathit{\varphi }}_j^{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}},{\mathit{\varphi }}_j^{\mathrm{i}\mathrm{m}\mathrm{g}}表示第j个候选上下文四元组的静态知识的实部和虚部的语义向量。本文基于语义相似度，为每个正负样本四元组筛选出语义最为相似的k个上下文四元组，k通过参数敏感性分析实验确定。

2.5　上下文时序关联信息挖掘

四元组及其上下文四元组的时序关联性主要包括开始时间相关性和持续时间一致性两个方面。前者捕捉细粒度的时间顺序等信息，后者捕捉时间间隔信息。这些细粒度的时序信息对于模型在学习时间演化的嵌入表示中十分有效。

1） 开始时间相关性建模。时间相关性主要体现在多个四元组之间时序的连续程度，包括顺序时序、重叠时序等。如从出生到毕业，再到工作，其知识的时间信息是顺序的。语义越相似的四元组其时间的相关性越强，因此基于知识三元组的开始时间{\tau }_s，利用注意力机制，提取上下文四元组c_i与当前四元组{\xi }_i的时间信息的相关性。通过正样本Q^{+}提取的上下文四元组时间信息的相关性较大，而由于负样本随机替换了头尾实体，时间信息还是与正样本一致，从而有效降低了负样本Q^{-}筛选出来的上下文四元组与负样本的时间信息关联性，即正样本和负样本差别变大，有利于模型的训练。具体如下所示：

{\alpha }_{i,j}=W_{a\mathrm{2}}\mathrm{R}\mathrm{e}\mathrm{l}\mathrm{u}\left(W_{a\mathrm{1}}\left[{\tau }_{\mathrm{s}}^i;{\tau }_{\mathrm{s}}^j\right]\right)(5)

A_i={\displaystyle \sum _{j=\mathrm{1}}^k}{\alpha }_{i,j}{\tau }_{\mathrm{s}}^j(6)

s_c=\rho \left(W{A}_i+b\right)(7)

其中{\alpha }_{i,j}表示注意力系数，{\tau }_{\mathrm{s}}^i,{\tau }_{\mathrm{s}}^j分别表示当前四元组{\xi }_i和上下文四元组c_i的开始时间信息，W_{a\mathrm{1}}和W_{a\mathrm{2}}表示多层感知器中的训练权重；A_i表示通过注意力机制得到的{\xi }_i和c_i之间的时间相关性；s_c表示通过全连接层得到的更深层次的相关性特征得分；\rho表示sigmoid激活函数。

2） 持续时间一致性建模。在时序知识图谱中，知识的持续时间由静态三元组中实体和关系决定。和时间相关性建模类似，负采样使得负样本及其上下文的持续时间相关性较低，这对于嵌入模型的训练起到较大的帮助，能够帮助模型快速的区分正负样本。为了实现这一点，本文首先计算四元组的知识持续时间信息，然后将当前四元组{\xi }_i及其上下文四元组c_i的持续时间编码为一个真值矩阵，然后通过卷积神经网络和全连接层得到持续时间一致性得分。具体如下所示：

{\tau }_d^i={\tau }_{\mathrm{e}}^i-{\tau }_{\mathrm{s}}^i(8)

{\mathit{M}}_i={\tau }_d^i\oplus {\tau }_d^{\mathrm{1}}\oplus \dots \oplus {\tau }_d^k(9)

s_d=\rho \left(W_{\mathrm{1}}\mathrm{R}\mathrm{e}\mathrm{l}\mathrm{u}\left({\mathit{M}}_i*\mathit{\omega }+\mathit{b}\right)\right)(10)

其中，{\tau }_d^i表示四元组的持续时间，{\tau }_{\mathrm{e}}^i和{\tau }_{\mathrm{s}}^i分别表示四元组的结束时间和开始时间；{\mathit{M}}_i\in {\mathbb{C}}^{(\mathrm{1}+k)\times d}为编码后的持续时间真值矩阵，由当前四元组的持续时间{\tau }_d^i与k个上下文四元组的持续时间{\tau }_d^k级联而来，\oplus表示级联操作，*表示卷积操作，\mathit{\omega }代表卷积核，\mathit{b}表示卷积操作中的偏置。最后通过一层全连接网络提取更深层次的持续时间特征得分s_d，W_{\mathrm{1}}表示全连接层中可训练参数。

本文将开始时间相关性得分s_c和持续时间一致性得分s_d之和s_{\tau }作为四元组及其上下文四元组时序关联性的衡量标准，如下式：

s_{\tau }=s_c+s_d(12)

2.6　模型训练

TransE模型将头实体向量和关系向量之和看作尾实体向量的翻译，并且认为当h+r越接近t的时候，相对应的元组越正确，其得分函数如下所示：

f\left(h,r,t\right)={‖h+r-t‖}_{\frac{l\mathrm{1}}{l\mathrm{2}}}^{\mathrm{2}}(12)

本文在TransE和文献[13]的基础上，设计了一种在复数空间下上下文感知的得分函数，将时间演化的头实体嵌入向量{\mathit{h}}_t和关系嵌入向量之和视为时间演化的尾实体共轭嵌入向量\overline{{\mathit{t}}_t}的翻译，并引入当前四元组的时序关联性得分。

对于在某个时间间隔内有效的知识，存在开始和结束时间，本文将关系集合R扩展为对偶关系集合R_{\mathrm{s}}和R_{\mathrm{e}}，分别用于处理关系的开始和结束。具体如下所示：

f\left(h,r,t,\left[{\tau }_{\mathrm{s}},{\tau }_{\mathrm{e}}\right]\right)=\frac{\mathrm{1}}{\mathrm{2}}\left(\left(h_{t,\mathrm{s}}+r_{\mathrm{s}}-\overline{t_{t,\mathrm{s}}}\right)+\left(h_{t,\mathrm{e}}+r_{\mathrm{e}}-\overline{t_{t,\mathrm{e}}}\right)\right)(13)

其中，r_{\mathrm{s}}\in R_{\mathrm{s}},r_{\mathrm{e}}\in R_{\mathrm{e}}，h_{t,\mathrm{s}}和h_{t,\mathrm{e}}分别表示头实体嵌入向量特定于开始时间{\tau }_{\mathrm{s}}和结束时间{\tau }_{\mathrm{e}}的复数空间下的旋转。\overline{t_{t,\mathrm{s}}}和\overline{t_{t,\mathrm{e}}}表示复数空间下时间演化感知的尾实体嵌入的共轭表示，用于处理自反关系。对于缺少开始时间或者结束时间的四元组，如(h,r,t,[{\tau }_{\mathrm{s}},-])和(h,r,t,[-,{\tau }_{\mathrm{e}}])，该事实的得分为已知时间点的四元组得分。以缺少结束时间的四元组为例，其得分函数如下所示：

f\left(h,r,t,\left[{\tau }_{\mathrm{s}},-\right]\right)=\left(h_{t,\mathrm{s}}+r_{\mathrm{s}}-\overline{t_{t,\mathrm{s}}}\right)(14)

本文采用的基于负采样的损失函数^[7]，在许多基于翻译的嵌入模型中已经被证实十分有效，其表达式如下：

L=-\mathrm{l}\mathrm{o}\mathrm{g}\left[\rho \left(\gamma -f\left({\xi }_i\right)\right)+s_{\tau ,i}\right]-{\displaystyle \sum _{j=\mathrm{1}}^n} \frac{\mathrm{1}}{n}\mathrm{l}\mathrm{o}\mathrm{g}\left[\rho \left(f\left({\xi }_j^{\mathrm{\text{'}}}\right)-\gamma \right)-s_{\tau ,j}^{\mathrm{\text{'}}}\right](15)

其中，{\xi }_i\in Q^{+}是训练正样本中一个四元组，{\xi }_j^{\text{'}}\in Q^{-}表示训练负样本中第j个负采样四元组。负样本是通过随机替换正样本四元组中头实体或者尾实体生成的，如(h^{\text{'}},r,t,[{\tau }_{\mathrm{s}},{\tau }_{\mathrm{e}}])或(h,r,t^{\text{'}},[{\tau }_{\mathrm{s}},{\tau }_{\mathrm{e}}])，这样会让其静态知识的语义信息发生较大的改变，但时间信息与正样本相同。因此通过负样本语义信息筛选出的上下文的时间信息与负样本的时间信息相似性较低，有助于模型区分正负样本，提高模型的表示能力。n表示每个正样本负采样的数量，通过参数敏感性分析确定。

3　 实 验

3.1　数据集

本文的所有实验都在两个大型时序知识图谱YAGO11k^[10]和Wikidata12k^[10]上完成，其分别是YAGO3^[8]和Wikidata^[9]数据集中包含时间注释信息的子集。数据集的统计数据如表1所示。

3.2　对比模型和评价指标

为了验证本文所提出模型的有效性，在链接预测任务下，将所提出模型的实验结果与近几年最佳的嵌入模型进行比较。主要为静态嵌入模型和时序嵌入模型，前者包括DistMult^[18]、RotatE^[7]，后者包括TTransE^[11]、DE-SimplE^[25]、HyTE^[10]、ATiSE^[12]、TeRo^[13]、Duration-HyTE^[22]、TNT-Complex^[26]。每个对比模型的结果都是从相对应的文章或开源代码复现得到。

在链接预测任务中，本文采用广泛使用的MRR（mean reciprocal rank）和Hits@k作为评价指标。其中MRR为评价模型预测结果平均排名的指标，Hits@k是指模型预测结果在前k位的比例，在实验中采用Hits@1，Hits@3和Hits@10。对于嵌入模型来说，这些指标越高说明模型的性能越好。

3.3　实验设置

在两个数据集中，模型的嵌入表示维度均设置为500维。在YAGO11k数据集中，批大小（batch size）为256，学习率为0.1；在Wikidata12k数据集中，批大小为512，学习率为0.3。模型在提取持续一致性的过程中，使用的卷积神经网络中卷积核大小设置为3×5。对于模型中的超参，通过参数敏感性分析确定，详细见3.6节。在YAGO11k数据集中，设置损失函数中的超参数\gamma为50，负样本数量n=\mathrm{10}，上下文数量为5。在Wikidata12k数据集中，设置\gamma为20，负样本数量n=\mathrm{10}，上下文数量为5。

3.4　对比实验结果分析

在对比实验中，主要通过实体链接预测和关系链接预测(h,?,t)来验证模型的有效性。其中实体链接预测包括头实体链接预测(?,r,t)和尾实体链接(h,r,?)预测，并将两者实验结果的均值作为实体链接预测的结果。

1） 实体链接预测。实验结果如表2所示。通过对比实验，展示出在两个数据集中本文所提出模型均有竞争力，验证了所提出模型的有效性。在YAGO11k数据集中，本文所提出模型的实验结果均等于或超过基准模型中最好的实验结果；在Wikidata12k数据集中，Hits@k(k=1,3,10)均等于或大于与对比模型。对比TeRo模型，本文在两个数据集上Hits@10指标分别超过1.1%和0.7%。

2） 关系链接预测。对于关系链接预测实验，仅采用Hits@1作为实验的评价指标，实验结果如表3所示。通过表3可以观察到本文所提出模型对于关系链接预测任务在YAGO11k和Wikidata12k两个数据集中的实验结果均高于现有的模型。

3.5　消融实验

本节将通过在模型中移除相应的组件进行消融实验，以此验证本文所提出模型中各个组件的有效性。

对于所提出的上下文筛选方法，将通过移除语义相似度计算筛选，而进行随机选择上下文四元组作为对照模型，记为-RC(Random Contexts)，以此验证所提出的上下文筛选方法的有效性。对于所提出的时序关联信息挖掘方法，分别移除模型中开始时间相关性得分-S_c、持续时间一致性得分-S_d和时序关联性得分-TC（即全部移除）为对照模型，以此验证时序关联信息挖掘中各个组件的有效性。消融实验结果如表4所示，可以观察到对照模型在两个数据集上的性能都不如完整模型，移除单个组件后模型的性能有所下降，说明本文所提出模型各个组件的有效性。

为了研究模型的各个组件对计算复杂度的影响，本文在相同参数配置的情况下，将完整模型与消融模型的训练推理时间进行对比分析。实验结果如表5所示，其中训练耗时为各个模型每50个迭代（Epochs）的平均训练耗时，推理耗时为各模型在进行实体链接预测任务时的时间消耗。实验结果表明，模型所引入的各个组件在一定程度上会提高模型的计算复杂度，增加模型在训练时的时间消耗，但是在可接受的范围内。并且在推理阶段，所提出的计算方法并不会导致时间消耗增加，不会增加模型应用的难度。从实验结果中还能发现，模型耗时增加的主要原因在于上下文的筛选过程，时序关联性的计算方法（如使用的卷积神经网络、全连接层）影响较小。

3.6　参数敏感性分析

为了确定模型中上下文四元组数量k，负采样数量n和超参\gamma的值，我们进行了参数敏感性分析实验，并通过模型在验证集上Hits@10指标的结果确定各个参数的值。在实验中发现，本文所提出模型和其他基准模型的参数在取极值时会出现训练不收敛或过拟合等问题，导致推理性能急剧下降，参数较小的变化对模型性能的影响也有限。基于此，参考现有的实验与结果，我们将模型中语义相似的上下文数量k限定为{2,5,8,10,15}，负采样数量n限定为{5,10,15,20,30}，损失函数中的参数\gamma限定为{10,20,30,40,50,60}。各个参数对模型性能的影响如图2所示。从图2（a）(b)可以看出，对于上下文数量和负采样数量，在两个数据集中都选取相同的值，分别为k=5和n=10，Hits@10达到最大值；从图2（c）可以看出，对于损失函数中的参数\gamma，在YAGO11k数据集上为50，Wikidata12k数据集上为20时，Hits@10达到最大值。

4　 结 语

本文提出一种复数空间内上下文时序关联的知识嵌入表示模型，将实体的时间演化过程视为复数空间下从开始时间到当前时间的旋转；将细粒度时序信息分为开始时间连续性和持续时间一致性，并设计了一种上下文知识时序关联特征的挖掘方法，以学习隐藏的细粒度时序信息。最后在两个广泛使用的基准时序知识图谱数据集上进行了实验，包括对比分析、消融实验和参数敏感性分析等，实验结果验证了所提出模型的有效性。在未来的工作中，计划进一步研究高效并准确的上下文事实的筛选方法，除了语义特征，还可以考虑当前事实的其他隐藏特征，如拓扑结构特征等。同时，时序知识图谱中缺失的时间信息会给知识的表示学习带来阻碍，如何在低质量的时序知识图谱中尽可能地学习到更多的时序特征也是值得研究的。

参考文献

[1] 孙亚伟， 程龚， 厉肖， 等. 基于图匹配网络的可解释知识图谱复杂问答方法［J］. 计算机研究与发展， 2021， 58（12）： 2673-2683. DOI： 10.7544/issn1000-1239.2021.20211004 .

[2] SUN Y W， CHENG G， LI X， et al. Graph matching network for interpretable complex question answering over knowledge graphs［J］. Journal of Computer Research and Development， 2021， 58（12）： 2673-2683. DOI： 10.7544/issn1000-1239.2021.20211004 （Ch ）.

[3] TAI C Y， HUANG L Y， HUANG C K， et al. User-centric path reasoning towards explainable recommendation［C］//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 879-889. DOI： 10.1145/3404835.3462847 .

[4] JI H Z， KE P， HUANG S H， et al. Language generation with multi-hop reasoning on commonsense knowledge graph［C］//Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing （EMNLP）. Stroudsburg： Association for Computational Linguistics， 2020： 725-736. DOI： 10.18653/v1/2020.emnlp-main.54 .

[5] BOLLACKER K， EVANS C， PARITOSH P， et al. Freebase： A collaboratively created graph database for structuring human knowledge［C］//Proceedings of the 2008 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2008： 1247-1250. DOI： 10.1145/1376616.1376746 .

[6] AUER S， BIZER C， KOBILAROV G， et al. DBpedia： A nucleus for a web of open data［M］//The Semantic Web. Berlin： Springer， 2007： 722-735. DOI： 10.1007/978-3-540-76298-0_52 .

[7] BORDES A， USUNIER N， GARCIA-DURAN A， et al. Translating embeddings for modeling multi-relational data［C］ //Proc of Advances in Neural Information Processing Systems. Cambridge： MIT Press， 2013： 2787-2795.

[8] SUN Z Q， DENG Z H， NIE J Y， et al. Rotate： Knowledge Graph Embedding by Relational Rotation in Complex Space［C/OL］.［2020-09-10］. DOI: 10.1109/iccc52777.2021.9580273 .

[9] MAHDISOLTANI F， BIEGA J， SUCHANEK F M. YAGO3： A knowledge base from multilingual wikipedias［C/OL］.［2022-11-11］.

[10] ERXLEBEN F， GÜNTHER M， KRÖTZSCH M， et al. Introducing Wikidata to the linked data web［M］//The Semantic Web — ISWC 2014. Cham： Springer International Publishing， 2014： 50-65. DOI： 10.1007/978-3-319-11964-9_4 .

[11] DASGUPTA S S， RAY S N， TALUKDAR P. HyTE： hyperplane-based temporally aware knowledge graph embedding［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2018： 2001-2011. DOI： 10.18653/v1/d18-1225 .

[12] LEBLAY J， CHEKOL M W. Deriving validity time in knowledge graph［C］//Proceedings of the The Web Conference 2018. New York： ACM， 2018： 1771-1776. DOI： 10.1145/3184558.3191639 .

[13] XU C J， NAYYERI M， ALKHOURY F， et al. Temporal knowledge graph embedding model based on additive time series decomposition［EB/OL］. 2019： arXiv： 1911.07893. DOI: 10.18653/v1/2020.coling-main.139 .

[14] XU C J， NAYYERI M， ALKHOURY F， et al. TeRo： A time-aware knowledge graph embedding via temporal rotation［C］//Proceedings of the 28th International Conference on Computational Linguistics. Stroudsburg： International Committee on Computational Linguistics， 2020： 1583-1593. DOI： 10.18653/v1/2020.coling-main.139 .

[15] WANG Z， ZHANG J W， FENG J L， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proceedings of the 28th AAAI Conference on Artificial Intelligence. New York： ACM， 2014： 1112-1119. DOI： 10.5555/2893873.2894046 .

[16] LIN Y K， LIU Z Y， SUN M S， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proceedings of the 29th AAAI Conference on Artificial Intelligence. New York： ACM， 2015： 2181-2187. DOI： 10.5555/2886521.2886624 .

[17] JI G L， HE S Z， XU L H， et al. Knowledge graph embedding via dynamic mapping matrix［C］//Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2015： 687-696. DOI： 10.3115/v1/p15-1067 .

[18] 姚思雨， 赵天哲， 王瑞杰， 等. 规则引导的知识图谱联合嵌入方法［J］. 计算机研究与发展， 2020， 57（12）： 2514-2522. DOI： 10.7544/issn1000-1239.2020.20200741 .

[19] YAO S Y， ZHAO T Z， WANG R J， et al. Rule-guided joint embedding learning of knowledge graphs［J］. Journal of Computer Research and Development， 2020， 57（12）： 2514-2522. DOI： 10.7544/issn1000-1239.2020.20200741（Ch ）.

[20] YANG B S， YIH W T， HE X D， et al. Embedding entities and relations for learning and inference in knowledge bases［C/OL］. ［2020-09-10］.

[21] TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction［C］//Proceedings of the 33rd International Conference on International Conference on Machine Learning. New York： ACM， 2016： 2071-2080. DOI： 10.5555/3045390.3045609 .

[22] ZHANG S， TAY Y， YAO L N， et al. Quaternion knowledge graph embeddings［C］// Proc of the 33rd International Conf on Neural Information Processing Systems. Cambridge： MIT Press， 2019： 2735-2745.

[23] XU C J， NAYYERI M， CHEN Y Y， et al. Knowledge graph embeddings in geometric algebras［C］//Proceedings of the 28th International Conference on Computational Linguistics. Stroudsburg： International Committee on Computational Linguistics， 2020： 530-544. DOI： 10.18653/v1/2020.coling-main.46 .

[24] 崔员宁， 李静， 沈力， 等. Duration-HyTE： 基于持续时间建模的时间感知知识表示学习方法［J］. 计算机研究与发展， 2020， 57（6）： 1239-1251. DOI： 10.7544/issn1000-1239.2020.20190253 .

[25] CUI Y N， LI J， SHEN L， et al. Duration-HyTE： A time-aware knowledge representation learning method based on duration modeling［J］. Journal of Computer Research and Development， 2020， 57（6）： 1239-1251. DOI： 10.7544/issn1000-1239.2020.20190253 （Ch ）.

[26] MA Y P， TRESP V， DAXBERGER E A. Embedding models for episodic knowledge graphs［J］. Journal of Web Semantics， 2019， 59： 100490. DOI： 10.1016/j.websem.2018.12.008 .

[27] GARCÍA-DURÁN A， DUMANČIĆ S， NIEPERT M. Learning sequence encoders for temporal knowledge graph completion［C］//Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： Association for Computational Linguistics， 2018： 4816-4821. DOI： 10.18653/v1/d18-1516 .

[28] GOEL R， KAZEMI S M， BRUBAKER M， et al. Diachronic embedding for temporal knowledge graph completion［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（4）： 3988-3995. DOI： 10.1609/aaai.v34i04.5815 .

[29] LACROIX T， OBOZINSKI G， USUNIER N. Tensor decompositions for temporal knowledge base completion［EB/OL］. 2020： arXiv： 2004.04926.

基金资助

国家自然科学基金(62176194)