建筑领域文档推荐模型设计与实现

Design and Implementation of Document Recommendation Model in Architecture Field

摘要

在面向建筑领域的文档推荐任务上，为了更好地理解用户偏好，提出了一种多任务学习方法KGRP（unifying knowledge graph learning and recommendation： for a better user preferences），它将知识图谱嵌入和文档推荐两个任务联合学习。我们为KGRP设计了一个交叉压缩单元，它能够显式地为文档特征和实体特征之间的高阶交互建模，补充文档和实体的信息，让两个任务共享更多的特征信息。在建筑领域的文档数据集上实验结果显示，KGRP算法推荐性能良好，能够根据用户的交互行为与偏好模型推荐合适的文档。

Abstract

On the task of document recommendation in the architectural field, in order to better understand user preferences, a multi task learning method, KGRP (unifying knowledge graph learning and recommendation: for a better user preferences) is proposed, which embeds the knowledge graph and document recommendation tasks for joint learning. We designed a cross compression unit for KGRP, which can explicitly model the high-level interaction between document features and entity features, supplement the information of documents and entities, and enable the two tasks to share more feature information. The experimental results on the document dataset in the architectural field show that the KGRP algorithm has good recommendation performance, and can recommend appropriate documents according to the user’s interaction behavior and preference model.

Graphical abstract

关键词

推荐系统 / 知识图谱 / 联合学习 / 可解释性

Key words

recommendation system / knowledge graph / joint learning / interpretability

0　 引 言

随着互联网飞速发展，互联网上的信息数量以指数级上升，产生了“信息过载”现象。因此，如何使用户迅速而准确地获取信息已经成为一大难点^[1，2]。常用的搜索引擎因为无法针对偏好为用户提供个性化的搜索服务，导致其推荐能力尚有不足。推荐系统^[3]的出现解决了这个问题。作为一种信息过滤系统，推荐系统具有以下两个最显著的特性：

• 主动化。从用户角度考虑，门户网站和搜索引擎都是解决信息过载的有效方式，但它们都需要用户提供明确需求。推荐系统不需要用户提供明确的需求，而是通过分析用户和物品的交互数据，对用户和物品进行建模，从而主动为用户推荐他们感兴趣的信息。

• 个性化。推荐系统能够更好地发掘长尾信息，即将冷门物品推荐给用户。热门物品通常代表绝大多数用户的兴趣，而冷门物品往往代表一小部分用户的个性化需求。

目前，推荐系统已应用于诸多领域，本文将探索建筑领域的文档推荐问题，即将用户最需要的文档信息推荐给他，让其第一时间得知关键信息，而不需要花费大量时间在系统中根据关键词查找。

传统的推荐系统只使用用户和物品的历史交互信息作为输入，数据天然具有稀疏性^[4]和冷启动问题^[5]。解决稀疏性和冷启动问题的一个常见思路是在推荐算法中引入一些辅助信息。辅助信息可以丰富对用户和物品的描述，增强推荐算法的挖掘能力，有效地弥补交互信息的稀疏或缺失。常见的辅助信息包括：社交网络、用户/物品属性、图像/视频/音频/文本等多媒体信息以及近期热门的知识图谱(knowledge graph,KG)^[6]。从文档推荐的案例^[7~9]来看，文档的知识图谱不仅揭示文档之间的各种关联性，而且可以用于解释用户选择文档的原因。

基于知识图谱的推荐算法主要分为两类：基于嵌入的方法(embedding-based methods)^[10，11]和基于路径的方法(path-based methods)^[12，13]。根据建筑领域的文档特点，本文提出了将知识图谱嵌入和推荐任务联合学习的模型KGRP(unifying knowledge graph learning and recommendation: for a better user preferences)。

1　 总体思路

一般来说，大型的建筑公司内部都存在海量文档^[14，15]，公司的员工需要快速地从大量文档中筛选自己需要的文档。对员工阅读历史文档原因的了解有助于快速筛选出员工需要的文档。如图1所示，在调查用户阅读文档的原因时，可以看到“文档类型”信息（文档的一个属性）起了决定性作用，它驱使用户阅读文档《幕墙工程（登机桥）监理实施细则》和《幕墙工程（航站楼）监理实施细则》。在推荐文档之前，我们并不知道用户想阅读什么文档，推荐这两个文档是因为这两个细则属于“监理细则”，用户在此前浏览过“监理细则”的文档。在没有知识图谱的情况下，使用传统的协同过滤算法也可以达到推荐的效果，但是推荐效果不是很理想，同时不具备可解释性。

在获取用户的选择原因问题上，KGRP模型将基于嵌入的思想运用到提取用户偏好上，刻画用户和文档之间存在多重隐含关系，KGRP模型利用知识图谱嵌入，有效地挖掘文档之间的关系。由于涉及文档推荐任务和知识图谱嵌入任务的信息是相互补充的，为了完成文档推荐和知识图谱嵌入，本文设计了一个交叉压缩单元使两个任务共享特征。交叉压缩单元显式地为文档和实体特征之间的高阶交互建模，并自动控制两个任务的交叉知识转移。通过交叉压缩单元，文档和实体的表示可以相互补充，帮助这两项任务避免拟合噪声和改进泛化。KGRP的整体框架如图2所示。

KGRP模型主要由三个主要组件组成：交叉压缩单元、知识图谱嵌入模块KGE和基于翻译的推荐模块TUP。1) 图2左侧粉色的C模块是交叉压缩单元，该模块对输入的数据用户-文档交互矩阵和文档的知识图谱进行处理，自动学习用户在检索文档的交互动作中文档和知识图谱中文档实体的高阶特征交互。经过交叉存储单元处理之后，再分别将数据输入TUP模块和KGE模块。2) KGE模块使用多层感知机从知识三元组的头部和关系中提取特征，并在分数函数f和真实尾部的监督下输出预测尾部的表示。3) TUP模块，其输入是经过交叉压缩单元处理后为用户和文档的特征。TUP模块模仿KGE的嵌入方式引导出用户偏好。因此，该模块的核心思想和KGE模块一致。

2　 KGRP模型

2.1　问题描述

在一个文档推荐场景中，有一组M个用户的数据U=\{{\mathit{u}}_{\mathrm{1}},{\mathit{u}}_{\mathrm{2}},\dots ,{\mathit{u}}_M\}和一组N个文档的数据I=\left\{{\mathit{i}}_{\mathrm{1}},{\mathit{i}}_{\mathrm{2}},\dots ,{\mathit{i}}_N\right\}。用户和文档的交互矩阵\mathit{Y}\in {\mathbb{R}}^{M\times N}是根据用户的隐性反馈定义的，其中y_{ui}=\mathrm{1}表示用户u和文档i有交互，交互行为如阅读、评论、转发等。此外，数据还包含查询知识图\mathrm{𝒢}，它由实体-关系-实体三元组\left(h,r,t\right)组成，分别表示知识三元组的头实体、关系和尾实体。例如，三元组（张三，评论，《行李处理系统》）表达张三对《行李处理系统》文档进行了评论的事实。在许多推荐场景中，一个文档\mathit{i}\in I可能与\mathrm{𝒢}中的一个或多个实体有关联。例如，在文档推荐中，一个标题为“行李处理系统”的文档和“机场交通建筑”“行李系统”等实体相关。TUP是文档推荐的模块，它以用户和文档交互矩阵\mathit{Y}的列表作为输入，并输出用户-文档相关性得分\eta (\mathit{u},\mathit{i};\mathit{p})，该得分表示在考虑偏好\mathit{p}\in \mathrm{𝒫}的情况下用户u查看文档i的可能性。其中，偏好集\mathrm{𝒫}的编号是预定义的。对于每个用户和文档的交互(\mathit{u},\mathit{i})可以推导出一个偏好\mathit{p}，它能够充当类似两个实体之间的关系的角色。同时，为了解决多对多的问题，本文引入偏好超平面^[16]，并为每个偏好分配两个向量：{\mathit{w}}_p用于投影到超平面，\mathit{p}用于用户和文档之间的转换。

此时，建筑领域文档推荐的问题变为：在给定用户和文档交互矩阵\mathit{Y}和文档知识图\mathrm{𝒢}的情况下，预测用户u是否对文档i有潜在的阅读兴趣，前提是用户u之前与文档i没有过交互。模型的目标是学习预测函数{\widehat{y}}_{ui}=\mathrm{ℱ}(u,i\mid \mathrm{\Theta },\mathit{Y},\mathrm{𝒢})，其中{\widehat{y}}_{ui}表示用户u与文档i有交互的概率，\Theta是函数\mathrm{ℱ}的模型参数。

2.2　交叉压缩单元

由于文档向量和实体向量实际上是对同一个文档的两种描述（在不同的处理背景中），它们之间的信息交叉共享可以让两者都获得来自对方的额外信息，从而可以弥补自身信息稀疏性。为了对文档和实体之间的特征交互地进行建模，本文设计了一个交叉压缩单元用于实体和文档的信息共享，具体框架如图3所示。

对于文档i及其相关实体之一\mathit{e}，首先构造有关第l层的{\mathit{i}}_{\mathit{l}}\in {\mathbb{R}}^d和{\mathit{e}}_l\in {\mathbb{R}}^d的相关特征的d\times d成对相互作用：

\begin{array}{c}{\mathit{C}}_l={\mathit{i}}_l{\mathit{e}}_l^{\mathrm{T}}=\left[\begin{array}{ccc}{\mathit{i}}_{\mathit{l}}^{\left(\mathrm{1}\right)}{\mathit{e}}_{\mathit{l}}^{\left(\mathrm{1}\right)}& \cdots & {\mathit{i}}_{\mathit{l}}^{\left(\mathrm{1}\right)}{\mathit{e}}_{\mathit{l}}^{\left(d\right)}\\ {\mathit{i}}_{\mathit{l}}^{\left(d\right)}{\mathit{e}}_{\mathit{l}}^{\left(\mathrm{1}\right)}& \cdots & {\mathit{i}}_{\mathit{l}}^{\left(d\right)}{\mathit{e}}_{\mathit{l}}^{\left(d\right)}\end{array}\right]\end{array}(1)

其中，{\mathit{C}}_l\in {\mathbb{R}}^{d\mathrm{*}d}是第l图层的交叉特征矩阵，d是隐藏层的维数。构造{\mathit{C}}_l的过程即公式\left(\mathrm{1}\right)，称为交叉操作，因为在文档i与其关联实体e之间存在每个可能的特征交互{\mathit{i}}_{\mathit{l}}^{(i)}{\mathit{e}}_{\mathit{l}}^{(j)},\forall (i,j)\in {\{\mathrm{1},\dots ,d\}}^{\mathrm{2}}，因此，通过交叉特征矩阵进行探测，能够挖掘出可能存在的特征。然后，通过将交叉特征矩阵投影到潜在表示空间，输出下一层（即第l+\mathrm{1}层）的文档和实体的特征向量

\left\{\begin{array}{l}\begin{array}{l}{\mathit{i}}_{l+\mathrm{1}}={\mathit{C}}_l{\mathit{w}}_l^{\mathit{I}\mathit{I}}+{\mathit{C}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{E}\mathit{I}}+{\mathit{b}}_l^{\mathit{I}}=\\ {\mathit{i}}_{\mathit{l}}{\mathit{e}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{I}\mathit{I}}+{\mathit{e}}_l{\mathit{I}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{E}\mathit{I}}+{\mathit{b}}_l^{\mathit{I}}\end{array}\\ \begin{array}{l}{\mathit{e}}_{l+\mathrm{1}}={\mathbf{C}}_l{\mathit{w}}_l^{\mathit{I}\mathit{E}}+{\mathit{C}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{E}\mathit{E}}+{\mathit{b}}_l^{\mathit{E}}=\\ {\mathit{i}}_{\mathit{l}}{\mathit{e}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{I}\mathit{E}}+{\mathit{e}}_l{\mathit{I}}_l^{\mathrm{T}}{\mathit{w}}_l^{\mathit{E}\mathit{E}}+{\mathit{b}}_l^{\mathit{E}}\end{array}\end{array}\right.（2）

其中，{\mathit{w}}_l^{..}\in {\mathbb{R}}^d和{\mathit{b}}_l^{.}\in {\mathbb{R}}^d是可训练的权重和偏差向量；I和 E 分别表示物品的表示矩阵和实体的表示矩阵。\left(\mathrm{2}\right)式描述的操作称为压缩操作，因为权重向量将交叉特征矩阵从{\mathbb{R}}^{d\mathrm{*}d}投影回特征空间{\mathbb{R}}^d。在\left(\mathrm{2}\right)式中，交叉特征矩阵沿水平和垂直方向进行压缩（通过对{\mathit{C}}_l\mathrm{和}{\mathit{C}}_l^{\mathrm{T}}进行操作）。为简单起见，交叉压缩单元表示为

\left[{\mathit{i}}_{l+\mathrm{1}},{\mathit{e}}_{l+\mathrm{1}}\right]=\mathit{C}\left({\mathit{i}}_l,{\mathit{e}}_l\right)（3）

在接下来的描述中，使用\left[\mathit{i}\right],\left[\mathit{e}\right]来区分它的两个输出。通过交叉压缩单元的处理，KGRP模型调整了知识转移的权重，并学习两个任务之间的相关性。经过交叉存储单元之后的\left[\mathit{i}\right]\mathrm{和}\left[\mathit{e}\right]除了包含本身的数据特征之外，还包含了另一个任务的数据特征。如用户文档交互数据中，文档数据的embedding还包含了知识图谱中实体之间的信息。

2.3　KGE模块

知识图谱嵌入模块将实体和关系嵌入到连续向量空间中，同时保持实体和关系固有的结构。常用的KGE算法可分为两类：1） 基于翻译的模型，如TransE^[17]、TransH^[18]、TransR^[19]、TransD^[20]等；2） 语义匹配模型，如RESCAL^[21]、DistMult^[22]、Complex^[23]等。基于翻译的模型利用基于距离的评分函数，用两个实体之间的距离衡量一个元组的可信性。TransE是最具代表性的基于翻译的方法，它将实体和关系以向量的形式表示在同一空间中。当三元组(\mathit{h},\mathit{r},\mathit{t})成立时，得分函数的输出值低，否则高。按照这个定义，需要尽可能让输出值低。语义匹配模型利用基于相似性的评分函数，通过匹配向量空间中实体和关系表示的潜在语义来衡量事实的可信性。例如，RESCAL^[21]将每个关系表示为矩阵，以捕获实体之间的组合语义，并使用双线性函数作为相似性度量。然而这些做法只适合在知识图谱内部完成特定任务，例如连接预测和三元组分类，而不适合应用在推荐领域。因此，在KGE模块使用了深层语义匹配体系结构^[24]。

对于给定的知识三元组\left(\mathit{h},\mathit{r},\mathit{t}\right)利用多个交叉压缩单元和非线性层分别处理头部h和关系r的原始特征向量（包括ID、类型、文本描述等），然后将它们的潜在特征连接在一起使用K层\mathrm{M}\mathrm{L}\mathrm{P}预测尾部t：

\left\{\begin{array}{l}{\mathit{h}}_{\mathit{L}}={\mathit{𝔹}}_{\mathit{i}-\mathit{S}\left(\mathit{h}\right)}\left[{\mathit{C}}_{\mathit{L}}\left(\mathit{i},\mathit{h}\right)\left[\mathit{e}\right]\right]\\ {\mathit{r}}_{\mathit{L}}={\mathit{M}}^{\mathit{L}}(\mathit{r})\\ \widehat{\mathit{t}}={\mathit{M}}^{\mathit{K}}\left(\left[\begin{array}{c}{\mathit{h}}_{\mathit{L}}\\ {\mathit{r}}_{\mathit{L}}\end{array}\right]\right)\end{array}\right.（4）

其中，S(h)是实体h的相关项集，{\mathit{C}}_L是前文所述第L层的交叉特征矩阵，{\mathit{M}}^L是指一个L层的多层感知机，{\mathit{M}}^K则是K层的多层感知机，\widehat{\mathit{t}}是尾部t预测向量。最后，使用相似性分数函数f_{\mathrm{K}\mathrm{G}}计算三元组\left(\mathit{h},\mathit{r},\mathit{t}\right)的分数

\mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}\left(h,r,t\right)=f_{\mathrm{K}\mathrm{G}}\left(\mathit{t},\widehat{\mathit{t}}\right)=\sigma \left({\mathit{t}}^{\mathrm{T}}\widehat{\mathit{t}}\right)（5）

其中，\mathit{t}是尾部t的真实特征向量，相似性分数函数使用了归一化内积进行计算。归一化的操作是为了使没有可比性的数据变得具有可比性，同时又保持相比较的两个数据之间的相对关系。向量的相似性使用角度余弦值来度量，余弦值愈大则两者愈相似。而余弦值等于两者内积与两者模长积的比，所以当两个向量模长固定的情形下，内积大小反映了两者相似性的大小。

2.4　TUP模块

受知识图谱中两个实体之间的基于翻译嵌入的启发，使用TUP模块对用户偏好进行建模，并将其视为用户和文档之间的翻译关系。TUP模块能够挖掘用户和文档之间存在的多个隐含的关系，这些关系进一步揭示了用户对文档的偏好。在给定一组用户-文档交互矩阵\mathit{Y}情况下，TUP模块首先推测用户-文档对的隐藏偏好，之后学习偏好、用户u和文档i的嵌入，使得它们三者满足\mathit{u}+\mathit{p}\approx \mathit{i}。考虑到用户偏好的隐藏性和多样性，TUP模块中设计了两个主要组件：偏好归纳和基于超平面的翻译^[25]。具体的操作是先使用偏好归纳模块抽取用户的偏好，然后再使用基于超平面的翻译模块进行推荐。

• 偏好归纳

给定一个用户-文档交互对(\mathit{u},\mathit{i})，偏好归纳组件将从一组潜在因素\mathrm{𝒫}（其中\mathrm{𝒫}是由知识图谱中关系r一对一映射而来）中发现用户偏好，这些潜在因素由所有用户共享，每个\mathit{p}\in \mathrm{𝒫}表示一种不同的偏好。挖掘用户的偏好作为用户的特点以丰富用户的表达。本文参考了两种偏好诱导策略：一种是从所有因素\mathrm{𝒫}中选择一个因素的硬方法^[26]，另一种是将所有偏好进行考虑，为每一个偏好分配权重的软方法^[27]，最终根据需要选择使用硬方法。

• 基于超平面的翻译

受TransH的启发，本文引入超平面来处理各种用户偏好，即不同的用户可能对不同的文档有相同的偏好（多对多）。通过引入偏好超平面可以缓解“只要用户出于某种偏好而同时喜欢两个文档，那么文档的嵌入就很接近”的问题：比如文档i和文档i^{\mathrm{\text{'}}}是两个不同的文档，具有不同的表示，但是当它们投影到特定的超平面时，i和i^{\mathrm{\text{'}}}是相似的，因为用户选择它们的原因是一样的。因此，本文定义基于超平面的平移函数如下

g\left(u,i;p\right)=\left({\mathit{u}}^{\perp }+\mathit{p}-{\mathit{i}}^{\perp }\right)（6）

其中，{\mathit{u}}^{\perp }和{\mathit{i}}^{\perp }是\mathit{u}和\mathit{i}的投影向量，计算方法是通过诱导偏好\mathit{p}获得，偏好\mathit{p}与TransH中的关系向量类似有相同的作用：

\left\{\begin{array}{l}{\mathit{u}}^{\perp }=\mathit{u}-{\mathit{w}}_p^{\mathrm{T}}\mathit{u}{\mathit{w}}_p\\ {\mathit{i}}^{\perp }=\mathit{i}-{\mathit{w}}_p^{\mathrm{T}}\mathit{i}{\mathit{w}}_p\end{array}\right.（7）

其中，{\mathit{w}}_p是随着偏好\mathit{p}的诱导过程而获得的投影向量，用硬方法获取相应的投影向量或通过基于软方法中诱导的注意权重的所有投影向量的注意相加：

{\mathit{w}}_p=\sum _{{\mathit{p}}^{\text{'}}\in \mathit{𝒫}} {\alpha }_{{\mathit{p}}^{\mathrm{\text{'}}}}{\mathit{w}}_{{\mathit{p}}^{\mathrm{\text{'}}}}（8）

最后，通过\mathrm{B}\mathrm{P}\mathrm{R}\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}函数（如（9）式）尽可能达到每个用户的交互文档的翻译距离小于随机文档的目的。

{\mathrm{ℒ}}_p=\sum _{\left(\mathit{u},\mathit{i}\right)\in \mathit{𝒴}} \sum _{\left(\mathit{u},{\mathit{i}}^{\mathbf{\text{'}}}\right)\in {\mathit{𝒴}}^{\text{'}}} -\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{\sigma }\left[g\left(\mathit{u},{\mathit{i}}^{\mathbf{\text{'}}};{\mathit{p}}^{\mathbf{\text{'}}}\right)-g\left(\mathit{u},\mathit{i};\mathit{p}\right)\right]（9）

其中，\mathrm{𝒴}是用户和文档有过交互的一个记录，{\mathrm{𝒴}}^{\mathrm{\text{'}}}是通过随机破坏每个用户的交互文档到非交互文档形成的一个记录，\sigma为g\left(\mathit{u},\mathit{i};\mathit{p}\right)的期望输出。传统的方法（例如，BPRMF^[28]）通过基于用户和文档嵌入计算标量分数为用户推荐项目，其指示用户更可能选择该文档的程度。与仅仅关注用户自身属性的用户嵌入方法相比，本文提出的获取用户偏好的方法更能够反映丰富的语义，使得推荐模型具有可解释性。

2.5　训练

KGRP模型通过结合实体的KG信息扩展基于翻译的推荐模块TUP，知识图谱的信息不仅是对用户-文档交互信息建模的一个约束，而且补充了文档之间的连通性。此外，了解用户对文档的偏好相当于揭示知识图谱中某些实体之间的隐含关系，这些隐含关系在给定知识图谱中可能存在缺失的情况。综合以上考虑，本文使用以下目标函数进行训练：

L={\mathrm{ℒ}}_p+{\mathrm{ℒ}}_{\mathrm{K}\mathrm{G}}+{\mathrm{ℒ}}_{\mathrm{R}\mathrm{E}\mathrm{G}}=\sum _{\left(\mathit{u},\mathit{i}\right)\in \mathit{𝒴}} \sum _{\left(\mathit{u},{\mathit{i}}^{\mathrm{\text{'}}}\right)\in {\mathit{𝒴}}^{\mathrm{\text{'}}}} -\mathrm{l}\mathrm{o}\mathrm{g}\sigma \left[g\left(\mathit{u},{\mathit{i}}^{\mathbf{\text{'}}};{\mathit{p}}^{\mathbf{\text{'}}}\right)-g\left(\mathit{u},\mathit{i};\mathit{p}\right)\right]+{\lambda }_{\mathrm{1}}\left(\sum _{(\mathit{h},\mathit{r},\mathit{t})\in G} \mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}(\mathit{h},\mathit{r},\mathit{t})-\sum _{\left({\mathit{h}}^{\mathrm{\text{'}}},\mathit{r},{\mathit{t}}^{\mathrm{\text{'}}}\right)\notin \mathit{𝒢}} \mathrm{s}\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{e}\left({\mathit{h}}^{\mathbf{\text{'}}},\mathit{r},{\mathit{t}}^{\mathbf{\text{'}}}\right)\right)+{\lambda }_{\mathrm{2}}{‖\mathit{W}‖}_{\mathrm{2}}^{\mathrm{2}}（10）

在（10）式中，第一项{\mathrm{ℒ}}_p度量推荐模块中的损失，其中u和i分别遍历用户集和文档集，损失函数为交叉熵函数；第二项{\mathrm{ℒ}}_{\mathrm{K}\mathrm{G}}计算KGE模块中的损失，这个模块的目标是增加所有真三元组的分数，同时减少所有假三元组的分数；最后一项{\mathrm{ℒ}}_{\mathrm{R}\mathrm{E}\mathrm{G}}是防止过拟合的正则化项；\mathit{W}是交叉压缩单元中的权重矩阵，{\lambda }_{\mathrm{1}}和{\lambda }_{\mathrm{2}}是平衡参数。

3　 实 验

3.1　数据集描述

本文采用了一个私有的数据集——基于建筑领域文档推荐数据，对模型进行测试和验证，数据集包含了以下数据：用户信息数据、文档信息数据、用户和文档交互的信息数据以及有关建筑领域的知识图谱原始数据。数据集所有信息都存放在MYSQL数据库中，便于程序的调用。为了便于查看和调整数据之间的关联，知识图谱的数据以图的形式存放在NEO4J数据库中。

用户信息数据包含ID、公司、总部门、分部门、姓名、专业、入职时间、岗位序列等属性，如表1所示。

文档信息数据包含ID、文档名、作者、文档类型、文档名称、工程类别等属性，如表2所示。

用户与文档的交互表就是将每一条用户与文档的交互历史记录下来，属性信息包含表格ID、用户ID和文档ID，用户ID和文档ID分别是表1和表2的ID记录。对于知识图谱的记录，先按照顺序描述其在MYSQL中的记录形式。知识图谱在MYSQL中以三元组\left(\mathit{h},\mathit{r},\mathit{t}\right)的形式储存，\mathit{h},\mathit{r},\mathit{t}分别表示头向量、关系和尾向量。例如（机场交通建筑，需要，航站楼）这个三元组表示机场交通建筑需要航站楼这个信息。所以，在构建三元组之前，要有实体表和关系表。实体表的格式如表3所示，实体表主要包含的属性有ID、实体名和KGID，其中KGID是知识图谱中某实体在图中的ID。

按照同样的处理方式，关系表的格式如表4所示，关系表结构比较简单，主要包含的属性有ID和关系名。关系表存储了三元组中关系的个数，如表4所示，一共是2个关系。

在实体表和关系表创建好之后，知识图谱的三元组表中头实体、关系和尾实体分别对应实体表中ID、关系表中ID和实体表中ID。此外，知识图谱还以图的形式存放在NEO4J数据库中，节点代表实体，连线代表关系。图4与图5展示了比较具有代表性的图谱。其中，图4是机场实体关系图，展示了机场中基本的建筑结构。图5是医院实体关系图，相比于机场复杂的建筑结构而言，它只有比较单一的关系。

3.2　实验设置

本文通过以7∶1∶2的比例随机分割数据集来构建训练集、验证集和测试集。对于文档推荐，为每个用户分配文档并确保测试集中至少存在一个文档。

对于超参数的设置，本文在BPRMF模型和TransE模型上应用网格搜索找到每个任务的最佳设置，并将它们用于所有其他模型。学习率设置为{0.000 5，0.005，0.001，0.05，0.01}，正则化系数设置为{\mathrm{1.0}\times {\mathrm{10}}^{-\mathrm{5}}，\mathrm{1.0}\times {\mathrm{10}}^{-\mathrm{4}}，\mathrm{1.0}\times {\mathrm{10}}^{-\mathrm{3}}，\mathrm{1.0}\times {\mathrm{10}}^{-\mathrm{2}}，\mathrm{1.0}\times {\mathrm{10}}^{-\mathrm{1}}，0}，优化方法包括自适应矩估计Adam，AdaGrad和SGD。最后，将文档推荐和知识图谱补全的学习率分别设置为0.005和0.001，优化方法设置为AdaGrad和Adam。其他超参数设置如下：Batchsize为256，嵌入大小为100，并对验证集执行早期停止策略。

3.3　实验结果

面对冷启动的问题，本文采取的解决方法是：首先通过用户的岗位来进行初次推荐，在有了交互数据之后，再采用模型的推荐结果。因此，在初期，还有一个表格是岗位和推荐文档类型的对应表，用于解决冷启动的问题。图6显示了根据岗位进行推荐文档的部分结果。从图6中可以看出，根据岗位给用户ID为1的用户推荐了文档ID为20，21，22的文档。

当有用户和文档的交互记录之后，就使用KGRP模型对用户进行文档的推荐，图7展示了部分结果，图中uid是用户的ID，recommend后面的一个数组都是推荐文档的ID。

我们在真实的场景下对模型的推荐结果进行了验证，发现在模型所推荐的文档中，大约有70%会被用户点击浏览，这是一个比较好的结果。

4　 结 语

本文提出了一种将知识图谱嵌入和文档推荐联合学习的模型KGRP。这是一个多任务学习框架，主要由三部分组成：交叉压缩单元、KGE模块和TUP模块。交叉压缩单元的提出在于使得文档和实体之间的特征交互信息能够共享，达到文档和实体共享信息、两个任务互相关联的目的；KGE模块旨在根据知识图谱中已有事实推断出新的事实，使知识图谱更完整；TUP模块能够对用户和文档之间的各种隐式关系建模，从而揭示用户对文档的偏好。KGE模块和TUP模块都采用多个非线性层从输入中提取潜在特征，并适应用户与文档的交互信息和知识图谱多个关系对的复杂交互。本文在建筑领域文档数据集上进行了广泛实验，实验结果表明，KGRP模型可以根据用户的交互行为与文档的辅助信息进行推荐合适的文档。

参考文献

[1] 曹银. 基于专业文档管理系统中个性化推荐方法及应用研究［D］. 武汉： 武汉邮电科学研究院， 2020.

[2] CAO Y. Research on Personalized Recommendation Method and Application Based on Professional Document Management System［D］. Wuhan： Wuhan Research Institute of Posts and Telecommunications， 2020 （Ch）.

[3] 付金楠. 基于文档上下文卷积矩阵分解的社交网络个性化推荐方法研究［D］. 东营： 中国石油大学（华东）， 2019.

[4] FU J N. Personalized Recommendation Method for Social Networks Based on Document Context Convolutional Matrix Factorization［D］. Dongying： China University of Petroleum （Huadong）， 2019 （Ch）.

[5] 桂绍武. 一个文档推荐系统的设计与实现［D］. 武汉： 华中科技大学， 2014.

[6] GUI S W. Design and Implement a Document Recommendation System［D］. Wuhan： Huazhong University of Science and Technology， 2014 （Ch）.

[7] 任永功， 王思雨， 张志鹏. 缓解数据稀疏问题的协同过滤混合填充算法［J］. 模式识别与人工智能， 2020， 33（2）： 166-175. DOI：10.16451/j.cnki.issn1003-6059.202002009 .

[8] REN Y G， WANG S Y， ZHANG Z P. Collaborative filtering hybrid filling algorithm for alleviating data sparsit［J］. Pattern Recognition and Artificial Intelligence， 2020， 33（2）： 166-175. DOI：10.16451/j.cnki.issn1003-6059.202002009（Ch ）.

[9] 史海燕， 倪云瑞. 推荐系统冷启动问题研究进展［J］. 图书馆学研究， 2021（12）： 2-10. DOI：10.15941/j.cnki.issn1001-0424.2021.12.001 .

[10] SHI H Y， NI Y R. Research progress of cold-start in recommender systems［J］. Research on Library Science， 2021（12）： 2-10. DOI：10.15941/j.cnki.issn1001-0424.2021.12.001（Ch ）.

[11] 曾冠桦. 基于科研知识库的文档推荐系统的设计与实现［D］. 哈尔滨： 哈尔滨工业大学， 2018.

[12] ZENG G H. Document Recommendation System Based on Scientific Research Knowledge Base Design and Implementation［D］. Harbin： Harbin Institute of Technology， 2018 （Ch）.

[13] 庞秀丽， 冯玉强， 姜维. 电子商务个性化文档推荐技术研究［J］. 中国管理科学， 2008， 16（S1）： 581-586. DOI：10.16381/j.cnki.issn1003-207x.2008.s1.088 .

[14] PANG X L， FENG Y Q， JIANG W. Research on personalized document recommendation of electronic commerce［J］. Chinese Journal of Management Science， 2008， 16（S1）： 581-586. DOI：10.16381/j.cnki.issn1003-207x.2008.s1.088（Ch ）.

[15] 莫钟林. 基于内容的文档推荐方法研究［D］. 天津： 河北工业大学， 2019.

[16] MO Z L. An Approach of Content⁃Based Recommender System［D］. Tianjin： Hebei University of Technology， 2019 （Ch）.

[17] KIM S， NA I S， SHIN J. A method on associated document recommendation with word correlation weights［J］. Journal of Korea Multimedia Society， 2019， 22（2）： 250-259.

[18] ZHANG F Z， YUAN N J， LIAN D F， et al. Collaborative knowledge base embedding for recommender systems［C］//Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 353-362. DOI：10.1145/2939672.2939673 .

[19] PALUMBO E， RIZZO G， TRONCY R. Entity2rec： Learning user-item relatedness from knowledge graphs for top-N item recommendation［C］//Proceedings of the Eleventh ACM Conference on Recommender Systems. New York： ACM， 2017： 32-36. DOI：10.1145/3109859.3109889 .

[20] YU X， REN X， SUN Y Z， et al. Personalized Entity Recommendation：A Heterogeneous Information Network Approach［DB/OL］.［2021-02-02］. 20Entity%20Recommendation%20A%20Heterogeneous%20Information%20Network%20Approach.pdf. DOI: 10.1145/2556195.2556259 .

[21] ZHAO H， YAO Q M， LI J D， et al. Meta-graph based recommendation fusion over heterogeneous information networks［C］//Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 635-644. DOI：10.1145/3097983.3098063 .

[22] GUGNANI A， MISRA H. Implicit skills extraction using document embedding and its use in job recommendation［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2020， 34（8）： 13286-13293. DOI：10.1609/aaai.v34i08.7038 .

[23] 艾楚涵. 基于文本聚类的专利推荐研究［D］. 昆明： 昆明理工大学， 2020.

[24] AI C H. Research on Patent Recommendation Based on Text Clustering［D］. Kunming： Kunming University of Science and Technology， 2020 （Ch）.

[25] 毕晓君， 王朝. 基于超平面投影的高维多目标进化算法［J］. 浙江大学学报（工学版）， 2018， 52（7）： 1284-1293. DOI：10.3785/j.issn.1008-973X.2018.07.008 .

[26] BI X J， WANG C. Many-objective evolutionary algorithm based on hyperplane projection［J］. Journal of Zhejiang University （Engineering Science）， 2018， 52（7）： 1284-1293. DOI：10.3785/j.issn.1008-973X.2018.07.008 （Ch ）.

[27] ZHU G M， BIN C Z， GU T L， et al. A neural user preference modeling framework for recommendation based on knowledge graph［C］//PRICAI 2019： Trends in Artificial Intelligence. Cham： Springer International Publishing， 2019： 176-189. DOI：10.1007/978-3-030-29908-8_14 .

[28] BORDES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data［C］//Proceedings of the 26th International Conference on Neural Information Processing Systems—Volume 2. New York： ACM， 2013： 2787-2795.

[29] WANG Z， ZHANG J W， FENG J L， et al. Knowledge graph embedding by translating on hyperplanes［C］//Proceedings of the Twenty-Eighth AAAI Conference on Artificial Intelligence. New York： ACM， 2014： 1112-1119. DOI: 10.1609/aaai.v28i1.8870 .

[30] LIN Y K， LIU Z Y， SUN M S， et al. Learning entity and relation embeddings for knowledge graph completion［C］//Proceedings of the Twenty-Ninth AAAI Conference on Artificial Intelligence. New York： ACM， 2015： 2181-2187. DOI: 10.1609/aaai.v29i1.9491 .

[31] NICKEL M， TRESP V， KRIEGEL H P. Factorizing YAGO： Scalable machine learning for linked data［C］//Proceedings of the 21st international conference on World Wide Web. New York： ACM， 2012： 271-280. DOI：10.1145/2187836.2187874 .

[32] YANG B S， YIH W T， HE X D， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］. 2014： arXiv： 1412.6575.

[33] TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction［EB/OL］. 2016： arXiv： 1606.06357.

[34] 黄文彬， 车尚锟. 计算文本相似度的方法体系与应用分析［J］. 情报理论与实践， 2019， 42（11）： 128-134. DOI：10.16353/j.cnki.1000-7490.2019.11.021 .

[35] HUANG W B， CHE S K. Methodological system and application scenarios on text similarity calculation［J］. Information Studies： Theory ＆ Application， 2019， 42（11）： 128-134. DOI：10.16353/j.cnki.1000-7490.2019.11.021（Ch ）.

[36] 张正航， 钱育蓉， 行艳妮， 等. 基于TransE的表示学习方法研究综述［J］. 计算机应用研究， 2021， 38（3）： 656-663. DOI：10.19734/j.issn.1001-3695.2020.02.0028 .

[37] ZHANG Z H， QIAN Y R， XING Y N， et al. Survey of representation learning methods based on TransE［J］. Application Research of Computers， 2021， 38（3）： 656-663. DOI：10.19734/j.issn.1001-3695.2020.02.0028（Ch ）.

[38] CAO Y X， WANG X， HE X N， et al. Unifying knowledge graph learning and recommendation： Towards a better understanding of user preferences［C］//WWW’19： The World Wide Web Conference. New York： ACM， 2019： 151-161. DOI：10.1145/3308558.3313705 .

[39] 刘永高. 在线文档推荐算法的研究与改进［D］. 成都： 电子科技大学， 2016.

[40] LIU Y G. Research and Improvement of Online Document Recommendation Algorithm［D］. Chengdu： University of Electronic Science and Technology of China， 2016 （Ch）.

[41] ZHAO H F， WANG X J. Bi-group Bayesian personalized ranking from implicit feedback［C］//Proceedings of the 2nd International Conference on Computer Science and Software Engineering. New York： ACM， 2019： 35-39. DOI：10.1145/3339363.3339370 .

基金资助

国家自然科学基金重点项目(61936001)

之江实验室科研攻关项目(2021PE0AC02)