自适应的邻接关系：去相关图方法在下个兴趣点推荐的应用

Adaptive adjacency relationships: Application of decorrelated graph methods in next POI recommendation

摘要

下个兴趣点（POI）推荐在社交网络服务中扮演了相当重要的角色，它的任务是基于用户的历史访问足迹，预测用户在下个时刻最可能访问的POI.现有方法普遍使用预定义图的方式为POI构建关系图，仅有少量的工作对自适应图方法进行研究，而自适应图表示学习能学习到更具潜在意义的图结构，使得图神经网络（GNN）后续的传播过程能够学习到更有意义的邻接关系，从而得到更有价值的POI嵌入，使得下游的序列建模任务能够更好捕获到POI之间的潜在关系.然而现有工作对自适应图的研究仍处于较为初步的阶段.为下个POI推荐任务提出了去相关图表示增强的注意力网络（DGRAN）.此外，还探讨了自注意力机制与自适应图学习之间的关系，为该领域的自注意力方法加入额外残差连接以加大梯度，保证自适应图结构高质量更新.在两个真实数据集上的结果证明所提出的方法超越了现有最先进基线的性能.

Abstract

The task of next Point-of-Interest （POI） recommendation plays a significant role in social networking services. Its goal is to predict the next POI that a user is most likely to visit， based on their historical check-in records. Existing methods generally construct relational graphs for POIs using predefined graphs， while only a few studies have explored adaptive graph approaches. Adaptive graph representation learning can capture more meaningful graph structures， enabling the subsequent propagation process in Graph Neural Networks （GNNs） to learn more significant adjacency relationships， and thus obtain more valuable POI embedding. This enables downstream sequence modeling tasks to capture potential relationships between POIs better. However， research on adaptive graphs remains in its early stages. In this paper， we propose a Decorrelated Graph Representation-enhanced Attention Network （DGRAN） for the next POI recommendation task. Additionally， this paper explores the relationship between the self-attention mechanism and adaptive graph learning， introducing extra residual connections to self-attention methods in this field to increase the gradient and ensure the hight quality updates of the adaptive graph structure. Results on two real-world datasets demonstrate that the method of this paper outperforms state-of-the-art baselines.

Graphical abstract

关键词

下个兴趣点推荐 / 自适应图 / 额外残差连接

Key words

next POI recommendation / adaptive graph / extra residual connections

随着移动设备的普及，用户在Foursquare、Gowalla等基于位置的社交网络（Location-Based Social Networks，LBSNs）上产生了大量的兴趣点（Point-of-Interest，POI）访问信息，如商场、酒吧等.这些平台为了提升用户体验^［1］，致力于提供更精准的推荐服务，因此POI推荐成为了研究的重点.下个POI推荐，作为POI推荐的一种特殊形式，主要通过分析用户的历史签到数据和当前位置信息，捕捉用户兴趣的动态变化，从而为用户提供更加个性化的推荐^［2-4］.该任务的特点在于，它受到时间和地理因素的双重影响^［5-6］.

早期的研究针对个性化推荐方法进行了广泛的探索，最初的模型主要集中于捕捉序列中元素之间的关系变化，通常采用传统方法，如马尔可夫链和矩阵分解等.随着深度学习的兴起，基于循环神经网络（Recurrent Neural Network，RNN）的方法也开始被引入下个POI推荐领域.然而，经典的RNN结构（包括传统RNN和长短期记忆网络LSTM）尽管在自然语言处理领域表现出色，但是对于POI推荐任务而言，它们并不能很好地把握时间和空间依赖关系.为此，研究者们尝试引入时间和空间等辅助信息，或者通过增加辅助任务和调整损失函数来提升推荐效果^［7-9］.后来伴随着Transformer的横空出世，人们意识到自注意力机制在建模序列关系时的强大能力，使得许多学者转向研究自注意力网络在下个POI推荐任务中的应用^［10-12］.

最近，基于图的方法受到了广泛关注^［13-14］，特别是图神经网络（Graph Neural Network，GNN）在POI表示学习中的潜力备受瞩目.近期的研究^［15-16］主要通过用户的签到序列构建图结构，从而进行POI表示学习.尽管这种方法能够生成质量较高的POI嵌入，但预定义的图结构往往受制于人为因素.这一问题促使了自适应图方法的出现^［17］.自适应图方法继承了GNN中的邻居聚合和非线性变换思想，将邻接矩阵的构建过程交由POI嵌入来完成.这种方法在模型的学习过程中动态地生成图结构，从而提升学习到的POI嵌入质量.

尽管自适应图方法在一定程度上取得了良好的效果，但在缺乏明确指导的情况下，生成的POI嵌入往往不够理想.此外，作为图神经网络的一种，自适应图方法难以避免GNN自身的两个核心问题——过平滑^［18］和过相关^［19］，如何有效地缓解这两个问题，仍是当前面临的关键挑战.

另一方面，作为一种序列任务，无论将POI嵌入输入RNN类模型还是自注意力类模型，都不能忽视POI图结构学习与下游模型之间的联系.WANG等^［17］的研究中，将POI嵌入直接用于扩展的自注意力机制.然而，这种简单的组合方式忽略了反向传播中从注意力模块传递至自适应图模块的梯度关系.由于这一缺陷，在多次前向传播和反向传播的过程中，自适应图模块难以学习到更优的图结构，从而无法生成更高质量的POI嵌入，最终导致注意力模块的预测效果未达到最佳水平.

为了解决上述问题，本文为下个POI推荐任务提出了去相关图表示增强的注意力网络（Decorrelated Graph Representation-enhanced Attention Network，DGRAN）.为了在图学习的过程中减少人为因素的影响，本文通过探索图结构学习^［18］提出去相关的自适应图方法，以在下个POI推荐任务中建模POI之间的复杂的地理依赖关系，从而学习富有表达能力的POI嵌入.具体来说，本文为简单GCN图卷积网络（Simple Graph Convolutional Network，SGCN）^［19］重新构造了自适应邻接矩阵，然后将其每一层看作单独的图降噪过程，修改其前向传播的方法；接着，本文在做序列建模时，为注意力模块加入了额外的残差连接，使得反向传播时能为自适应图模块提供更大的梯度，进一步提升POI嵌入的质量.对两个真实世界LBSN数据集的研究表明，DGRAN优于最先进的基线方法.

本文的主要贡献如下：

（1）本文提出使用去相关的自适应简单图神经网络来学习POI；

（2）本文提出了DGRAN模型，在扩展的注意力网络中加入了额外的残差连接，阐释了注意力网络和自适应图网络之间的梯度关系，使得自适应图网络能够更有效地训练POI嵌入；

（3）在两个真实世界LBSN数据集上执行了实验，结果表明本文提出的DGRAN模型在下个POI推荐任务中超出了SOTA基线模型的性能.

1 相关工作

本节将简要介绍下个POI推荐以及图结构学习这两方面的工作.

1.1 下个POI推荐

下个POI推荐基于用户的历史签到数据，为用户推荐下一个可能访问的POI.早期的工作主要是基于矩阵分解和马尔科夫链.CHENG等^［4］使用了矩阵分解技术为每个用户学习一个个性化的过渡矩阵，这种方法并不能够有效处理高阶的序列模式，并且在处理未观测到的数据时难以为其分配转变概率.FENG等^［2］使用度量嵌入方法将POI映射到低维欧氏空间，通过欧氏距离来度量POI之间的相似度，这种映射方式并不能很有效地建模POI之间复杂的关系，使用过程也不能充分捕获用户的访问模式以及兴趣的变化.随着技术的更迭，包括RNN以及自注意力网络在内的深度学习模型被认为是更有效的序列建模方法.因此后续的学者们尝试对这两大类基础方法进行修改，以达到更高质量的推荐效果.LIU等^［8］通过计算两个连续访问之间的时间和空间间隔，将其加入RNN以更好地建模连续访问的关系.HUANG等^［11］通过将时间作为相似性判别方法进行显式的注意力计算，以此为注意力权重聚合LSTM的结果.

LIAN等^［12］将地理坐标编码送入自注意力网络以构建位置关系，将该模块整合到Transformer上，以获得签到序列点对点的交互信息.LUO等^［10］显式计算了所有签到之间的时空距离，通过一个双层注意力结构来考虑个性化项的频次.QIN等^［20］使用频域的自相关方法捕获子序列之间的关系.但是这些基于序列的方法都是直接将POI转化为嵌入，忽视了对POI嵌入质量的追求，这就会导致下游任务在这种质量不高的嵌入上不能很好地把握用户偏好的变化.

近期的工作尝试使用图表示学习方法构建更具表达性的POI表示.LI等^［13］通过图注意力网络将POI的嵌入以及类别信息的表示一同加入学习，从而生成具有类别信息的嵌入表示.YANG等^［21］构建了一个全局的轨迹流图，然后以此为基础通过GCN来学习拓扑信息.RAO等^［16］对图的权重做了进一步研究，除节点之间的连接性外，构建了富含多种关系的图结构，然后使用GCN学习其中的转变关系.尽管有了这些使用图神经网络的方法，但是如何构建一个高质量的图仍未被充分研究.YIN等^［22］使用知识图谱的方法在复数域提取POI之间的关系，通过聚类方法来动态构建图结构.WANG等^［17］设计了一种图结构随模型训练而更新的自适应图，通过这种结构来补充未被观测到的访问关系并去除噪声信息，进而学习到更具表达能力的POI嵌入.总的来说，基于预定义图的方法需要很多的领域知识才能达到不错的效果，图结构学习的方法却需要设计复杂的关系映射手段和结构选择方法，导致图的设计过于冗余.

1.2 图神经网络中的图结构学习

图神经网络（GNN）在许多监督、半监督以及零样本学习任务下大放异彩，GNN的成功主要得益于它的消息传播机制^［23］，归根结底是邻接矩阵的设计，因此优秀的图结构的设计有助于图表示的学习.对于推荐任务而言，节点的异质性对于图结构设计而言是一个较大的挑战.目前预定义图的设计方案仍旧占据主导地位^{［16，24-26］}，仅有少数方法^{［17，27］}采用了图结构学习的思路.本文使用简化的图学习方案，并将图降噪方法融入其中，从而减少对先验知识的依赖.

2 准备工作

本节给出问题定义以及要进行改进的功能模块.

2.1 问题定义

定义1（签到序列） 令U=\{u_{\mathrm{1}},u_{\mathrm{2}},\dots ,u_m\}表示所有的用户，L=\{l_{\mathrm{1}},l_{\mathrm{2}},\dots ,l_e\}表示所有POI，其中每个POIl_i都与一个独一无二的地理坐标(\mathrm{l}\mathrm{o}\mathrm{n}{\mathrm{g}}_{\mathrm{i}},\mathrm{l}\mathrm{a}{\mathrm{t}}_i)相关联.每个用户的签到记录r_{u_k-t_q}可以表示为三元组(u_k,l_z^{u_k},t_q)，表示用户u_k在时刻t_q访问了POIl_z.用户u_k的签到序列可以表示为R(u_k)=\{r_{u_k-t_{\mathrm{1}}},r_{u_k-t_{\mathrm{2}}},\dots ,r_{u_k-t_{\left|C\left(u_k\right)\right|}}\}.

定义2（下个POI推荐） 给定一个用户u_k以及他从时刻t_{\mathrm{1}}到t_q的签到序列R(u_k)，下个POI推荐任务的目标是基于他的历史轨迹产生下个时刻t_{q+\mathrm{1}}时该用户最有可能访问的top-k POI列表.

2.2 简单图卷积网络

本文使用了SGCN^［23］.对于一个无向图G=(V,E,A)，其中V,E,A\in {\mathrm{ℛ}}^{N\times N}分别表示顶点集、边集、邻接矩阵，以此为基础的GCN第l层向后的传播规则为：

H^{\left(l+\mathrm{1}\right)}=\sigma \left({\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\overline{A}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}{H}^{\left(l\right)}{W}^{\left(l\right)}\right),（1）

其中\sigma表示激活函数，\overline{A}=A+I\in {\mathit{ℝ}}^{N\times N}表示加入自连接的邻接矩阵，{\tilde{D}}_{i,i}={\displaystyle \sum _j^N}{\overline{A}}_{i,j}，W^l是可学习的矩阵.令\tilde{A}={\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\overline{A}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}，SGCN将GCN传播规则线性化：

\begin{array}{c}Y\end{array}=\tilde{A}\tilde{A}···\tilde{A}{H}^{\left(\mathrm{0}\right)}{W}^{\left(\mathrm{0}\right)}{W}^{\left(\mathrm{1}\right)}···W^{\left(l\right)}={\tilde{A}}^l{H}^{\left(\mathrm{0}\right)}W,（2）

与传统GNN不同的是，它直接构造了输出Y，而非定义每一层的传播过程，在将SGCN与GCN相对应时，可以将SGCN的传播过程视作：

H^{\left(l+\mathrm{1}\right)}=\tilde{A}{H}^{\left(l\right)},（3）

值得注意的是，H^{(l+\mathrm{1})}不是最后的输出，当需要用到SGCN的最后结果时，需要对H^{\left(l+\mathrm{1}\right)}做一次无偏置项的线性变换.

2.3 时空间隔感知的自注意力机制

WANG在LI等提出的时间感知自注意力^［28］的基础上拓展了空间信息^［17］.对于某个用户u_k，假定他的签到序列为R(u_k)=\{r_{{\mathrm{u}}_{\mathrm{k}}-t_{\mathrm{1}}},r_{{\mathrm{u}}_{\mathrm{k}}-t_{\mathrm{2}}},\dots ,r_{u_k-t_n}\}，计算该签到序列中任意两个访问之间的时间、空间间隔矩阵M^{t,u_k}\in {\mathbb{R}}^{n\times n}、M^{s,u_k}\in {\mathbb{R}}^{n\times n}，分别将这两组矩阵投影为两个嵌入矩阵E^{t_K,u_k},E^{t_V,u_k}\in {\mathbb{R}}^{n\times n\times d}和E^{s_K,u_k},E^{s_V,u_k}\in {\mathbb{R}}^{n\times n\times d}.将用户序列中的每个POI转化为嵌入表示e_i^{u_i}\in {\mathbb{R}}^d.用户u_k的序列经过注意力模块的聚合结果h_i^{u_k}为：

h_i^{u_k}={\displaystyle \sum _{j=\mathrm{1}}^i}{\alpha }_{ij}\left(e_j^{u_k}{W}^V+e_{i,j}^{t_V,u_k}+e_{i,j}^{s_V,u_k}+p_j\right),（4）

其中W^V\in {\mathit{ℝ}}^{d\times d}是可学习的矩阵，e_{i,j}^{t_V,u_k}\in {\mathit{ℝ}}^d是E^{t_V,u_k}的第i行第j列元素，e_{i,j}^{s_V,u_k}\in {\mathit{ℝ}}^d是E^{s_V,u_k}的第i行第j列元素，p_j是第j个位置的位置嵌入.{\alpha }_{ij}表示注意力系数，它的计算方式如下：

{\alpha }_{ij}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}{a}_{ij}}{{\displaystyle \sum _{k=\mathrm{1}}^i}\mathrm{e}\mathrm{x}\mathrm{p}{a}_{ik}},（5）

a_{ij}=\frac{\mathrm{L}\mathrm{N}\left(e_i^{u_k}\right)W^Q{\left(e_j^{u_k}{W}^K+e_{i,j}^{t_K,u_k}+e_{i,j}^{S_K,u_k}+p_j\right)}^{\mathrm{\top }}}{\sqrt[]{d}},（6）

其中LN(·)代表层归一化（Layer Normalization）操作，W^Q,W^K\in {\mathit{ℝ}}^{d\times d}是可学习矩阵，e^{t_K,u_k}\in {\mathit{ℝ}}^d是E^{t_K,u_k}的第i行第j列元素，e^{s_K,u_k}\in {\mathit{ℝ}}^d是E^{s_K,u_k}的第i行第j列元素.

3 提出的方法

DGRAN模型的结构图如图1所示，可分为两部分：（1）去相关图学习模块.首先是将简单图设计成自适应的结构，然后再加入去相关方法修改图的传播过程；（2）具有额外残差连接的自注意力聚合模块，这部分在2.3节的注意力机制上添加了额外的残差连接.

3.1 去相关图学习

作为POI推荐领域提出并使用自适应图的先驱，WANG等^［17］在构造图的时候沿袭了前人的度量方法以及设计模式（包括生成邻接矩阵时的权重矩阵、图的稀疏化以及用平均池化的方法缓解过平滑问题）^［27］，并为图表示学习设计了额外的正则化方法.但他们的方法仍旧有些复杂，因此本文使用了一种更简单直接的思路来解决这些问题.

3.1.1 自适应简单图构建

在构造图结构之前，需要先为所有POI初始化嵌入E\in {\mathit{ℝ}}^{N\times d}以便于后续POI之间关系的学习.紧接着便是图结构的构建.在构造自适应图时，选择哪种距离度量方法构造邻接矩阵是首要问题.跟随现有的工作^{［17，27］}，本文选择余弦相似度作为度量方法，但与他们不同的是，本文舍弃了权重矩阵W，直接计算POI嵌入之间的距离.邻接矩阵的每一项A_{i,j}计算方式如下：

A_{i,j}=\mathrm{c}\mathrm{o}\mathrm{s}\left(e_i,e_j\right),（7）

其中\mathrm{c}\mathrm{o}\mathrm{s}(·,·)表示计算两个向量之间的余弦相似度.注意，A_{i,j}\in [-\mathrm{1},\mathrm{1}]，负数作为权重是不合理的.因此现有工作会选择某个值作为阈值来筛选不合理的数值，比如WANG等^［17］选择了0，相当于在每个数值上使用了Relu函数，这会导致一部分邻接矩阵的元素无法反向传播，限制了POI嵌入的梯度大小，因此本文使用Sigmoid函数将其映射到[\mathrm{0,1}]，严谨地来说是[\frac{\mathrm{1}}{\mathrm{1}+e^{-\mathrm{1}}},\frac{\mathrm{1}}{\mathrm{1}+e^{\mathrm{1}}}]，由于[-\mathrm{1},\mathrm{1}]输入的范围避开了Sigmoid的饱和区间，那么当反向传播梯度流经邻接矩阵时，也不太容易出现梯度爆炸或梯度消失问题，这时候邻接矩阵可以表示为：

A=\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(E,E\right)\right),（8）

其中\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(·)表示逐元素的Sigmoid计算，本文用\mathrm{c}\mathrm{o}\mathrm{s}(A,B)表示先对矩阵A和B进行行归一化得到A_{rn}和B_{rn}，然后进行矩阵乘法A_{rn}{B}_{rn}^{\mathrm{\top }}.在后续的图传播过程中，本文仍保持\overline{A}=A+I的做法，其中I是单位阵，以加强顶点自身的信息.

3.1.2 去相关方法

仅通过上述环节构造的图，效果显然是不够的，因为它失去了非线性激活，而且也没有一个可靠的方法指引它的学习过程，还会面临过平滑问题与过相关问题，这就会导致它学到低质量的POI嵌入.受到文［19］的启发，本文将SGCN的每层看作图降噪过程，通过将正交的正则化图信号降噪方法的梯度整合到图的传播过程中来提升学到的POI嵌入的质量.正交的正则化图信号降噪问题如下：

\underset{E}{\mathrm{m}\mathrm{i}\mathrm{n}}J\left(E\right)=\frac{\mathrm{1}}{\mathrm{2}}{\left|\left|E-E_{\mathrm{i}\mathrm{n}}\right|\right|}_F^{\mathrm{2}}+\frac{{\lambda }_{\mathrm{1}}}{\mathrm{2}}tr\left(E^{\mathrm{\top }}\tilde{L}E\right)+\frac{{\lambda }_{\mathrm{2}}}{\mathrm{4}}{\left|\left|E^{\mathrm{\top }}E-I\right|\right|}_F^{\mathrm{2}},（9）

其中{\lambda }_{\mathrm{1}},{\lambda }_{\mathrm{2}}是超参数.\tilde{L}=I-\tilde{A}=I-{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}(\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}(\mathrm{c}\mathrm{o}\mathrm{s}(E,E))+I){\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}.使用公式(\mathrm{9})对SGCN逐层降噪时需要计算它对E的梯度，在对除了第0层以外的层求梯度时，公式如下：

\begin{array}{l}{\left.\nabla J\left(E\right)\right|}_{E=E^{\left(l\right)}}=E^{\left(l\right)}-E_{\mathrm{i}\mathrm{n}}^{\left(l\right)}+{\lambda }_{\mathrm{1}}\tilde{L}{E}^{\left(l\right)}+\\ {\lambda }_{\mathrm{2}}{E}^{\left(l\right)}\left({E^{\left(l\right)}}^{\mathrm{\top }}{E}^{\left(l\right)}-I\right),\end{array}（10）

但值得注意的是，公式(\mathrm{9})在对第0层的E求导时，\tilde{L}与E^{\left(\mathrm{0}\right)}是有关的，公式(\mathrm{9})中第2项对E^{\left(\mathrm{0}\right)}的微分计算如下：

\begin{array}{c}\begin{array}{l}{\left.\mathrm{d}\left(\mathrm{t}\mathrm{r}\left(E^{\mathrm{\top }}\tilde{L}E\right)\right)\right|}_{E=E^{\left(\mathrm{0}\right)}}=\\ {\left.\mathrm{d}\left(\mathrm{t}\mathrm{r}\left(E^{\mathrm{\top }}\left(I-\tilde{A}\right)E\right)\right)\right|}_{E=E^{\left(\mathrm{0}\right)}}=\end{array}\\ \begin{array}{l}(\mathrm{d}\mathrm{t}\mathrm{r}\left(E^{\mathrm{\top }}E\right)-\\ \mathrm{d}tr\left(E^{\mathrm{\top }}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\left(\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(E,E\right)\right)\right){\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}E\right)-\end{array}\\ {\left.\mathrm{d}\mathrm{t}\mathrm{r}\left(E^{\mathrm{\top }}{\tilde{D}}^{-\mathrm{1}}E\right))\right|}_{E=E^{\left(\mathrm{0}\right)}}=\\ \begin{array}{l}(\mathrm{t}\mathrm{r}\left(\mathrm{2}{E}^{\mathrm{\top }}\mathrm{d}E\right)-\\ \mathrm{2}tr\left(E^{\mathrm{\top }}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(E,E\right)\right){\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}\mathrm{d}E\right)-\end{array}\\ \begin{array}{l}tr\left(E^{\mathrm{\top }}{\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}d\left(\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\left(\mathrm{c}\mathrm{o}\mathrm{s}\left(E,E\right)\right)\right){\tilde{D}}^{-\frac{\mathrm{1}}{\mathrm{2}}}E\right)-\\ {\left.tr\left(\mathrm{2}{E}^{\mathrm{\top }}{\tilde{D}}^{-\mathrm{1}}\mathrm{d}E\right))\right|}_{E=E^{\left(\mathrm{0}\right)}},\end{array}\end{array}（11）

虽然上式并没有完全求解，但是可以看到其中复杂的矩阵乘法过程，值得注意的是矩阵E和D的大小与POI的数目相关，所以在此直接求梯度就会成为一个相当耗费时间和空间的过程，本文建议直接忽略掉这一步，直接使用公式\left(\mathrm{10}\right)来代替这一过程.

所以POI嵌入E在第0层的传播规则为：

\begin{array}{c}{E}^{\left(l\right)}=E^{\left(l-\mathrm{1}\right)}-{\left.\gamma \nabla J\left(E\right)\right|}_{E=E^{\left(l-\mathrm{1}\right)}}=\\ \begin{array}{l}\left(\mathrm{1}-\gamma -\gamma {\lambda }_{\mathrm{1}}-\gamma {\lambda }_{\mathrm{2}}\right)E^{\left(l-\mathrm{1}\right)}+\\ \gamma E_{\mathrm{i}\mathrm{n}}+\gamma {\lambda }_{\mathrm{1}}\tilde{A}{E}^{\left(l-\mathrm{1}\right)}-\gamma {\lambda }_{\mathrm{2}}{E}^{\left(l-\mathrm{1}\right)}\left({E^{\left(l-\mathrm{1}\right)}}^{\mathrm{\top }}{E}^{\left(l-\mathrm{1}\right)}\right),\end{array}\end{array}（12）

将SGCN看作逐层的单步图降噪，令E_{in}=E^{\left(l-\mathrm{1}\right)}，修改后的传播规则为：

E^{\left(l\right)}=\left(\mathrm{1}-\gamma {\lambda }_{\mathrm{1}}+\gamma {\lambda }_{\mathrm{2}}\right)E^{\left(l-\mathrm{1}\right)}+\gamma {\lambda }_{\mathrm{1}}\tilde{A}{E}^{\left(l-\mathrm{1}\right)}-\gamma {\lambda }_{\mathrm{2}}{E}^{\left(l-\mathrm{1}\right)}\left({E^{\left(l-\mathrm{1}\right)}}^{\mathrm{\top }}{E}^{\left(l-\mathrm{1}\right)}\right),（13）

为了避免梯度爆炸，本文在传播后对嵌入进行列归一化：

E^{\left(l\right)}=\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left(E^{\left(l\right)}\right),（14）

因此，当图具有l_{\mathrm{n}\mathrm{u}\mathrm{m}}层时，去相关自适应简单图的做法是，先对输入E^{\left(\mathrm{0}\right)}做K次带有列归一化的传播，然后做一次无偏置项的线性变换.经处理后的POI嵌入矩阵记为\tilde{E}\in {\mathit{ℝ}}^{N\times d}.

3.2 序列建模

在获得富有表达性的POI表示后，接下来介绍如何使用扩展的自注意力机制对用户的签到序列建模.

3.2.1 签到序列编码

下个POI推荐任务以用户的历史轨迹为依据来推测用户下个时刻最有可能访问的位置.首先将用户的访问足迹处理为固定长度n，如果长度大于n就截断，只保留最近的n条数据；如果长度小于n，那就向左填补直到长度为n.随后为处理后的访问序列R(u_k)得到通过图方法获得的嵌入，将该序列的表示向量记为E_c(u_k)=\{{\tilde{e}}_{\mathrm{1}}^{u_k},{\tilde{e}}_{\mathrm{2}}^{u_k},\dots ,{\tilde{e}}_n^{u_k}\}，其中{\tilde{e}}_i^{u_k}\in \tilde{E}.

因为自注意力机制对位置先后顺序不敏感，所以此处使用了FOUMANI等^［29］提出的绝对位置编码方式tAPE来感知位置信息：

p_i\left(\mathrm{2}k\right)=\mathrm{s}\mathrm{i}\mathrm{n}i{\omega }_k,p_i\left(\mathrm{2}k+\mathrm{1}\right)=\mathrm{c}\mathrm{o}\mathrm{s}i{\omega }_k,{\omega }_k=\frac{{\mathrm{10000}}^{\frac{-\mathrm{2}k}{d}}\times d}{n},（15）

其中k在区间[\mathrm{0},\frac{d}{\mathrm{2}}]内，\mathrm{2}k和\mathrm{2}k+\mathrm{1}分别用于表示嵌入维度中偶数和奇数位置，n是序列长度，d是嵌入维度.该方法考虑了输入嵌入维度和长度，使得较低维度的嵌入在计算时也能正确表达距离关系.加入位置的用户访问序列记为E_c(u_k)=\{{\widehat{e}}_{\mathrm{1}}^{u_k},{\widehat{e}}_{\mathrm{2}}^{u_k},\dots ,{\widehat{e}}_n^{u_k}\}.

3.2.2 时空依赖编码

沿用WANG和LI等^{［17，28］}的方法，每个用户分别构建一个时间矩阵M^{t,u_k}和空间矩阵M^{s,u_k}，用于记录任意两个签到之间的时间间隔和空间间隔.对于两个矩阵中的元素，计算方式如下：

t_{i,j}^{u_k}=\mathrm{m}\mathrm{i}\mathrm{n}\left(t_{\mathrm{t}\mathrm{h}\mathrm{r}},⌊\frac{\left|t_i^{u_k}-t_j^{u_k}\right|}{t_{\mathrm{m}\mathrm{i}\mathrm{n}}^{u_k}}⌋\right),（16）

s_{i,j}^{u_k}=\mathrm{m}\mathrm{i}\mathrm{n}\left(s_{\mathrm{t}\mathrm{h}\mathrm{r}},⌊\mathrm{h}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{e}\left(l_i^{u_k},l_j^{u_k}\right)⌋\right),（17）

其中t_{\mathrm{m}\mathrm{i}\mathrm{n}}^{u_k}=\mathrm{m}\mathrm{i}\mathrm{n}\left(\left|t_i^{u_k}-t_j^{u_k}\right|\right)，表示用户u_k时间间隔的最小值.\mathrm{h}\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{s}\mathrm{i}\mathrm{n}\mathrm{e}(·,·)表示Haversine公式，用于计算两者之间坐标的距离.t_{\mathrm{t}\mathrm{h}\mathrm{r}},s_{\mathrm{t}\mathrm{h}\mathrm{r}}分别代表时间间隔和空间距离的阈值，是超参数.在得到这些时间和空间关系之后，通过嵌入操作来分别获得两组嵌入矩阵E^{t_K,u_k},E^{t_V,u_k}\in {\mathit{ℝ}}^{n\times n\times d}和E^{s_K,u_k},E^{s_V,u_k}\in {\mathit{ℝ}}^{n\times n\times d}.

3.2.3 扩展的自注意力模块

接下来展示如何使用处理好的序列信息以及时空上下文信息，即图1中的扩展的注意力模块.

WANG等^［16］虽然在时空信息方面扩展了注意力机制，但是没有充分考虑自适应图与注意力模块的梯度关系.他们沿用了LI等^［28］使用的自注意力模型，这是一种类似于Pre-LN型^［30］Transformer的Encoder的实现形式，其中Attention表示时空间隔感知自注意力机制，图中简化了它原有的结构（具体的信息聚合过程没有画出，dropout层也被省去），FNN表示前馈神经网络.接下来的表述中，用“Attn”代替“Attention”，“LN”代替“Layer Norm”.假设输入为x\in {\mathit{ℝ}}^d，该模块的输出\mathrm{A}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{o}\mathrm{u}\mathrm{t}}可以表示为：

\begin{array}{c}\mathrm{A}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\\ \mathrm{F}\mathrm{N}\mathrm{N}\left(\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)\right)\right)+\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)\right),\end{array}（18）

上式对x的梯度为：

\begin{array}{c}\frac{\partial \mathrm{A}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{o}\mathrm{u}\mathrm{t}}}{\partial x}=\\ \frac{\partial \mathrm{F}\mathrm{N}\mathrm{N}\left(\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)\right)\right)}{\partial x}+\frac{\partial \mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)\right)}{\partial x},\end{array}（19）

值得注意的是，该结构内部较短的残差机制并不能给输入较大的梯度，受TAKASE等^［30］的启发，本文在该模块中加入额外的残差机制，修改后自注意力模块的输出为：

\begin{array}{c}\mathrm{A}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{o}\mathrm{u}\mathrm{t}}=\\ \mathrm{F}\mathrm{N}\mathrm{N}\left(\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)+x\right)\right)+\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)+x\right)+x,\end{array}（20）

此时对x的梯度为：

\begin{array}{c}\frac{\partial \mathrm{A}\mathrm{t}\mathrm{t}{\mathrm{n}}_{\mathrm{o}\mathrm{u}\mathrm{t}}}{\partial x}=\frac{\partial \mathrm{F}\mathrm{N}\mathrm{N}\left(\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)+x\right)\right)}{\partial x}+\\ \frac{\partial \mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left(x\right),x,x\right)+\mathrm{L}\mathrm{N}\left(x\right)+x\right)}{\partial x}+I,\end{array}（21）

在反向传播时，更大的梯度值经过自注意力层传递到自适应图部分，能为自适应图习得更有效的POI嵌入，使得在下一轮前向传播时构建更优质的图结构.

此时注意力模块的处理过程为，将输入的用户签到序列E_c(u_k)送入堆叠了N块的自注意力块：

\begin{array}{c}{x}_i^{u_k}=\mathrm{F}\mathrm{N}\mathrm{N}\left(\mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left({\widehat{e}}_i^{u_k}\right),{\widehat{e}}_i^{u_k},{\widehat{e}}_i^{u_k}\right)+\mathrm{L}\mathrm{N}\left({\widehat{e}}_i^{u_k}\right)+{\widehat{e}}_i^{u_k}\right)\right)+\\ \mathrm{L}\mathrm{N}\left(\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{n}\left(\mathrm{L}\mathrm{N}\left({\widehat{e}}_i^{u_k}\right),{\widehat{e}}_i^{u_k},{\widehat{e}}_i^{u_k}\right)+\mathrm{L}\mathrm{N}\left({\widehat{e}}_i^{u_k}\right)+{\widehat{e}}_i^{u_k}\right)+{\widehat{e}}_i^{u_k},\\ {\widehat{e}}_i^{u_k}=x_i^{u_k},\end{array}（22）

其中i\in [\mathrm{1},n]. 将第N块的输出结果进行层归一化，得到扩展的自注意力模块的结果：

h_i^{u_k}=\mathrm{L}\mathrm{N}\left(x_i^{u_k}\right).

3.3 预测和优化

3.3.1 模型预测

经过扩展的自注意力模块处理后得到的输出为H(u_k)=\{h_{\mathrm{1}}^{u_k},h_{\mathrm{2}}^{u_k},...,h_n^{u_k}\}，该序列充分捕获了用户的长期依赖和短期兴趣转变的倾向，因此当前用户在时刻t+\mathrm{1}时对每个POI l_l的兴趣分数可以通过如下方式计算：

{\widehat{y}}_{t+\mathrm{1},l}^{u_k}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left(h_t^{u_k}{\tilde{e}}_l^{\mathrm{\top }}\right)}{{\displaystyle \sum _{j=\mathrm{1}}^{|L|}}\mathrm{e}\mathrm{x}\mathrm{p}\left(h_t^{u_k}{\tilde{e}}_j^{\mathrm{\top }}\right)},（23）

其中{\tilde{e}}_i表示\tilde{E}的第i行，是通过去相关图学习方法得到的POI嵌入，h_t^{u_k}表示用户u_k在时刻t的兴趣状态.在推荐评估阶段，根据兴趣分数为当前用户排列出他可能访问的POI，得到一个top-k列表.

3.3.2 模型优化

本文采用交叉熵损失函数来度量预测POI与目标POI之间的距离：

{\mathrm{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{c}}=-\sum _{u_k\in U}\sum _{i\in C\left(u_k\right)}{\displaystyle \sum _{j=\mathrm{1}}^n}{y}_{i,j}^{u_k}\mathrm{l}\mathrm{o}\mathrm{g}\left({\widehat{y}}_{i,j}^{u_k}\right),（24）

其中y_{i,j}^{u_k}是真正例标签，当用户在时刻i访问位置l_j时，其值为1，否则为0.因此，在加入多头注意力的正则化项后，最终的损失函数为：

L={\mathrm{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{c}}+\tau {\left|\left|\theta \right|\right|}_{\mathrm{2}},（25）

其中\tau是超参数，{\left|\left|\theta \right|\right|}_{\mathrm{2}}是模型所有参数的L2正则项.

4 实验

4.1 实验设置

4.1.1 数据集

本文在两个分别从Foursquare（https：//sites.google.com/site/yangdingqi/home/foursquare-dataset）和Gowalla（https：//snap.stanford.edu/data/loc-Gowalla.html）上收集到的真实数据集上执行实验.其中Foursquare数据集包括了从2012年4月到2013年9月在新加坡的签到数据，Gowalla数据集包括了从2009年3月到2010年10月在美国的加利福尼亚州和内华达州的签到数据.沿用现有工作的设定，实验中将被访问次数小于5的POI以及签到数目小于5的用户视作不流行的POI和不活跃的用户，在数据预处理时将其剔除.处理后的两个数据集的统计信息如表1所示.在数据集划分时，本文采用了留一法策略.

4.1.2 基线算法

本文将DGRAN与传统方法（FPMC）、基于RNN的方法（Flashback）、基于注意力的方法（TiSASRec和GeoSAN）、基于GNN的方法（Graph-Flashback和AGRAN）进行比较.

FPMC^［31］：使用矩阵分解和马尔可夫链来建模POI之间转变关系.

Flashback^［9］：使用时间和空间间距来增强上下文感知能力的基于RNN的模型.

TiSASRec^［28］：基于自注意力机制的模型，通过使用签到序列中POI间的时间间隔信息，使得注意力机制能更好地感知时间关系.

GeoSAN^［12］：基于自注意力机制的模型，通过网格映射来编码地理位置关系，在序列处理时额外建模位置关系.

Graph-Flashback^［16］：为学习POI表示构建了一个时空知识图谱.为了公平性，本文除去了它的社会关系.

AGRAN^［17］：使用自适应图学习POI表示，并为自注意力机制扩展了时间和空间信息.

4.1.3 评估指标

本文使用了推荐系统里的两个标准评估方法，截断到前k的召回率Recall（Recall@k）以及截断到前k的归一化折损累计增益NDCG（NDCG@k）：

\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}@k=\frac{\mathrm{1}}{\left|U\right|}\sum _{u_k\in U}\frac{\left|L_{u_k}^T\bigcap L_{u_k}^R\right|}{\left|L_{u_k}^T\right|},（26）

其中L_{u_k}^T是真正例列表，L_{u_k}^R是用户u_k的top-k推荐列表.

\mathrm{N}\mathrm{D}\mathrm{C}\mathrm{G}@k=\left\{\begin{array}{c}\frac{\mathrm{1}}{\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_l+\mathrm{1}\right)},\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_l\le k\\ \mathrm{0},\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_l>k\end{array}\right.,（27）

其中\mathrm{r}\mathrm{a}\mathrm{n}{\mathrm{k}}_l表示目标POI l_l在排名列表里的位置.k的取值范围为｛2，5，10｝.

4.1.4 实现细节

所有实验在一个NVIDIA RTX 4060ti 16 GB GPU上执行.为了公平起见，本文将所有模型的POI嵌入维度设置为64，其他参数使用模型表现最好的参数.对于DGRAN，Foursquare的L2正则项系数\tau设置为0.0005，Gowalla的L2正则项系数\tau设置为0.0001；Foursquare的图卷积的层数设置为5，Gowalla的图卷积的层数设置为4；Foursquare的\gamma设置为0.01，Gowalla的\gamma设置为0.005；Foursquare的{\lambda }_{\mathrm{1}}设置为140，Gowalla的{\lambda }_{\mathrm{1}}设置为220，{\lambda }_{\mathrm{2}}设置为0.001，学习率设置为0.001，丢失率设置为0.4，自注意力模块设置为2层，多头机制设置为2头，空间距离和时间距离的上界s_{\mathrm{t}\mathrm{h}\mathrm{r}}、t_{\mathrm{t}\mathrm{h}\mathrm{r}}都设置为256.

4.2 对比实验

表2和表3展示了所有模型在Foursquare和Gowalla上的推荐性能，可以得出如下结果：

（1）DGRAN超越了所有类型的基线.本文将DGRAN的性能提升归因于两方面：1）去相关的自适应图能够学到更优质的图结构，进而为POI学到更丰富的表示，差异化POI表示的各个维度能让该向量表示更具表达能力，从而使得后续的自注意力网络能更好把握住POI之间的潜在关系以及用户的兴趣变化趋势；2）额外的残差机制能够给予图方法更大的梯度，在帮助POI表示学习的同时，产生更优质的图结构；

（2）传统方法FPMC由于马尔科夫链自身的弊病，无法构建更高阶的关系模式，从而无法准确建模用户的潜在偏好，导致其预测出效果不佳；

（3）基于RNN类的方法Flashback虽然在建模过程中额外建模了时空信息对当前时刻的周期性影响，但是由于RNN类方法更适合建立短期序列关系并具有一定的遗忘性且无法像自注意力机制一样直接建模点对点的关系，导致其无法充分把握当前时刻之前的所有时刻对当前的重要性，导致其最终预测效果不足；

（4）基于注意力的模型源自于其点对点的注意力计算方式，使得其最终结果优于传统方法和基于RNN的模型.虽然GeoSAN和TiSASRec建模时间的方式略有不同，但GeoSAN还从POI的位置信息中获益，从而达到了更好的预测效果.不过这些方法忽略了输入嵌入自身的质量，这导致仅靠自注意力机制也无法精确获取用户兴趣的潜在偏好和转移关系；

（5）使用图神经网络的模型通过建模POI关系图，为POI学习到富含表达能力的向量表示，去除了POI之间的噪声信息，这使得它们能胜过其他模型.其中AGRAN更是因为使用了自适应图方法，使其在建模POI图时更胜一筹，因此该模型的POI表示质量更高，不过由于它忽视了自适应图与自注意力网络的梯度关系，导致反向传播时不能为图网络提供足够的梯度，影响了图结构的更新，从而导致模型的性能不足.

4.3 消融实验

为了检验DGRAN中主要设计的影响，本文执行了消融实验，移除了不同模块的3个变种如下：

● w/o decor：这个变种移除了去相关机制，即使用简单图的传播方法.

● w/o extra res：这个变种移除了额外的残差连接.

● w/o decor & extra res：这个变种移除了局部注意力和额外的残差连接.

图2展示了两个数据集上的消融实验结果，对其分析可得：

（1）去相关方法通过减小表示不同维度间的相似度，有助于生成更有价值的自适应图结构，使得图方法能够学习到更具表达力的POI表示，进而影响模型的预测能力，这是一种需要更少先验知识的有效方法；

（2）额外的残差机制的有无影响了模型的表现，即从注意力模块流向自适应图的梯度显著影响着自适应图的学习能力，即使有着其他各种方法的加持，在没有足够梯度的情况下，POI的质量也难以得到保证.

4.4 超参数研究

为探究去DGRAN的图层数l_{num}对模型效果的影响，本文在区间｛2，3，4，5｝测试​模型的性能.从图3可以看出在Gowalla数据集上层数为4时效果达到最优，而在Foursquare数据集上层数为4和5时效果相似，这说明在更稀疏的Gowalla数据集上，过度采样更远邻居的信息不利于自身信息的表达.

5 结论

本文提出了为下个POI推荐而建的DGRAN模型，进行了对自适应图学习方法的探索，以及对自注意力机制在应用中的改进；同时，本文还在理论与实践上说明了额外残差连接对自适应图与自注意力机制相结合时的重要性.两个真实数据集上的结果证明了DGRAN性能的优越性.接下来的工作将继续探索自适应图方法的优化.

参考文献

[1] YU Z， LIAN J， MAHMOODY A， et al. Adaptive user modeling with long and short-term preferences for personalized recommendation［C］//IJCAI. International Joint Conferences on Artificial Intelligence. Macao： Morgan Kaufmann， 2019： 4213-4219.

[2] FENG S， LI X， ZENG Y， et al. Personalized ranking metric embedding for next new POI recommendation［C］IJCAI. International Joint Conferences on Artificial Intelligence. Buenos Aires：Morgan Kaufmann， 2015： 2069-2075.

[3] HAN P， LI Z， LIU Y， et al. Contextualized point-of-interest recommendation［C］//IJCAI. International Joint Conferences on Artificial Intelligence. Yokohama： Morgan Kaufmann， 2020： 2484-2490.

[4] CHENG C， YANG H， LYU M R， et al. Where you like to go next： Successive point-of-interest recommendation［C］//IJCAI. International Joint Conference on Artificial Intelligence.Beijing：Morgan Kaufmann， 2013： 2605-2611.

[5] QIAN T， LIU B， NGUYEN Q V H， et al. Spatiotemporal representation learning for translation-based POI recommendation［J］. ACM Transactions on Information Systems（TOIS）， 2019， 37（2）： 1-24.

[6] ZHAO S， ZHAO T， YANG H， et al. STELLAR： Spatial-temporal latent ranking for successive point-of-interest recommendation［C］//AAAI. Proceedings of the AAAI Conference on Artificial Intelligence.Phoenix： AAAI， 2016： 315-322.

[7] KONG D， WU F. HST-LSTM： A hierarchical spatial-temporal long-short term memory network for location prediction［C］//IJCAI. International Joint Conferences on Artificial Intelligence.Stockholm：Morgan Kaufmann， 2018： 2341-2347.

[8] LIU Q， WU S， WANG L， et al. Predicting the next location： a recurrent model with spatial and temporal contexts［C］//AAAI. Proceedings of the AAAI conference on Artificial Intelligence. Phoenix： AAAI， 2016：194-200.

[9] YANG D， FANKHAUSER B， ROSSO P， et al. Location prediction over sparse user mobility traces using RNNs： Flashback in hidden states！［C］//IJCAI. International Joint Conference on Artificial Intelligence. Yokohama： Morgan Kaufmann， 2020： 2184-2190.

[10] LUO Y， LIU Q， LIU Z. Stan： Spatio-temporal attention network for next location recommendation［C］//IC 3C2. The Web Conference. Ljubljana： ACM， 2021： 2177-2185.

[11] HUANG L， MA Y， WANG S， et al. An attention-based spatiotemporal LSTM network for next POI recommendation［J］. IEEE Transactions on Services Computing， 2019， 14（6）： 1585-1597.

[12] LIAN D， WU Y， GE Y， et al. Geography-aware sequential location recommendation［C］//ACM. ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. San Diego： ACM， 2020： 2009-2019.

[13] LI Y， CHEN T， LUO Y， et al. Discovering collaborative signals for next POI recommendation with iterative Seq2Graph augmentation［C］//IJCAI. International Joint Conference on Artificial Intelligence. Montreal： Morgan Kaufmann， 2021： 1491-1497.

[14] 姚静怡，李艳红，黄银峰，等.灵活的属性社区搜索方法［J］.中南民族大学学报（自然科学版），2024，43（3）：358-369.

[15] WANG Z， ZHU Y， ZHANG Q， et al. Graph-enhanced spatial-temporal network for next POI recommendation［J］. ACM Transactions on Knowledge Discovery from Data， 2022， 16（6）： 1-21.

[16] RAO X， CHEN L， LIU Y， et al. Graph-flashback network for next location recommendation［C］//ACM. ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Washington D C： ACM， 2022： 1463-1471.

[17] WANG Z， ZHU Y， WANG C， et al. Adaptive graph representation learning for next POI recommendation［C］//ACM. International ACM SIGIR Conference on Research and Development in Information Retrieval.Taipei： ACM， 2023： 393-402.

[18] WU Z， PAN S， CHEN F， et al. A comprehensive survey on graph neural networks［J］. IEEE Transactions on Neural Networks and Learning Systems， 2020， 32（1）： 4-24.

[19] LIU H， HAN H， JIN W， et al. Enhancing graph representations learning with decorrelated propagation［C］//ACM. ACM SIGKDD Conference on Knowledge Discovery and Data Mining. Long Beach： ACM， 2023： 1466-1476.

[20] QIN Y， FANG Y， LUO H， et al. Next point-of-interest recommendation with auto-correlation enhanced multi-modal transformer network［C］//ACM. International ACM SIGIR Conference on Research and Development in Information Retrieval. Madrid： ACM， 2022： 2612-2616.

[21] YANG S， LIU J， ZHAO K. GETNext： Trajectory flow map enhanced transformer for next POI recommendation［C］//ACM. ACM SIGIR Conference on research and development in information retrieval. Madrid： ACM， 2022： 1144-1153.

[22] YIN F， LIU Y， SHEN Z， et al. Next POI recommendation with dynamic graph and explicit dependency［C］//AAAI. Proceedings of the AAAI Conference on Artificial Intelligence. Washington D C： AAAI， 2023： 4827-4834.

[23] WU F， SOUZA A， ZHANG T， et al. Simplifying graph convolutional networks［C］//IMLS. International Conference on Machine Learning. Long Beach： PMLR， 2019： 6861-6871.

[24] WANG Z， ZHU Y， LIU H， et al. Learning graph-based disentangled representations for next POI recommendation［C］//ACM. International ACM SIGIR Conference on Research and Development in Information Retrieval. Madrid： ACM， 2022： 1154-1163.

[25] WANG J， YANG B， LIU H， et al. Global spatio-temporal aware graph neural network for next point-of-interest recommendation［J］. Applied Intelligence， 2023， 53（13）： 16762-16775.

[26] TAO H， ZENG J， WANG Z， et al. Next POI recommendation based on spatial and temporal disentanglement representation［C］//IEEE. IEEE International Conference on Web Services. Chicago： IEEE， 2023： 84-90.

[27] CHANG J， GAO C， ZHENG Y， et al. Sequential recommendation with graph neural networks［C］//ACM. International ACM SIGIR Conference on Research and Development in Information Retrieval. Montreal： ACM， 2021： 378-387.

[28] LI J， WANG Y， MCAULEY J. Time interval aware self-attention for sequential recommendation［C］//ACM. ACM International Conference on Web Search and Data Mining. Houston：ACM， 2020： 322-330.

[29] FOUMANI N M， TAN C W， WEBB G I， et al. Improving position encoding of transformers for multivariate time series classification［J］. Data Mining and Knowledge Discovery， 2024， 38（1）： 22-48.

[30] TAKASE S， KIYONO S， KOBAYASHI S， et al. B2t connection： Serving stability and performance in deep transformers［C］//ACL. Annual Meeting of the Association for Computational Linguistics. Toronto： ACL， 2023： 3078-3095.

[31] RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation［C］//IW 3C2. International Conference on World Wide Web. Raleigh： ACM， 2010： 811-820.

基金资助

湖北省自然科学基金资助项目(2017CFB135)

中央高校基本科研业务费专项资金资助项目(CZY23019)

网络创新及应用型人才课程实践教学研究资助项目（2019年第一批）