结合对比学习的细粒度长短期偏好序列推荐

杨兴耀 ,  武彦孚 ,  张祖莲 ,  于炯 ,  钟志强 ,  陈羽

新疆大学学报(自然科学版中英文) ›› 2026, Vol. 43 ›› Issue (2) : 156 -168.

PDF (2437KB)
新疆大学学报(自然科学版中英文) ›› 2026, Vol. 43 ›› Issue (2) : 156 -168. DOI: 10.13568/j.cnki.651094.651316.2025.01.18.0001
智能建模与工程计算专题

结合对比学习的细粒度长短期偏好序列推荐

作者信息 +

Fine-Grained Long and Short-Term Preference Sequential Recommendation with Contrastive Learning

Author information +
文章历史 +
PDF (2495K)

摘要

序列推荐旨在利用用户长短期偏好进行项目推荐,但大部分序列推荐系统面临学习力不足、长短期偏好融合不充分等问题.针对上述问题,本文提出一种基于对比学习的细粒度长期与短期偏好序列推荐方法.1)针对长短期偏好融合不充分的问题,提出长短期偏好学习层和长短期偏好融合层.首先,将用户行为序列分割为多段时间会话,并利用门控循环单元提取每段会话中用户的短期偏好,然后通过多头注意力机制融合短期偏好序列捕获用户长期偏好.最后,依据时间跨度自适应融合长期与短期偏好,从而获得更具代表性和全面性的偏好表示.2)针对数据稀疏导致学习力不足的问题,设计一种偏好表示对比学习任务,引入代理用户偏好进行对比学习,以实现更加精确的偏好推荐.结果表明:与次优方法相比,模型在3个公共数据集的Hit@20指标分别提高了9.84%、6.40%、1.52%,MAP@20指标分别提高了22.64%、2.42%、6.42%,证明本文所提方法的有效性.

Abstract

Sequence recommendation aims at item recommendation using users' long and short-term preferences, but most sequence recommendation systems face problems such as insufficient learning power and inadequate fusion of long and short-term preferences. Aiming at the above problems, this paper proposes a fine-grained long and short-term preference sequence recommendation method based on contrastive learning. 1) To address the problem of insufficient long and short-term preference fusion, this paper proposes a long and short-term preference learning layer and a long and short-term preference fusion layer. Firstly, it splits the user behaviour sequence into multi-period sessions and extracts the user's short-term preference in each session by using gated recurrent units, and then fuses the short-term preference sequences to capture the user's long-term preference through the multi-head attention mechanism. Finally, the long-term and short-term preferences are fused adaptively based on the time span to obtain a more representative and comprehensive preference representation. 2) Aiming at the problem of insufficient learning power due to data sparsity, a preference representation comparison learning task is designed to introduce agent user preferences for comparison learning to achieve more accurate preference recommendation. The experimental results show that: compared to the sub-optimal methods, the model improves the Hit@20 metric by 9.84%, 6.40%, and 1.52%, and the MAP@20 metric by 22.64%, 2.42%, and 6.42% on three public datasets, respectively, demonstrating the effectiveness of the proposed method.

Graphical abstract

关键词

推荐系统 / 序列推荐 / 对比学习 / 自注意力机制 / 门控循环单元

Key words

recommender system / sequential recommendation / contrastive learning / self-attention mechanism / gated recurrent unit

引用本文

引用格式 ▾
杨兴耀,武彦孚,张祖莲,于炯,钟志强,陈羽. 结合对比学习的细粒度长短期偏好序列推荐[J]. 新疆大学学报(自然科学版中英文), 2026, 43(2): 156-168 DOI:10.13568/j.cnki.651094.651316.2025.01.18.0001

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

随着信息技术的快速发展,推荐系统在新闻[1]、电子商务[2]和视频[3]等在线服务中发挥着不可或缺的作用.推荐系统首先分析用户的历史交互以推断其偏好,然后推荐符合这些偏好的项目.而在实践中,用户偏好难以追踪,因为他们往往具有稳定的长期偏好和动态的短期偏好.故准确建模和区分用户的长期和短期偏好至关重要.

深度学习的广泛应用推动了基于序列推荐算法的发展,且这些算法已在推荐系统中占据重要地位.在初始阶段,卷积神经网络[4‒5]或循环神经网络[6‒7]被应用于序列推荐模型,以学习用户偏好的时间特征,但这些方法通常具有短期记忆效应,并优先考虑与近期用户行为密切相关的项目.而下一个交互项目的预测不仅取决于最近的交互项目,还受更早的交互项目影响.为应对这一挑战,研究人员转向自注意力机制,其擅长捕捉长序列数据中的全局依赖关系[8‒9].为准确学习用户偏好,现有序列推荐算法利用2种不同的深度模型分别学习用户的长期偏好和短期偏好,然后将学习到的偏好融合到用户的最终偏好中.

综上所述,虽然现有用户长期和短期偏好建模方法表现出良好的性能,但仍存在以下缺点:1)这些方法未将用户的历史交互序列按时间窗口细分为多个会话,限制了捕捉短期偏好变化的能力.通过将用户的行为序列概念化为一系列的行为会话,可以更好理解用户在每个会话中的即时偏好,这些偏好可能与他们的长期偏好有所不同[10‒11].2)偏好融合仅使用静态权重[12]或注意系数[13]进行长期和短期偏好的融合,无法实现细粒度的融合.现有模型中偏好嵌入融合多采用标量加权,不能准确区分不同维度的贡献.因为用户的行为可能对偏好的某些方面依赖性更强,而对其他方面依赖性较小,单纯使用标量加权来融合偏好向量过于粗略.另外,融合需要考虑用户当前行为与上一次行为之间的时间跨度,如果跨度过长,则用户的长期偏好对下一次预测的贡献更大;反之,用户的短期偏好影响更大.3)在用户行为交互数据稀疏[14]的情况下,以往区分长期和短期偏好的序列推荐方法通常仅依赖项目预测任务[15]来训练模型参数,而忽略探索额外的自监督信号[16]来训练模型,导致对用户偏好的学习不足,限制了推荐模型性能的提升.

为解决上述问题,本文提出一种基于对比学习的细粒度长期和短期偏好序列推荐方法,主要功能如下:1)将用户的交互序列分割成多个时间会话序列,并利用门控循环单元(Gated Recurrent Unit, GRU)提取每个会话中的短期偏好,随后通过多头注意力网络将短期偏好融合为长期偏好.2)提出一种细粒度的融合机制,在基于时间跨度的维度上融合长期偏好和短期偏好,从而获得更具代表性、更全面的融合偏好表示.3)设计了一个偏好表示对比学习任务,将平均操作计算得到的代理偏好与编码器输出的偏好进行对比学习,旨在帮助模型更精准捕捉用户偏好,并有效缓解数据稀疏问题,同时减少信息丢失.

1 相关工作

1.1 长短期偏好序列推荐

在序列推荐系统中,准确建模并区分用户的长期和短期偏好至关重要.以往序列推荐模型通常无法准确区分用户的长期和短期偏好,且采用统一的偏好表示,无法完全捕捉用户偏好的变化.针对这一问题,研究人员提出了区分用户长期和短期偏好的方法.Zhao等[17]分别利用矩阵分解来模拟长期偏好,利用循环神经网络来模拟短期偏好.Yu等[18]开发了一种长短期记忆网络(Long Short-Term Memory, LSTM)变体,用于建模短期偏好,并利用非对称奇异值分解来建模长期偏好.Tang等[4]提出一种基于GRU的神经网络模型,通过建模用户的历史行为序列来捕捉长短期偏好,旨在为会话推荐任务提供精准的个性化推荐.Niu等[19]利用自注意力机制捕捉用户历史行为交互中物品之间的关系,从而更好学习用户的短期偏好表示,同时提出BiGRU网络在更深层次上提取用户长期偏好的特征.而这些方法并未对用户的历史交互序列进行会话分割,限制了其识别短期偏好波动的能力.在融合长期和短期偏好方面,一些现有序列推荐模型采用注意力网络生成的静态权重或动态注意力系数.He等[20]采用局部约束的多头机制对整个序列进行编码,增强捕捉短期偏好能力的同时,保持建模长期偏好的能力,最后使用多层感知机(Multilayer Perceptron, MLP)来融合这些偏好.Yan等[21]利用卷积神经网络提取行为序列中的短期偏好,利用门控循环单元挖掘行为序列中的长期偏好,并利用注意力机制帮助网络自动学习2种偏好的融合系数.

但上述方法在通过标量融合长期和短期偏好时,隐含假设同一偏好向量中各维度具有均等的重要性.故本文提出一种细粒度的方法,在偏好表示的维度上,按不同维度的重要性来融合长期和短期偏好.

1.2 对比学习

将对比学习引入序列推荐,通过比较不同序列间的相似性和差异性来学习特征表示,从而更准确捕捉用户的兴趣和偏好.这种学习方法能够有效利用大量序列数据(如用户浏览历史、购买记录等),提高模型的泛化能力和预测准确性.例如,Xie等[22]利用3种不同的数据增强方法生成不同视角的用户序列,并随机选取2种增强表示构建对比学习来预训练基于Transformer的模型.Yin等[23]在短序列中引入虚拟交互项实现信息增强以生成多个正样本,进而构建多对对比损失来消除假负样本对自注意力网络训练过程的不利影响.Ma等[24]提出一种序列到序列的训练策略,通过观察未来更长远的序列来挖掘额外的监督信号,首先使用解缠编码器获得给定序列的多种表示,然后在给定先前序列表示的条件下预测未来子序列的表示.Zhou等[25]利用交互信息最大化为用户表示学习设计了4个辅助自监督学习目标.Hao等[26]利用自注意力网络分别在项目级序列和特征级序列上,建模项目转移模式和特征转移模式,然后构建对比任务以缓解监督信号的稀疏性.

为更好区分用户的长期和短期偏好,本文对从原始交互序列中提取的偏好与通过平均池化获得的代理偏好进行对比学习.

2 模型框架

FLSR-CL(Fine-grained Long and Short-term preference sequential Recommendation with Contrastive Learning)模型主要由嵌入层、长短期偏好学习层、长短期偏好融合层、对比学习任务4部分组成.1)嵌入层;2)长短期偏好学习层:采用门控循环单元和自注意力机制,分别提取会话中的用户短期偏好,并融合短期偏好生成长期偏好;3)长短期偏好融合层:根据用户当前行为与序列中最后一个行为之间的时间跨度,自适应地在表征维度上对用户的长期与短期偏好进行细粒度融合;4)对比学习任务:引入表征对比学习来最大化长期与短期偏好之间的差异.该模型架构如图1所示.

2.1 嵌入层

设U={u1,u2,… ,uN}表示用户集合,N为用户数目.设V={v1,v2,… ,vM}表示项目集合,M为项目数目.将用户的交互历史根据时间排序为T个会话Su=(s1u,s2u,… ,sTu),其中每个会话siu={vi,1u,vi,2u,… ,vi,|Siu|u}为V的子集.

给定用户u的历史会话Su=(s1u,s2u,… ,sTu),通过计算用户对项目的评分r^u,v,模型将输出用户u最可能在下一个会话sT+1u中交互的K个项目.

引入可学习矩阵WI∈Rd×m,通过ev=WIv获取项目v∈V的嵌入,其中v为项目的单热向量表示.对于用户u∈U的嵌入同样通过eu=WUu∈Rd×l表示.用户u的会话siu=vi,1u,vi,2u,… ,vi,mu使用嵌入矩阵Ei=ei,1u,ei,2u,… ,ei,mu∈Rd×m表示,其中m=siu,且ei,ju∈Rd为项目vi,ju的嵌入向量.

2.2 长短期偏好学习层

2.2.1 短期偏好学习层

由于历史用户交互序列通常很长,仅使用RNN或Transformers等模型进行编码可能导致只关注长期或短期偏好.在短期偏好学习层中,会话siu内的项目嵌入被聚合以形成相应的会话嵌入siu∈Rd(即Ei),且会话之间共享相同的GRU模块.会话嵌入siu编码用户u的短期偏好,反映用户偏好在短时间内的波动.短期偏好提取如图2所示.

使用会话分段区分用户的长期和短期偏好,并借助GRU处理短期序列时捕获时间依赖性的能力,从会话中提取用户的短期偏好:

E^i=GRUEi,

式中:E^i=[e^i,1u,e^i,2u,… ,e^i,mu]∈Rd×m表示GRU输出矩阵,E^i最后一列e^i,mu表示会话siu的嵌入表示.由于用户当前偏好通常由最近的会话揭示,故最后一个会话sTu的嵌入e^T,mu被用作用户u的当前短期偏好嵌入zshortu.

通过上述机制,模型保留时间序列中局部上下文的信息,从而提升对短期兴趣变化的感知能力.此外,该模块为后续的长期偏好整合与对比学习提供了短期偏好表示基础.

2.2.2 长期偏好学习层

获得每个会话的短期偏好后,长期偏好学习层的任务是通过多头自注意力机制,融合多个短期偏好生成长期偏好zlong∈Rd.长期偏好提取如图3所示.

而自注意力机制无法感知输入序列中的位置信息.为捕捉会话间的时间顺序依赖关系,引入可学习的位置矩阵pi∈Rd,将其注入会话嵌入中:

S^=S+P,
s^iu=siu+pi,

式中:S^=[s^1u,s^2u,… ,s^Tu]∈Rd×T表示增强会话嵌入矩阵;S=[siu,s2u,… ,sTu]∈Rd×T表示原始会话嵌入矩阵;P=[p1,p2,… ,pT]∈Rd×T表示位置嵌入矩阵.

为更好生成长期偏好,采用多头自注意力网络将多个短期偏好融合为长期偏好:

MultiHeadSelfAttention(S^)=W1[H1;H2;…;Hh],

式中:[⋅;… ;⋅]表示h个注意力头的拼接;Hj∈Rdh×T(1≤j≤h)和W1∈Rd×d为可学习矩阵.为了生成每一个注意力头的表示,通过以下变换为每个增强会话嵌入构建查询向量(Query)、键向量(Key)和值向量(Value):

QjH=WjQS^, KjH=WjKS^, VjH=WjVS^,

式中:WjQ,WjK,WjV∈Rdh×d分别为查询、键、值的投影矩阵.

每个注意力头Hj均通过自注意力机制得到:

Hj=Self-Attention(QjH, KjH, VjH)=VjHSoftmax((QjH)TKjHd/h).

为捕捉潜在维度之间的非线性相互作用,将具有残差连接和层归一化的前馈网络FFN进一步应用于上述方程的输出,以获得最终会话嵌入矩阵:

Z=FFN(Norm(MultiHeadSelfAttention(S^)+S^)),

式中:Z=[z1u,z2u,… ,zTu]∈Rd×T,Z的每一列ziu对应会话siu.最终通过注意力机制融合用户信息生成长期偏好表示zlongu:

zlongu=∑i=1Tωiziu, ωi=exp(euTReLU(Wlziu)+bl)∑i=1Texp(euTReLU(Wlziu)+bl),

式中:Wl∈Rd×d、bl∈R分别为可学习的变换矩阵和偏差;ReLU为激活函数;eu 为用户嵌入,旨在建模用户的静态偏好特征,作为对比学习表达的一部分,与由短期和长期偏好融合生成的代理偏好e^u进行比对,从而优化用户偏好表示的一致性与区分性.

2.3 长短期偏好融合层

现有研究中,大多数模型在融合长短期偏好时通常采用简单拼接的方法,但这种方法忽略了用户偏好的动态性.在长短期偏好融合过程中,简单的组合方法可能无法充分捕捉用户偏好在不同情境下的差异,进而导致性能下降.当用户的下一步行为需要在极短时间内完成时,短期偏好尤为重要;而当下一步行为需要较长时间时,长期偏好则更为关键.故引入时间跨度信息Δt,通过自适应融合长期和短期偏好,更精准刻画用户真实偏好,从而显著提升推荐效果,如图4所示.

为对时间跨度信息Δt进行编码,先将其离散化为给定用户任何2次连续交互之间的最小时间间隔Δmin的倍数.考虑到用户行为间隔通常呈现显著的长尾分布特征,即存在少量时间跨度极大的离群样本,若直接进行线性映射将导致嵌入空间过大且极度稀疏.为此,引入截断阈值C以限制离散桶的规模上限.离散化的时间跨度δ计算方式为:

δ=OneHot(min(ΔtΔmin, C)), C=256,

通过min(·,C)操作实现对长尾样本的截断处理:当时间跨度超过C×Δmin时,将其统一映射为索引C.这一设计基于以下假设:超长周期的具体时长差异(如间隔1年与间隔2年)对当前短期偏好的影响趋于相似,将其归纳为统一的“长期历史”特征能够有效增强模型在稀疏数据下的鲁棒性.时间跨度Δt被映射到δ∈RC×1,即离散化时间跨度的单热向量.通过查找可学习的嵌入矩阵Y∈Rd×C获得Δt嵌入y∈Rd.经一层神经网络和逐元素变换,得到融合偏好表示zu:

g=sigmoid(Wlzlongu+Wszshortu+Wδy+bg),
zu=g⊗zshortu+(1-g)zlongu,

式中:Wl、Ws、Wδ∈Rd×d和bg∈Rd为可学习的权重矩阵和偏差向量;⊗表示向量的元素积.

采用融合偏好嵌入zu和项目嵌入ev的点积,根据用户u的预测分数r^u,v给出项目v:

r^u,v=sigmoid(zuTev).

2.4 对比学习任务

为更好分离长期和短期偏好,采用对比学习方法以提高其学习准确性.尽管通过无监督方式提取了长短期偏好,但无法确保二者完全分离,故引入对比学习来增强长短期偏好的嵌入表达.对比学习的核心思想是最大化来自不同视角的共同特征,从而获得有益的学习信号.

在序列推荐任务中,为避免数据增强可能导致的隐含信息丧失,直接使用序列本身提取的特征作为对比学习的信号,以实现精确偏好建模.首先,计算整个历史序列的平均表示得到长期偏好代理plongu∈Rd×1,计算最近会话中项目序列的平均表示得到短期偏好代理pshortu∈Rd×1.随后,在偏好代理和编码器输出偏好之间构建对比学习任务,以监督同一序列下的偏好表示是否相似:

plongu=1|Su|∑i=1|T|∑j=1|Siu|ei,ju,
pshortu=1|STu|∑i=1|STu|eT,iu,

式中:plongu为整个交互历史的平均表示,即长期代理偏好;pshortu为上一次会话中项目的平均表示,即短期代理偏好;4个对比学习任务表示为:

sim(zlongu,    plongu)>sim(zlongu,    pshortu),
sim(plongu,    zlongu)>sim(plongu,    zshortu),
sim(zshortu,    pshortu)>sim(zshortu,    plongu),
sim(pshortu,    zshortu)>sim(pshortu,    zlongu),

式中:sim(.,.)用于计算嵌入表示的相似度.根据编码器输出偏好与代理偏好之间的相似性,实现更准确偏好学习和解耦.

采用贝叶斯个性化排名(Bayesian Personalized Ranking, BPR)损失构建对比损失函数,以捕捉上述约束关系:

LossBPR(a,  p,  q)=σ(<a,  q> - <a,  p>),

式中:σ(⋅)为激活函数;<⋅,⋅>为向量内积.

最终的对比损失可通过代入zlongu、zshortu、plongu和pshortu得到:

ℒcl=f(zlongu,  plongu,  pshortu)+f(plongu,  zlongu,  zshortu)+f(zshortu,  pshortu,  plongu)+f(pshortu,  zshortu,  zlongu),

式中:f(⋅,⋅,⋅)表示BPR损失函数.

2.5 模型训练

为每个用户建立一个训练集Ou,其中训练数据o=s1,s2,… ,sT,sT+1∈Ou,令Vo+=ST+1为真值.对于每个商品v∈Vo+,抽样一个未观测的商品v'∉Vo+形成负样本集Vo-.最终的预测优化目标是商品v的预测得分高于商品v',即r^u,v>r^u,v'.基于BPR,损失函数定义为:

ℒBPR=-∑u∈U∑o∈Ou∑v∈Vo+, v'∈Vo-logσ(v^u,v-  v^u,v').

3 实验与分析

3.1 数据集

在数据集中,仅考虑隐式反馈(如点击),数据集中的显式反馈(如评分)被视为隐式交互.提取用户、项目以及评分数据,根据用户对交互记录进行分组,并将用户交互记录按时间戳升序的顺序排列,形成用户交互序列,同时过滤掉交互次数少于5次的用户和项目.对于每个数据集,选择70%的数据作为训练集、10%作为验证集,其余20%作为测试集,彼此独立无交叉.在3个真实数据集上进行实验,过程重复10次并报告平均结果,如表1所示.

Amazon Book数据集来源于Amazon平台.通过分析连续2次互动之间的时间间隔分布,发现大多数间隔小于2天.故在该数据集中,若2次连续互动的时间间隔超过2天,则将历史互动序列拆分为不同的会话.其项目数最多(约17万),但用户交互相对稀疏,平均每位用户仅包含12个会话.这种长尾分布较强的情形对推荐系统提出更高要求.本文方法通过代理偏好对比机制缓解稀疏性影响,提升了低频用户与项目的表示质量.

MovieLens-1M数据集来自MovieLens网站,包含用户的电影评分数据.对于该数据集,时间间隔阈值设置为2小时,与Amazon Book数据集的处理方法一致.MovieLens-1M的平均会话长度仅为6,更多依赖稳定偏好,本文所提长期-短期偏好融合结构能够根据不同数据集自适应调整权重.

Last.fm数据集是一个提供音频特征和元数据的免费平台,包含超过100万首当代流行音乐曲目[27].由于该数据集包含大量歌曲,为避免内存消耗,艺术家被视为项目(而非单独的歌曲).Last.fm的交互序列基于MovieLens-1M相同的时间间隔阈值2小时被拆分为会话.该数据集仅包含953名用户,但其交互数量高达1 664万,平均每位用户具有950个会话和超过18条会话长度,反映出极高的用户活跃度.这种高活跃低用户数的分布形态易导致行为集中度过高,即少数用户贡献了大部分交互,从而在模型训练中出现偏置问题.在此背景下,本文引入的对比学习模块可有效利用用户的重复行为,增强偏好表达的一致性.

3.2 评价指标

选择命中率(Hit)、平均绝对精度(MAP)和平均倒数排名(MRR)作为FLSR-CL性能的评估指标.令Su和S^u分别为真值会话和预测的top-k个项目集合,则Hit、MAP和MRR定义为:

Hit@k=1|U|∑u∈UI(|Su⋂S^u|>0),
MAP@k=1|U|(∑u∈U  ∑i∈Su⋂S^u∑j∈Su⋂S^uI(|Su⋂S^u|>0)γui),
MRR=1|U|(∑u∈U1rank(Su,  S^u)),

式中:|S^u|=k;若x为真,则Ix=1,否则Ix=0;γui为用户u对项目i的预测排名.

3.3 实验对比

为综合评价模型性能,选取8种具有代表性的序列推荐方法作为对比模型,涵盖不同的建模思想与技术路线,可分为以下几类:一般序列推荐模型,包括基于循环神经网络的II-RNN以及基于自注意力机制的SASRec和TiSASRec;结合对比学习的序列推荐模型,包括CL4Rec、IAFCL;融合长期与短期偏好建模的序列推荐模型,包括KPHAN、LSSRTI和FLSCSR.

II-RNN[28]:用于序列推荐的分层RNN模型,通过会话内RNN层对用户的短期偏好进行建模,引入会话间RNN层来捕获会话间的依赖关系.SASRec[29]:使用自注意力机制结合位置嵌入来捕捉用户长期偏好的语义,通过在每个时间步骤中自适应为先前的项目分配权重来识别相关项目.TiSASRec[30]:用序列推荐的时间间隔感知模型,将任意2个项目之间的相对时间间隔信息融入自注意力机制中,在用户学习过程中对不同项目进行加权.CL4Rec[22]:利用对比学习技术增强推荐系统的表示学习,通过区分正负样本对来捕捉用户行为的复杂模式,从而提高推荐的准确性和个性化.IAFCL[31]:通过结合数据增强和多视图融合策略,利用对比学习来提升序列推荐系统的表示学习能力和个性化推荐精度.KPHAN[32]:融合外部知识图谱信息与用户行为序列,通过多层次注意力机制捕获用户兴趣动态,以提升推荐效果.LSSRTI[20]:将用户行为序列划分为不同的时间窗口,利用GRU在不同时间窗口内捕捉用户的局部兴趣和全局兴趣,然后利用多头注意力机制融合用户的全局信息和局部信息.FLSCSR[33]:使用2个独立的编码器分别在基于过滤器的增强交互序列上建模用户的长期和短期兴趣,并构建对比学习任务以分别最大化全局和局部序列表示中长期和短期偏好表示之间的差异.

3.4 实验设置

为将交互划分为会话,对3个数据集的相邻交互时间间隔进行统计分析.Amazon Book数据集中约85%的相邻交互间隔在48小时以内,而MovieLens-1M和Last.fm由于用户活跃度较高,超过90%的相邻交互间隔在2小时以内.故选取48小时和2小时作为分割阈值,既能保证会话内偏好的连续性,又能有效切分不同时间段的兴趣漂移.为平衡计算效率与偏好覆盖范围,分别将Amazon Book、MovieLens-1M和Last.fm会话数T设置为10、6和4.该设置使截断后的序列能够覆盖95%以上用户的完整历史记录.此外,为确保与对比模型(如SASRec、CL4Rec)的公平性,将嵌入维度d统一设为64,Dropout比率设为0.5,最大训练轮数设为200.这种标准化的设置排除了模型容量差异对实验结果的干扰.

3.5 实验结果与分析

采用8个具有代表性的序列推荐基线模型,与FLSR-CL分别在Amazon Book、MovieLens-1M和Last.fm数据集上进行对比实验.在Amazon Book数据集上的模型性能对比结果如表2所示,最优结果用粗体表示、次优结果用下划线表示,下同.在MovieLens-1M数据集上的模型性能对比结果如表3所示.在Last.fm数据集上的模型性能对比结果如表4所示.

FLSR-CL在Hit@k、MAP@k和MRR方面优于基于RNN的模型II-RNN.因为RNN模型难以捕捉长期依赖关系,导致模型优先挖掘近期会话反映的用户偏好.由于近期会话主导了用户偏好的学习,基于RNN的模型更易受用户短期偏好波动的影响,无法充分捕捉稳定的长期偏好.FLSR-CL通过自注意力网络将局部会话中的短期偏好融合为长期偏好,使模型能够感知会话间的长期依赖关系,从而更好理解用户稳定的长期偏好.

FLSR-CL的表现优于基于注意力机制的基线模型.SASRec和TiSASRec可通过自注意力机制准确捕捉序列的长期依赖性,但不能充分捕捉短期依赖性的波动.KPHAN通过多层次的注意力机制学习用户的长期和短期偏好,但仍然没有准确捕捉复杂的用户行为(如不同时间段的偏好变化),尤其在长u的推荐任务中,长期偏好可能被过度稀释.相比之下,FLSR-CL不仅通过GRU在单次会话中学习用户短期偏好,而且还通过自注意力机制融合短期偏好来生成用户长期偏好.

FLSR-CL的表现优于对比学习的对比模型.CL4Rec能够在一定程度上捕捉用户的长期和短期偏好,但对某些特定类别的项目可能过于聚焦,导致推荐结果的单一性.IAFCL通过对项目间的对比学习进行增强,力求捕捉更精细的用户偏好信息,但可能过于依赖显式的对比学习过程,导致在数据稀疏或者高噪声场景下,模型表现不稳定.

虽然FLSCSR和LSSRTI同时考虑了长期和短期偏好,但仅利用静态权重或注意力分数进行粗略的偏好组合.与对比方法不同,FLSR-CL使用时间跨度信息在维度级别控制长期和短期偏好嵌入的融合,用户当前时刻与上一次交互项目的时间跨度越短,短期偏好的比例越大.值得注意的是,FLSCSR和FLSR-CL的推荐性能优于其他对比模型,表明对比学习不仅可以缓解数据稀疏问题,还可以更充分学习长期和短期偏好表示.

总体而言,本文所提FLSR-CL模型在所有指标上均优于现有对比基线模型.特别是在稀疏性较高的Amazon Book数据集上,FLSR-CL相比次优方法在Hit@20上提升了9.84%,在MAP@20上提升了22.64%;在MovieLens-1M和Last.fm数据集上,Hit@20分别提升了6.40%和1.52%,MAP@20分别提升了2.42%和6.42%.这种性能的提升验证了本文所提模型在细粒度偏好建模方面的有效性.

3.6 消融实验

为验证FLSR-CL设计的合理性,对所提模型进行消融实验,分别研究GRU、时间跨度信息门控操作以及对比学习的有效性.为此,将FLSR-CL与其变体进行比较.

FLSR-CL+A的时间门被池化函数取代,该函数通过对长期偏好嵌入和短期偏好嵌入进行平均来生成当前偏好嵌入.FLSR-CL+S的自注意力机制用于取代时间跨度信息门控操作以及融合长期和短期偏好.FLSR-CL-G+S的自注意力机制用于取代GRU来提取短期偏好.FLSR删除了对比学习模块.

由图5~7可知,与FLSR-CL相比,变体FLSR-CL+A和FLSR-CL+S的性能都有明显下降.1)结果证明了使用时间跨度感知门向量自适应调节长期和短期偏好对当前偏好学习贡献的有效性.2)使用带有时间门的细粒度融合比使用固定权重的细粒度融合更好,这意味着提出建议时会更加准确,且与用户当时的需求相关.3)通过简单的平均池化操作和自注意力网络对用户长期和短期偏好的融合仅是在嵌入层面的偏好融合,未区分不同维度嵌入的重要性.

由表5可知,将GRU替换为自注意力机制进行短期偏好提取的变体FLSR-CL-G+S,相比FLSR-CL,在性能上有所下滑.这是因为每个会话都属于一个短序列,在短序列建模中,GRU比自注意力机制具有更好的处理能力.此外,GRU可以捕捉序列中的时间关系,故使用GRU提取会话中的短期偏好比自注意力机制更为合适.通过对比FLSR与FLSR-CL的性能,发现FLSR-CL在不同数据集上均表现出不同程度的提升.这是因为表征对比学习任务通过降低长期和短期偏好的相似度来优化用户的长期和短期偏好表征,从而得到更准确的偏好表征.

4 结束语

针对目前大部分序列推荐系统学习力不足、长短期偏好融合不充分等问题,本文提出一种带有对比学习的细粒度长短期偏好模型(FLSR-CL),该模型旨在提高用户偏好预测的稳定性和准确性.为获得用户偏好的全局稳定性和局部波动性,FLSR-CL采用三阶段方法:首先,考虑用户偏好的时间波动特性,将用户行为序列划分为多个会话,使模型能够更好捕捉长期和短期的偏好变化;其次,通过GRU建模用户的短期偏好,使用多头自注意机制来建模用户的长期偏好;随后,通过时间跨度信息从维度级别嵌入自适应融合用户的长期和短期偏好;最后,为缓解数据稀疏和减少信息丢失问题,在训练阶段引入对比学习来优化用户的长期和短期偏好表示.并在真实数据集上证明了FLSR-CL的有效性.

从实际应用角度来看,本文所提方法FLSR-CL尤其适用于高时效性场景(如新闻推荐、限时促销、电商流媒体推荐)中用户偏好快速变化的任所提务背景.在此类场景下,传统模型由于依赖稳定偏好,往往无法及时捕捉用户兴趣的变化趋势.相比之下,FLSR-CL通过长期与短期偏好的自适应融合策略,有效提升了对即时偏好的响应能力.

参考文献

[1]

Gao S, Fang J B, Tu Q,et al .Generative news recommendation[C]//Proceedings of the ACM Web Conference 2024,May 13-17,2024,Singapore,Singapore.New York:ACM,2024:3444-3453.

[2]

Saxborn M, Pan Y C, Said A .Trust through recommendation in E-commerce[C]//Proceedings of the 2024 Conference on Human Information Interaction and Retrieval,March 10-14,2024,Sheffield,United Kingdom.New York:ACM,2024:87-96.

[3]

Quan Y H, Ding J T, Gao C,et al .Alleviating video-length effect for micro-video recommendation[J].ACM Transactions on Information Systems,2023,42(2):44.

[4]

Tang J X, Wang K .Personalized top-N sequential recommendation via convolutional sequence embedding[C]//Proceedings of the Eleventh ACM International Conference on Web Search and Data Mining,February 5-9,2018,Marina Del Rey,CA,USA.New York:ACM,2018:565-573.

[5]

Yuan F J, Karatzoglou A, Arapakis I,et al .A simple convolutional generative network for next item recommendation[C]//Proceedings of the Twelfth ACM International Conference on Web Search and Data Mining,February 11-15,2019,Melbourne,VIC,Australia.New York:ACM,2019:582-590.

[6]

Yan A, Cheng S, Kang W C,et al .CosRec:2D convolutional neural networks for sequential recommendation[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management,November 3-7,2019,Beijing,China.New York:ACM,2019:2173-2176.

[7]

Zheng L, Fan Z W, Lu C T,et al .Gated spectral units:Modeling co-evolving patterns for sequential recommendation[C]//Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval,July 21-25,2019,Paris,France.New York:ACM,2019:1077-1080.

[8]

Sun F, Liu J, Wu J,et al .BERT4Rec: Sequential recommendation with bidirectional encoder representations from Tranformer[C]//Proceedings of the 28th ACM International Conference on Information and Knowledge Management,November 3-7,2019,Beijing,China.New York:ACM,2019:1441-1450.

[9]

Li J C, Wang Y J, McAuley J,et al .Time interval aware self-attention for sequential recommendation[C]//Proceedings of the 13th International Conference on Web Search and Data Mining,February 3-7,2020,Houston,TX,USA.New York:ACM,2020:322-330.

[10]

Feng Y F, Lyu F Y, Shen W C,et al .Deep session interest network for click-through rate prediction[C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence,August 10-16,2019,Macao,China.Palo Alto:AAAI Press,2019:2301-2307.

[11]

Xie R B, Wang Y L, Wang R,et al .Long short-term temporal meta-learning in online recommendation[C]//Proceedings of the Fifteenth ACM International Conference on Web Search and Data Mining,February 21-25,2022,Virtual Event,AZ,USA.New York:ACM,2022:1168-1176.

[12]

An M X, Wu F Z, Wu C H,et al .Neural news recommendation with long- and short-term user representations[C]//Procee dings of the 57th Annual Meeting of the Association for Computational Linguistics,July 28-August 2,2019,Florence,Italy.Cambridge:ACL,2019:336-345.

[13]

Zheng Y, Gao C, Chang J X,et al .Disentangling long and short-term interests for recommendation[C]//Proceedings of the ACM Web Conference 2022,April 25-29,2022,Virtual Event,Lyon,France.New York:ACM,2022:2256-2267.

[14]

Arthur J K, Zhou C H, Osei-Kwakye J,et al .A heterogeneous couplings and persuasive user/item information model for Next Basket recommendation[J].Engineering Applications of Artificial Intelligence,2022,114:105132.

[15]

Li J, Ren P J, Chen Z M,et al .Neural attentive session-based recommendation[C]//Proceedings of the 2017 ACM on Confe rence on Information and Knowledge Management, November 6-10,2017 ,Singapore,Singapore.New York:ACM,2017:1419-1428.

[16]

Arthur J K, Zhou C H, Mantey E A,et al .A discriminative-based geometric deep learning model for cross domain recommender systems[J].Applied Sciences,2022,12:5202.

[17]

Zhao W, Wang B Y, Ye J B,et al .PLASTIC:Prioritize long and short-term information in top-n recommendation using adversarial training[C]//Proceedings of the 27th International Joint Conference on Artificial Intelligence,July 13-19,2018,Stockholm,Sweden.Palo Alto:AAAI Press,2018:3676-3682.

[18]

Yu Z P, Lian J X, Mahmoody A,et al .Adaptive user modeling with long and short-term preferences for personalized recommendation[C]//Proceedings of the 28th International Joint Conference on Artificial Intelligence,August 10-16,2019,Macao,China.Palo Alto:AAAI Press,2019:4213-4219.

[19]

Niu L S, Peng Y, Liu Y M .Deep recommendation model combining long- and short-term interest preferences[J].IEEE Access,2021,9:166455-166464.

[20]

He K, Liu Q Y, Li Q M,et al .Long- and short-term sequential recommendation with temporal interval[C]//2022 IEEE Smartworld,Ubiquitous Intelligence & Computing,Scalable Computing & Communications,Digital Twin,Privacy Computing,Metaverse,Autonomous & Trusted Vehicles, December 15-18,2022 ,Haikou,Hainan,China.New York:IEEE,2022:1409-1414.

[21]

Yan C R, Wang Y W, Zhang Y T,et al .Modeling long- and short-term user behaviors for sequential recommendation with deep neural networks[C]//2021 International Joint Conference on Neural Networks(IJCNN),July 18-22,2021,Shenzhen,Guangdong,China.New York:IEEE,2021:1-8.

[22]

Xie X, Sun F, Liu Z Y,et al .Contrastive learning for sequential recommendation[C]//2022 IEEE 38th International Conference on Data Engineering(ICDE),May 9-12,2022,Kuala Lumpur,Malaysia.New York:IEEE,2022:1259-1273.

[23]

Yin P, Zhao J, Ma Z J,et al .Sequential recommendation based on multipair contrastive learning with informative augmenta-tion[J].Neural Computing and Applications,2024,36:9707-9721.

[24]

Ma J X, Zhou C, Yang H X,et al .Disentangled self-supervision in sequential recommenders[C]//Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining,August 23-27,2020,Virtual Event,CA,USA.New York:ACM,2020:483-491.

[25]

Zhou K, Wang H, Zhao W X,et al .S3-Rec: Self-supervised learning for sequential recommendation with mutual information maximization[C]//Proceedings of the 29th ACM International Conference on Information & Knowledge Management,October 19-23,2020,Virtual Event,Ireland.New York:ACM,2020:1893-1902.

[26]

Hao Y J, Zhang T T, Zhao P P,et al .Feature-level deeper self-attention network with contrastive learning for sequential recommendation[J].IEEE Transactions on Knowledge and Data Engineering,2023,35(10): 10112-10124.

[27]

Bertin-Mahieux T, Ellis D P W, Whitman B,et al .The million song dataset[C/OL]//ISMIR,2011.

[28]

Ruocco M, Skrede O S L, Langseth H .Inter-session modeling for session-based recommendation[C]//Proceedings of the 2nd Workshop on Deep Learning for Recommender Systems,August 27,2017,Como,Italy.New York:ACM,2017:24-31.

[29]

Kang W C, McAuley J .Self-attentive sequential recommendation[C]//2018 IEEE International Conference on Data Mi- ning(ICDM), November 17-20,2018 ,Singapore,Singapore.New York:IEEE,2018:197-206.

[30]

Li J C, Wang Y J, McAuley J .Time interval aware self-attention for sequential recommendation[C]//Proceedings of the 13th International Conference on Web Search and Data Mining,February 3-7,2020,Houston,TX,USA.New York:ACM,2020:322-330.

[31]

Zhang D H, Qin J W, Ma J,et al .Item attributes fusion based on contrastive learning for sequential recommendation[J].Multimedia Systems,2024,30:291.

[32]

Ruan S Q, Yang C, Li D S .Knowledge-enhanced personalized hierarchical attention network for sequential recommenda-tion[J].World Wide Web,2024,27:2.

[33]

Li Y, Yang C C, Ni T G,et al .Long and short-term interest contrastive learning under filter-enhanced sequential recommendation[J].IEEE Access,2023,11:95928-95938.

基金资助

新疆维吾尔自治区自然科学基金面上项目“基于知识图谱与图神经网络的信息聚合及特征表示推荐技术研究”(2023D01C17)

“气温预报误差的地形依赖性与南疆高山区夏季高温智能网格预报技术研究”(2023D01A123)

国家自然科学基金“大数据流式计算环境下基于预测的资源调度性能优化研究”(62262064)

新疆维吾尔自治区科技计划项目-天山创新团队计划“面向农业的天地协同水资源时空精准调度研究及应用创新团队”(2023D4012)

AI Summary AI Mindmap
PDF (2437KB)

698

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉