融合多模态信息的知识感知推荐方法

王海荣; 王怡梦; 周北京; 易之航

doi:10.13705/j.issn.1671-6833.2025.03.010

郑州大学学报（工学版） ›› 2025, Vol. 46 ›› Issue (06) : 15 -22. DOI: 10.13705/j.issn.1671-6833.2025.03.010

融合多模态信息的知识感知推荐方法

王海荣, 王怡梦, 周北京, 易之航

作者信息 +

Author information +

文章历史 +

PDF

摘要

图片、文本等多模态信息具有语义互补性，能够有效增强知识图谱中的实体表示，从而提高推荐的准确率和可解释性。通过分析推荐系统中具有语义相关性的多模态数据特点，提出了一种融合多模态信息的知识感知推荐方法。在知识图谱传播的基础上，整合与图谱中实体语义相关的多模态信息，并将其与对应的实体进行特征融合，用来丰富实体表示，以便探索用户潜在的兴趣偏好。该方法充分考虑了多模态信息间的依赖性和交互性，采用模态间注意力关注各模态的重要信息，获取具有语义关联的多模态嵌入特征；通过门控注意力将实体对应的多模态嵌入特征与实体表示融合，进一步丰富实体的多模态语义信息，从而增强用户和项目的表示。为了验证方法的有效性，在MovieLens-1M和Book-Crossing数据集上进行实验，并与RippletNet、KGAT、CKAN、LKGR、COAT、CKE、KGCN、SKGCR和KGCL这9种方法进行对比分析，实验结果表明：所提方法在AUC和ACC上均优于对比方法；在MovieLens-1M和Book-Crossing数据集上，所提方法的AUC分别为0.936 6和0.763 7,与其他模型的平均值相比，增幅为0.027 2和0.029 1;所提方法的ACC分别为0.862 3和0.708 9,与其他模型的平均值相比，增幅为0.028 3和0.030 5。