融合多模态与多头注意力的旅游推荐模型

摘要

为解决旅游推荐系统中数据稀疏、冷启动及多模态特征利用不充分的问题，本文提出一种基于多模态特征融合与多头注意力的双塔模型，即多模态双塔变换(MMDT)模型。其采用“用户-项目”双塔架构：用户侧通过双向长短期记忆网络与多头自注意力捕捉长短时序行为特征；项目侧融合文本、图像与ID嵌入，借助双向长短期记忆网络提取文本时序信息，并引入外部注意力网络增强图像语义表征，通过多模态融合策略构建统一项目嵌入。实验结果表明，该模型在关键指标上优于基线模型，消融实验进一步证实，多模态特征及其融合机制是提升推荐性能的关键因素。

关键词

旅游推荐 / 多模态融合 / 注意力机制