融合图神经网络的多模态微视频推荐算法

摘要

现有多模态图神经网络推荐算法在进行多模态融合时，普遍使用图神经网络提取的节点特征进行融合，而未考虑到全局图结构信息和模态信息对融合的影响；并且现有的多模态融合方法大多只考虑模态间的差异，而忽视了模态内部的情况.对此，本文提出一种融合图神经网络的多模态微视频推荐算法(MCCF,Multi-modal Contrast-Conflict Fusion).该算法利用一种感知模态信息的注意力机制，将节点级特征转化为表征不同模态的图级特征；同时，分别使用节点级和图级特征表示，计算模态内“对比性”和模态间“冲突性”,客观评价了不同模态的重要性，实现了多模态融合.在Movielens和Tiktok两个微视频公开数据集上进行的实验表明，本文提出的算法在推荐性能上较基线方法有明显提升.

关键词

多模态推荐系统 / 多模态融合 / 图卷积神经网络 / 对比冲突融合

基金资助

国家自然科学基金项目(62062046)资助