基于多任务多模态学习的谣言检测框架

摘要

谣言检测是对社交网络上传播的信息内容进行真实性鉴别的任务.一些研究表明融合多模态信息有助于谣言检测，而现有多模谣言检测方法具有以下问题：（1）只是将处于不同表示空间的单模态特征简单拼接形成多模态表示，没有考虑多模态之间的关系，难以提高模型的预测性能和泛化能力.（2）缺乏对社交网络数据组成结构的细致考虑，只能处理由文本-图像对的社交网络数据，无法处理由多幅图像组成的数据，且当其中一种模态（图像或文本）缺失时模型无法进行预测.针对上述问题，本文提出了一种多任务多模态谣言检测框架（MMRDF），该框架由3个子网络组成：文本子网络、视觉子网络和融合子网络，通过从单模态数据中提取浅层至深层的单模特征表示，在不同的子空间中产生特征图，丰富模态内特征，并通过复合卷积结构融合生成联合多模态表示，以获得更好的预测性能.同时该框架可以灵活地处理所有类型的推文（纯文本、纯图像、文本-图像对和多图像文本），并且没有引入造成额外时间延迟的传播结构、响应内容等数据作为输入，可以在推文发布后立即应用于谣言检测，减少辟谣的时间延迟.在两个真实数据集上的实验结果表明，所提框架明显优于目前最先进的方法，准确率上的提升分别为7.3%和2.9%，并通过消融实验证明了各个模块的有效性.

关键词

谣言检测 / 多模态分析 / 表示学习 / 多任务学习 / 神经网络

基金资助

自然科学基金联合项目（62162057）; 四川省科技厅重点研发项目（2022YFG0182）; 教育部地方项目（2020CDZG-18,2021CDLZ-12,2021CDZG-11）; 达州科技局计划项目（21ZDYF0009）; 四川省社会科学重点研究基地——系统科学与企业发展研究中心规划项目