基于注意力机制和多尺度融合的多模态虚假新闻检测模型

摘要

虚假新闻如果得不到及时处理，可能会造成严重后果。当前的多模态虚假新闻检测方法主要使用各种注意力机制对单模态特征进行融合，未考虑到不同模态的特征间可能存在语义差距，也未充分利用多模态预训练模型的潜力。本文提出一个新的多模态虚假新闻检测模型，对特征进行多阶段融合。该模型利用多模态预训练模型提取已对齐的特征，然后借助注意力机制使特征互相增强，拼接经过增强的特征以实现早期融合，再通过多尺度融合模块捕捉不同模态特征之间的交互信息，并学习融合权重以实现特征的后期融合。实验结果显示，本文提出的模型取得比同类模型更好的效果，验证了注意力机制与多尺度融合模块的有效性。

关键词

多模态 / 虚假新闻检测 / 注意力机制 / 多尺度融合 / 多阶段融合