基于语义情感不一致性的图文讽刺检测方法

摘要

针对现有图文讽刺检测研究主要关注讽刺语义不一致性，对细粒度的情感不一致性刻画不充分的问题，提出一种基于语义情感不一致性的图文讽刺检测方法.在语义层面，设计了一个动态路由组件自适应调整注意力广度以捕获语义不一致性；在情感层面，通过构建跨模态图挖掘情感信息，并采用图对比学习突出拓扑结构特征以捕获情感不一致性；最后采用多模态门控单元融合语义特征与情感特征，得到最终的图文融合表示以实现讽刺检测.在公开图文讽刺检测数据集MMSD上的实验结果表明，所提出的模型相较于基准模型在准确率和F₁值上均得到显著提升.

关键词

图文讽刺检测 / 讽刺不一致性 / 动态路由 / 跨模态图