结合图卷积网络的多模态仇恨迷因识别研究

摘要

针对现有迷因识别方法常忽视网络实体作用的情况，提出一种结合图卷积网络的迷因识别方法。提取图像中网络实体信息，利用图卷积网络对网络实体模态和文本模态进行融合，结合外源词典从多角度衡量网络实体和迷因文本之间的关系，构建跨域图；通过注意力模块对文本和图像模态进行交互，结合自蒸馏技术提高模型对信息的利用率。实验结果表明：该方法在Hateful Memes和MAMI数据集上的准确率分别达到76.03%和73.9%,性能优于现有的SOTA模型。

关键词

迷因识别 / 网络实体识别 / 隐式情感分析 / 图卷积网络