面向目标多模态情感分析的双通道循环神经网络模型

摘要

面向目标的多模态情感分析，其任务是对多模态帖子或评论中给定的目标词进行情感分类。针对目前该领域结合循环神经网络的模型只关注于一般的文本和图片表示，没有同时考虑模态内和模态间的信息交互，且忽略了图像信息中的噪声的问题，提出了一种双通道循环神经网络模型（DRNN）。该模型首先设计了一个基于注意力机制的循环神经网络模块，该模块利用门控循环单元（Gate Recurrent Unit, GRU）来过滤图像的噪声，之后通过注意力机制将文本和图像融合，最后将融合后的信息逐步加入目标信息中，得到模态间的动态表示。另外提出了一个目标文本交互循环神经网络模块，该模块通过计算目标信息与上下文中每个词的权重来学习模态内的上下文表示。最后将两部分模块得到的信息拼接后送入全连接层和softmax层预测情感极性。在两个基准数据集Twitter-15和Twitter-17上进行了大量实验，实验结果表明，与当前最先进的模型相比该模型能够有效增强面向目标的多模态情感分析的效果。

关键词

循环神经网络 / 多模态 / 面向目标的情感分析 / 注意力机制 / 噪声