多尺度语义感知和注意力融合的多模态方面级情感分析模型

摘要

多模态方面级情感分析模型在特征提取过程中可能过度依赖文本模态，而忽视文本与图像内容潜在的语义关联.由于模态之间的异质编码属性和信息质量差异，无法执行有效的跨模态交互.为了解决这一问题，提出一种多尺度语义感知和注意力融合模型（Multiscale Semantic Perception and Attention Fusion Model,MSPAF）.首先，充分挖掘多尺度的图像语义信息，进行跨模态语义关联建模，以促进文本图像在统一特征空间内的有效交互.提出一种动态门控交叉注意力机制，在方面引导下进行视觉特征提取.其次，结合图卷积神经网络深度共现词间的语义依赖关系，获取句法和语义增强的上下文表征.最后，在多模态特征融合阶段，通过多层注意力池化学习不同模态特征的相关性，并降低融合特征维度.在公开的情感分析数据集上，对提出的模型进行评估，实验结果表明，与一系列基线模型相比，本模型具有更佳的情感分类效果.

关键词

多模态方面级情感分析 / 多尺度图像语义提取 / 统一特征空间 / 语义关联建模 / 文本图卷积 / 注意力池化

基金资助

国家自然科学基金（72174079）