差异特征导向的解耦多模态情感分析

摘要

特征解耦能够将不同模态特征解耦为相似特征和差异特征，以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息，同时也包含一致信息，因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突，从而导致预测不准确。为了解决这一问题，本文提出一种差异特征导向的解耦多模态情感分析方法，利用特征表示学习和对比学习的思想，提取更为有效的特征并扩大差异特征间的差异。首先部署一个特征提取模块，针对3种模态使用不同的特征提取方法以提取到更为有效的特征；其次使用共同编码器与独立编码器解耦3种模态特征，并使用一个多模态变压器进行特征融合；最后，为了扩大差异特征间的差异，设计用于优化的损失函数。在2个大规模基准数据集上进行实验，并与多个当前先进方法进行比较，在绝大部分指标上都超越当前先进方法，验证了本文方法的有效性与鲁棒性。

关键词

多模态情感分析 / 特征解耦 / 预训练BERT / 对比学习 / 表示学习