差异特征导向的解耦多模态情感分析

李志欣; 刘鸣琦

doi:10.16088/j.issn.1001-6600.2024071702

广西师范大学学报（自然科学版） ›› 2025, Vol. 43 ›› Issue (03) : 57 -71. DOI: 10.16088/j.issn.1001-6600.2024071702

差异特征导向的解耦多模态情感分析

李志欣, 刘鸣琦

作者信息 +

Author information +

文章历史 +

摘要

特征解耦能够将不同模态特征解耦为相似特征和差异特征，以缓和模态间的贡献度差异。但由于差异特征不仅包含互补信息，同时也包含一致信息，因此差异特征存在显著分布差异。传统特征解耦方法忽视了差异特征内在的冲突，从而导致预测不准确。为了解决这一问题，本文提出一种差异特征导向的解耦多模态情感分析方法，利用特征表示学习和对比学习的思想，提取更为有效的特征并扩大差异特征间的差异。首先部署一个特征提取模块，针对3种模态使用不同的特征提取方法以提取到更为有效的特征；其次使用共同编码器与独立编码器解耦3种模态特征，并使用一个多模态变压器进行特征融合；最后，为了扩大差异特征间的差异，设计用于优化的损失函数。在2个大规模基准数据集上进行实验，并与多个当前先进方法进行比较，在绝大部分指标上都超越当前先进方法，验证了本文方法的有效性与鲁棒性。