基于统一循环瓶颈网络的多模态情感识别算法

摘要

多模态情感识别是人机交互与智能系统领域的关键技术之一，通过整合文本、语音、视觉等多种模态信息以提升情感识别的准确性与鲁棒性.然而，现有方法在处理多模态数据的异质性、特征融合的高效性方面仍面临挑战.为此，提出了一种新颖的多模态统一循环瓶颈网络（Multimodal Unified Recurrent-Bottleneck Network,MURBN）.该网络采用“先编码对齐、后融合提炼”的两阶段处理策略，首先通过共享参数的循环单模态编码网络（Recurrent Unimodal Modulation Network,RUMN）对各模态时序特征进行上下文编码以缓解异质性问题，随后利用非对称瓶颈融合网络（Asymmetric Bottleneck Fusion Network,ABFN）实现高效、低噪的跨模态信息交互与融合.在IEMOCAP和MELD两个公开数据集上的实验结果表明，MURBN模型在情感识别准确率和F1分数等指标上均显著优于现有基线方法，尤其在中性情感类别的识别上取得了明显提升.

关键词

多模态 / 情感识别 / 循环瓶颈网络 / 特征融合