自适应学习图结构的多模态会话情感识别算法

摘要

会话是一种时序性与内部关联性极强的数据类型，不合理的建模方式往往会对会话情感识别任务的效果产生负面影响.由于会话具有天然的图结构，将会话建模为图，并使用图卷积神经网络(GCN)来提取会话信息是一种常用方法，但是天然获得的图结构往往存在大量噪声或者有缺失连接的情况，这会损害GCN的学习性能，仅使用GCN也很难处理内部关系丰富的会话信息.针对这些问题，本文提出一种自适应学习图结构学习的多模态情感识别方法.该方法使用添加了邻近稀疏自注意力机制的Transformer编码器结构作为上下文信息提取器，将简单级联的会话音频特征、文本特征、视觉特征作为输入.利用多层感知机设计了一种图结构生成器以生成良好的图结构，同时引入一种自监督去噪任务作为先验信息指导图结构生成器更新参数.其次利用关系图卷积网络和图Transformer作为局部信息提取器，有效地捕捉了会话中存在的复杂依赖关系.在数据集IEMOCAP(4-way/6-way)和MOSEI上与其他基线算法进行了对比实验，实验结果表明该方法在加权F1系数和准确率上都要优于其他基线算法.

关键词

多模态 / 会话情感识别 / 图结构学习 / 图神经网络 / 自注意力机制

基金资助

主动健康服务数智化技术区域综合应用示范项目(2023YFC3605800)资助; 国家自然科学基金项目(92048205)资助