融合功能性副语言比例系数的语音情感识别

摘要

语言中的非言语发声如笑声、叹息、抽泣等，称为功能性副语言，对情感表达起重要作用，但现有研究很少考虑多种功能性副语言在一种情感中的协同作用.针对该问题，提出了融合功能性副语言比例系数（functional paralanguage proportion coefficient,FPPC）的情感识别系统.首先，提取能体现多种功能性副语言在情感语句中出现的频率快慢和持续时间长短的FPPC特征；然后，搭建基于注意力机制的集成学习（attention stacking）为不同的基分类器赋予不同权重，并对FPPC特征进行训练；最后，通过自适应熵权重决策融合方法将传统语音情感识别与基于FPPC特征情感识别进行融合.实验结果显示，融合了FPPC特征后的情感识别结果提高了16.84%，证明融合FPPC特征能有效提高系统整体识别率.

关键词

语音情感识别 / 比例系数 / 功能性副语言 / 注意力机制 / 自适应熵权重决策融合

基金资助

国家自然科学基金资助项目（62271342）; 山西省自然科学基金资助项目（201901D111096）