多任务师生模型的语音情感识别实验设计

摘要

针对人机智能交互中语音情感识别的研究热点，将基于多任务约束师生模型的含噪语音情感识别设计为研究型教学实验，观察教师模型的指导作用、学生模型的学习过程和多级增强损失的约束力。设计基于Wav2vec 2.0的师生模型和多级增强损失机制，将语音增强辅助任务引入学生模型，使学生模型能够通过学习获取教师模型的特征表示能力。在测试阶段学生模型直接从含噪语音中提取关键情感特征，用于情感分类，最后通过大量实验分析情感识别系统的性能和鲁棒性。该师生模型实验设计有助于提升学生思考能力、科研创新和探索意识。

关键词

语音情感识别 / 多任务约束 / 语音增强 / Wav2vec 2.0 / 教师学生模型

基金资助

国家自然科学基金(61901227); 南京邮电大学校重点教改项目(JG06219JX08); 姑苏创新创业领军人才项目(ZXL2022472)