基于多任务自适应知识蒸馏的语音增强

摘要

【目的】提出一种多任务自适应知识蒸馏的语音增强算法，旨在解决复杂模型在时间和硬件等计算成本方面带来的问题，同时提高语音增强算法的性能。【方法】首先，采用知识蒸馏的思想来解决现有的语音增强模型过于庞大、参数多造成计算成本上升问题；其次，充分考虑不同时频单元之间的差异，引入加权因子来优化传统损失函数提升学生网络性能；为了避免教师网络预测的不确定性影响学生网络的性能，构建多任务自适应学习的知识蒸馏网络，可以更好地利用不同任务之间的关联性优化模型。【结果】实验仿真结果表明，所提出的算法在减少参数量、缩短计算时间的同时，还能有效提高语音增强模型的性能。

关键词

语音增强 / 知识蒸馏 / 多任务自适应学习 / 加权损失函数

基金资助

国家自然科学基金资助项目(12004275); Shanxi Scholarship Council of China(2020-042); 山西省自然科学基金资助项目(20210302123186)