基于带阈值的BPE-dropout多任务学习的端到端语音识别

摘要

针对语音识别任务中出现的未登录词问题，提出一种带阈值的BPE-dropout多任务学习语音识别方法.该方法采用带随机性的字节对编码算法，在形成子词时引入带字数阈值的策略，将子词作为建模单元，编码器部分采用Conformer结构，与链接时序分类和注意力机制相结合.为进一步提升模型性能，引入动态参数对损失函数进行动态调节，并同时进行多任务训练和解码.实验结果表明，该方法采用子词作为建模单元可有效解决未登录词问题，在多任务学习框架下进一步提升了模型的识别性能.在公开数据集THCHS30和ST-CMDS上，该模型实现了超过95%的识别准确率.

关键词

语音识别 / 多任务学习 / 字节对编码 / 动态调节参数