双路径Transformer在声源分离中的应用研究

摘要

针对声源分离问题提出了一种具有编码-提取-解码结构的混合模型.通过在编码器和解码器中使用DDConv-block扩张密集卷积模块增加信息通道，提取器使用双路径Transformer(DPT)模块同时关注局部和全局信息，提高模型音频特征抽象能力.对模型在歌声分离（Singing Voice Separation,SVS）和音乐源分离（Music Source Separation,MSS）两种声源分离任务上的分离性能进行了评估，将多源混合音频分离为人声和伴奏或贝斯、鼓、人声和其他音乐.使用MUSDB18数据集评估混合模型的声源分离性能，并与其他模型进行了比较.实验结果表明，本文提出的模型比对比模型具有更好的分离性能.

关键词

声源分离 / 双路径 / Transformer

基金资助

中国高校产学研创新基金-新一代信息技术创新项目“音乐教育类人机器人研究与实践”（2020ITA05025）