基于U-Conformer的多特征融合鸟鸣声分离方法

摘要

针对多个鸟类个体同时发声导致的鸣声混叠问题，本文提出了一种融合录音通道间空间特征的鸟类鸣声分离方法.该方法将混叠鸣声信号的声谱特征和空间特征作为分离模型的输入，提出深度学习模型U-Conformer来预测每个鸣声源方向的幅值谱掩膜（spectral magnitude mask,SMM），通过模型估计的SMM从混叠鸣声信号中恢复每个鸣声源信号.由多源混叠鸟类鸣声数据的实验结果表明，本文提出的分离方法较其他深度学习模型结构具有更好的分离效果，有助于更好地分析野外鸟类鸣声录音.

关键词

鸟鸣声分离 / 空间特征 / Conformer / 幅值谱掩膜

基金资助

中国高校产学研创新基金资助项目（2021LDA05002）; 中央高校基本科研业务费资助项目（2021ZY70）; 北京市自然科学基金资助项目（6214040）