一种结合自监督预训练与多种注意力适配器微调的伪造语音检测方法

摘要

语音自监督预训练模型可以从大量未标记数据中获取语音任务通用特征表示，从而解决伪造语音检测算法泛化性不高的问题，但全参数微调预训练模型存在参数效率低、训练开销大的问题.因此，本文提出了一种结合自监督预训练模型与多种注意力适配器微调的伪造语音检测方法，以自适应低秩微调方法为基础，设计并引入了基于空间注意力的并行卷积适配器与基于隐藏维度注意力的串行前馈适配器，通过插入这两种轻量级适配器模块来减少微调可训练参数和降低训练开销.同时，这两种适配器可以通过弥补模型在空间位置与隐藏维度关系方面捕捉能力的不足，从而提高模型的检测性能与泛化能力.基于ASVspoof2019 LA、PA数据集的实验证明了所提检测方法的有效性，在LA数据集上将竞赛基线模型的等错误率指标降低了98%,在PA数据集上将竞赛基线模型的等错误率指标降低了91.6%.基于多个数据集的跨数据集测试实验进一步验证了所提检测方法的良好泛化性能.

关键词

伪造语音检测 / 适配器微调 / 自监督预训练模型 / 注意力机制