域对抗神经网络自适应的跨域说话人日志方法

A Cross-Domain Speaker Diarization Method Based on Domain-Adversarial Neural Network Adaptation

摘要

针对端到端说话人日志系统因真实标注数据不足导致泛化性能差的问题，提出一种基于域对抗神经网络自适应的跨域说话人日志方法。首先，通过在说话人日志中增加包含时间池化层的数据域判别模型；其次，利用梯度反转层实现说话人日志分类任务与数据域判别任务的对抗训练；最后，完成在数据域上的自适应。实验对比不同模型在真实场景下的性能，所提模型整体性能优于其他模型。相较于基线模型，数据域不匹配时，两个说话人场景相对提升4.91%，3个说话人场景相对提升5.41%；数据域匹配时，分别相对提升3.81%和5.14%。实验结果表明，所提方法通过降低特征对域信息的敏感性有效提升系统跨域泛化能力。

Abstract

To address the problem of poor generalization performance of end-to-end speaker diarization systems due to insufficient labeled data, a cross-domain speaker diarization method based on domain-adversarial neural network adaptation is proposed. Firstly, a data domain discrimination model containing a temporal pooling layer is added to the speaker diarization. Secondly, the gradient reversal layer is used to realize the adversarial training of the speaker diarization classification task and the data domain discrimination task. Finally, the adaptation in the data domain is completed. Experiments are carried out to compare the performance of different models in real-world scenarios, demonstrating that the overall performance of the proposed method outperforms that of other models. Compared with the baseline model, when the data domain does not match, the relative improvement is 4.91% for the two-speaker scenarios and 5.41% for the three-speaker scenarios. When the data domain is matched, the relative increase is 3.81% and 5.14%, respectively. Experimental results indicate that the proposed method can effectively enhance the system’s cross-domain generalization ability by reducing the sensitivity of features to domain information.

Graphical abstract

关键词

说话人日志 / 域对抗神经网络 / 梯度翻转层 / 对抗训练 / 注意力统计池化

Key words

speaker diarization / domain-adversarial neural network / gradient reversal layer / adversarial training / attentive statistics pooling

说话人日志（Speaker Diarization, SD）是语音处理领域的重要任务之一，旨在针对多说话人混叠的场景下识别并区分音频中的不同说话人，并为每个说话人的音频片段生成标注时间戳，广泛应用于会议记录、新闻广播、电话会话等场景。随着语音交互技术的快速发展，说话人日志的重要性日益凸显，如何在复杂场景下提升说话人日志的准确性和跨域语音的泛化性成为研究热点。

传统的说话人日志主要采用i-vector、d-vector或x-vector等说话人嵌入特征进行聚类^[1-3]，但无法对重叠语音进行准确分割。随着深度学习技术的兴起，基于神经网络的端到端说话人日志（End-to-End Neural Diarization, EEND）方法成为研究热点。Fujita等^[4]提出一种基于自注意力机制的端到端说话人日志系统，显著提升重叠语音的分割准确率。Medennikov等^[5]提出一种基于BLSTM网络的目标说话人语音活动检测方法，有效提升重叠语音的检测正确率，但存在域泛化能力差的问题。Jeoung等^[6]通过自注意力中的知识蒸馏显著提升模型在多说话人重叠语音场景下的性能。Härkönen等^[7]将Transformer的架构中引入掩码注意力机制，优化模型在多说话人重叠语音的判别能力。

Watanabe等^[8]在CHiME-6挑战赛的结果表明，真实环境下说话人日志输出的标注能够显著降低语音识别的错误率。针对这一现象，Raj等^[9]提出一种语音分离、说话人日志和语音识别模块化组合的端到端系统，说话人归因词错误率（Word Error Rate, WER）为12.7%，与非重叠场景的说话人日志系统性能相当。Luu等^[10]通过多任务优化，提升跨域的泛化性。Zhang等^[11]基于对比学习的方法，通过增强正样本之间的相似性和负样本之间的差异性，提升模型在嘈杂背景中的区分能力。Coria等^[12]和Luu等^[13]通过引入域对抗训练和统计匹配策略，提升了模型在跨域适应方面的性能。Yang等^[14]整合记忆感知的多说话人嵌入向量和序列到序列架构，在CHiME-7测试集上实现15.9%的宏日志错误率（Diarization Error Rate, DER），相比基线系统相对提升49%。Tawara等^[15]提出端到端神经日志与向量聚类，在CHiME-7挑战赛中说话人日志赛道获得第3名的成绩，展示在多说话人场景中的潜力。Paturi等^[16]将预训练语音模型应用于说话人日志任务中，进一步优化语音表示的学习过程，改善系统的识别率。Polok等^[17]提出一种基于Whisper的说话人条件化方法，通过帧级日志依赖变换和查询键偏置技术来细化模型对目标说话人的关注，在多个真实数据集以及模拟数据集上验证其模型在跨域性能的泛化性。

尽管说话人日志技术取得显著进展，但在实际应用中仍面临诸多挑战，尤其是在跨域适应方面。这主要是由于随着端到端说话人日志系统的广泛应用，现有模型通常需要依赖大量训练数据，而真实环境下搜集的数据数量难以满足，一般会采用模拟生成说话人混叠数据集，但这与真实场景中语音在环境噪声、多语音信号干扰或声学条件的复杂性存在较大差异，导致模型在实际应用中性能下降，跨域的泛化性能较差。跨域适应的难点在于如何有效捕捉不同域之间的共性特征，同时消除由数据分布不匹配引起的偏差。

针对以上问题，基于蓝图分离卷积端到端说话人日志系统（Blueprint Separable Convolutions End-to-End Neural Diarization, BSAC-EEND）^[18]，通过引入域判别模型，提出一种基于对抗学习的跨域自适应方法，旨在通过改进模型对不同数据分布的适应能力，提升说话人日志在真实场景中的表现。

1 端到端说话人日志系统

与传统的说话人日志相比，EEND不需要额外的模块来检测语音或混叠语音，能够直接从语音信号中得到说话人日志的结果。EEND一般由语音编码器（Encoder）和说话人分类器（Classification）两部分构成。以BSAC-EEND作为基线系统，对模型结构进行介绍。

1.1 端到端说话人日志建模

不失一般性，假设EEND模型的输入为语音\mathit{X}=\left[{\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}},\cdots ,{\mathit{x}}_T\right]，EEND根据输入语音序列\mathit{X}产生对应的说话人标签序列\mathit{Y}=\left[{\mathit{y}}_{\mathrm{1}},{\mathit{y}}_{\mathrm{2}},\cdots ,{\mathit{y}}_T\right]，可以表示为

\mathit{Y}=\mathrm{E}\mathrm{E}\mathrm{N}\mathrm{D}\left(\mathit{X}\right)（1）

式中：T表示序列长度；{\mathit{x}}_t\in {\mathbb{R}}^F表示第t帧语音的F维特征参数向量；{\mathit{y}}_t=[y_{t,\mathrm{1}},y_{t,\mathrm{2}},\cdots ,y_{t,K}]表示第t帧输入所属K个说话人的概率。对于说话人日志标注，y_{t,K}\in \left\{\mathrm{0,1}\right\}表示第K个说话人在第t帧是否说话。

1.2 语音编码器模块

在BSAC-EEND中，语音编码器由蓝图分离卷积（Blueprint Separable Convolutions, BSConv）和卷积增强的Transformer（Convolution-Augmented Transformer, Conformer）构成，如图1所示。

与传统的Conformer编码器相比，使用BSConv代替了传统的卷积下采样模块，可表示为

{\mathit{X}}_{\mathrm{B}\mathrm{S}\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}}=\mathrm{B}\mathrm{S}\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\left(\mathit{X}\right)（2）

将多层次Conformer的输出{\mathit{C}}_i进行拼接成\mathit{C}（i=\mathrm{1,2},\cdots ,N），以保留不同尺度层次的细节信息，可表示为

\mathit{C}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{a}\mathrm{c}\mathrm{t}\left({\mathit{C}}_{\mathrm{1}},{\mathit{C}}_{\mathrm{2}},\cdots ,{\mathit{C}}_N\right)（3）

最后利用归一化层对\mathit{C}进行均值方差归一化，得到编码器的帧级输出：

\mathit{E}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left(\mathit{C}\right)（4）

将式（2）、式（3）依次代入式（4）中，语音编码模块G_{\mathrm{e}}为

\mathit{E}=G_{\mathrm{e}}\left(\mathit{X};{\theta }_{\mathrm{e}}\right)（5）

式中，{\theta }_{\mathrm{e}}表示BSConv改进的Conformer模型参数。

1.3 说话人日志分类器

在BSAC-EEND中，说话人日志分类器G_{\mathrm{y}}由线性层\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left(·\right)和Sigmoid函数\sigma \left(·\right)构成，得到每一帧的说话人标签概率序列：

\mathit{Y}=G_{\mathrm{y}}\left(\mathit{E};{\theta }_{\mathrm{y}}\right)=\sigma \left(\mathrm{L}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{a}\mathrm{r}\left(\mathit{E}\right)\right)（6）

式中，{\theta }_{\mathrm{y}}表示说话人日志标签分类器的模型参数。

不妨令{\tilde{\mathit{Y}}}_i表示第i段输入语音{\mathit{X}}_i对应的真实说话人日志标注，将式（5）代入式（6），此时说话人日志系统的交叉熵损失函数L_{\mathrm{y}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}}\right)为

\begin{array}{l}{L}_{\mathrm{y}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}}\right)=L_{\mathrm{y}}\left(G_{\mathrm{y}}\left(G_{\mathrm{e}}\left({\mathit{X}}_i;{\theta }_{\mathrm{e}}\right);{\theta }_{\mathrm{y}}\right),{\tilde{\mathit{Y}}}_i\right)=\\ -{\tilde{\mathit{Y}}}_i·\mathrm{l}\mathrm{n}{G}_{\mathrm{y}}\left(G_{\mathrm{e}}\left({\mathit{X}}_i;{\theta }_{\mathrm{e}}\right);{\theta }_{\mathrm{y}}\right)\end{array}（7）

2 域对抗神经网络

域对抗训练能够有效缓解训练和测试环境不匹配的问题，通过引入域判别模型，提升模型的泛化性。由于在说话人日志中的语音编码器输出为帧级特征，而域判别需要句子级特征，因此引入时序池化层提取句子级特征。

2.1 时序池化层

注意力统计池化是时序池化的常见方式，通过引入注意力机制，为不同时间的特征赋予不同的权重，从而更有效地捕捉长期变化的特征。

首先，利用注意力机制计算每个帧级特征的时间加权权重a_t，可表示为

a_t={\mathit{v}}^{\mathrm{T}}f(\mathit{W}{\mathit{E}}_t+b)+k（8）

式中：\mathit{v}表示值向量；f(\cdot )表示非线性变换；\mathit{W}表示可训练的权重矩阵；{\mathit{E}}_t表示t帧时刻语音编码器的输出；b和k均表示偏移量。则归一化后的权重{\alpha }_t可表示为

{\alpha }_t=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(a_t)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(a_t)}{{\displaystyle \sum _{i=\mathrm{1}}^T}\mathrm{e}\mathrm{x}\mathrm{p}(a_i)}（9）

因此，注意力统计池化就是对注意力加权后帧级特征进行统计池化，分别计算统计均值和方差，即

\tilde{\mathit{\mu }}=\frac{\mathrm{1}}{T}{\displaystyle \sum _{t=\mathrm{1}}^T}{\alpha }_t{\mathit{E}}_t（10）

\tilde{\mathit{\sigma }}=\sqrt[]{{\displaystyle \sum _{t=\mathrm{1}}^T}{\alpha }_t{\mathit{E}}_t\odot {\mathit{E}}_t-\tilde{\mathit{\mu }}\odot \tilde{\mathit{\mu }}}（11）

式中，\odot表示点乘。注意力统计池化结合注意力机制的灵活性和统计池化的全面性，能够有效捕捉重要信息和全局统计特征。

2.2 域判别模型

模拟产生的训练数据集与真实环境下的测试数据集之间存在的差异性，是造成EEND性能下降的主要原因。域判别模型通过时间池化层将语音编码器输出的帧级特征变为句子级特征，采用全连接网络实现对模拟数据和真实数据两个领域的分类。

域判别模型G_{\mathrm{d}}由时序池化层和全连接层构成，得到每一段语音的领域标签d_i，可表示为

d_i=G_{\mathrm{d}}\left(\mathit{E};{\theta }_{\mathrm{d}}\right)（12）

式中，{\theta }_{\mathrm{d}}表示域判别模型的参数。

不妨令{\tilde{d}}_i表示第i段输入语音{\mathit{X}}_i对应的真实领域标签，此时域判别模型的领域交叉熵损失函数L_{\mathrm{d}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{d}}\right)为

\begin{array}{l}{L}_{\mathrm{d}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{d}}\right)=L_{\mathrm{d}}\left(G_{\mathrm{d}}\left(G_{\mathrm{e}}\left({\mathit{X}}_i;{\theta }_{\mathrm{e}}\right);{\theta }_{\mathrm{d}}\right),{\tilde{d}}_i\right)=\\ -{\tilde{d}}_i·\mathrm{l}\mathrm{n}{G}_{\mathrm{d}}\left(G_{\mathrm{e}}\left({\mathit{X}}_i;{\theta }_{\mathrm{e}}\right);{\theta }_{\mathrm{d}}\right)\end{array}（13）

2.3 域对抗训练框架

构造领域判模型与说话人分类日志模型的域对抗训练，使得共用的语音编码器的输出与领域无关。此时，说话人分类日志模型的损失函数最小，而领域损失函数最大，构造域对抗训练的平均损失函数为

E\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}},{\theta }_{\mathrm{d}}\right)=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\left[L_{\mathrm{y}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}}\right)-\lambda L_{\mathrm{d}}^i\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{d}}\right)\right]（14）

式中，\lambda表示权衡两个分类器损失函数的超参数。

不难看出，最优的模型参数{\theta }_{\mathrm{e}}、{\theta }_{\mathrm{y}}和{\theta }_{\mathrm{d}}满足：

\begin{array}{l}\left({\widehat{\theta }}_{\mathrm{e}},{\widehat{\theta }}_{\mathrm{y}}\right)=\underset{{\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}E\left({\theta }_{\mathrm{e}},{\theta }_{\mathrm{y}},{\widehat{\theta }}_{\mathrm{d}}\right)\\ {\widehat{\theta }}_{\mathrm{d}}=\underset{{\widehat{\theta }}_{\mathrm{d}}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}E\left({\widehat{\theta }}_{\mathrm{e}},{\widehat{\theta }}_{\mathrm{y}},{\theta }_{\mathrm{d}}\right)\end{array}（15）

由梯度下降法可知：

\begin{array}{l}{\theta }_{\mathrm{e}}\leftarrow {\theta }_{\mathrm{e}}-\mu \left(\frac{\partial L_{\mathrm{y}}^i}{\partial {\theta }_{\mathrm{e}}}-\lambda \frac{\partial L_{\mathrm{d}}^i}{\partial {\theta }_{\mathrm{e}}}\right)\\ {\theta }_{\mathrm{y}}\leftarrow {\theta }_{\mathrm{y}}-\mu \frac{\partial L_{\mathrm{y}}^i}{\partial {\theta }_{\mathrm{y}}}\\ {\theta }_{\mathrm{d}}\leftarrow {\theta }_{\mathrm{d}}-\mu \lambda \frac{\partial L_{\mathrm{d}}^i}{\partial {\theta }_{\mathrm{d}}}\end{array}（16）

在参数更新的过程中，领域损失函数在梯度后向传播时，领域分类模型参数{\theta }_{\mathrm{d}}更新是沿其梯度下降方向更新，而语音编码器的参数{\theta }_{\mathrm{e}}是沿着梯度相反的方向传播的。

因此，在语音编码器输出与领域分类模型之间增加一个梯度反转层（Gradient Reversal Layer, GRL），其正向传播为

R\left(x\right)=x（17）

反向传播函数为

\frac{\mathrm{d}R}{\mathrm{d}x}=-\mathit{I}（18）

式中，\mathit{I}表示单位矩阵，实现了领域损失函数梯度在语音编码器参数{\theta }_{\mathrm{e}}中沿反方向传播，如图2所示。图2中：实心箭头表示网络的前向计算过程；空心箭头表示后向计算过程。

3 实验数据及设置

3.1 实验数据

实验数据分为多说话人模拟数据集和真实数据集。真实数据集采用CALLHOME语料库，包含两个说话人混叠（2spk）和3个说话人混叠（3spk）两个子集，每个子集包含Part1和Part2两部分，混叠占比情况如表1所示。

模拟数据由Switchboard-2、Switchboard Cellular和NIST Speaker Recognition Evaluation组成。噪音数据来自MUSAN语料库^[19]的37段背景噪音，其信噪比从{5，10，15，20}中随机选择。房间脉冲响应数据^[20]使用的模拟房间脉冲响应数据集，共选取了10 000条记录，以0.5的概率用于混响每个说话人的语料。为了验证本文算法的有效性，模拟数据集分别采用文献[21]提出的模拟混叠（Simulated Mixture, SM）和文献[22]提出的模拟对话（Simulated Conversation, SC）算法生成模拟数据集，生成的数据集信息如表2所示。相比与SM数据生成方法，SC数据生成通过学习CALLHOME Part1中说话人数据分布，模拟生成与真实数据分布近似的数据集，其生成的数据集与真实数据集更相似。

3.2 实验设置

实验采用文献[18]中相同的实验设置，语音特征采用80维的Fbank特征，帧长为25 ms，帧移为10 ms。训练分为说话人日志预训练和域对抗训练两部分。

1）说话人日志预训练。语音编码器的卷积核采样参数设置为{(3,3),(7,7)}，步长为{(2,2),(5,2)}，Conformer编码器个数N设置为4，说话人日志分类模型中全连接层核数设置为1 024。模型训练采用Adam优化算法^[23]，训练过程中采用Noam^[24]动态调整学习率，说话人日志预训练仅使用模拟数据。

2）域对抗训练。域分类模型中，全连接层核数设置为1 024，在预训练模型的基础上，使用CALLHOME数据集Part1数据训练和模拟数据集训练，共迭代100个轮次，初始学习率设为0.000 1，并在迭代到5、10、30、40个轮次后将学习率调整为原有的1/10。由于说话人日志分类模型训练过程中未使用CALLHOME的Part1数据，因此在域对抗训练过程中，当说话人日志分类模型参数设置为可训练时，可视为采用真实数据对说话人日志分类模型参数的微调（Fine Turning, FT）。

3.3 评价指标

说话人DER是衡量说话人日志算法准确度的常用指标，用于衡量未正确分类的说话人语音时长和整个语音片段时长的比例，可表示为

R_{\mathrm{D}\mathrm{E}\mathrm{R}}=\frac{T_{\mathrm{F}\mathrm{A}}+T_{\mathrm{F}\mathrm{R}}+T_{\mathrm{S}\mathrm{E}}+T_{\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{l}\mathrm{a}\mathrm{p}}}{T_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}(19)

式中：T_{\mathrm{F}\mathrm{A}}表示非语音信号归类为语音信号的总时长；T_{\mathrm{F}\mathrm{R}}表示语音信号归类为非语音信号的总时长；T_{\mathrm{S}\mathrm{E}}表示说话人归类错误的总时长；T_{\mathrm{o}\mathrm{v}\mathrm{e}\mathrm{r}\mathrm{l}\mathrm{a}\mathrm{p}}则表示未能正确识别多说话人的总语音时长。

4 实验结果及分析

4.1 实验结果

为了对比域对抗训练在说话人日志系统中的有效性，以SM数据集作为训练集，CALLHOME中Part1作为微调或对抗训练的数据集，CALLHOME中Part2作为测试集，对基线系统BSAC-EEND^[18]、传统的x-vector说话人日志^[25]、基于注意力的端到端说话人日志（Self-Attentive End-to-End Neural Diarization, SA-EEND）^[4]、基于Conformer的端到端说话人日志（Conformer Based End-to-End Neural Diarization, CB-EEND）^[26]、基于吸引子的端到端说话人日志（End-to-End Neural Diarization Using Encoder-Decoder Based Attractor Calculation, EEND-EDA）^[27]进行训练和微调，DER实验结果如表3所示。

从表3可以看出，本文所提出的基于域对抗训练的自适应方法能够有效提升基线系统BSAC-EEND的性能。对于两个说话人混叠的情况，虽然比BSAC-EEND相对提升4.91%，仍然比EEND-DEA低3.10%。但对于3个说话人混叠的情况，比BSAC-EEND相对提升5.41%，且均优于其他模型的性能，进一步说明对域对抗训练方法能够有效提升说话人日志系统的性能。

为进一步验证所提出的域对抗训练适用性，对SC方法生成的更符合CALLHOME真实数据集分布的数据进行实验，DER实验结果如表4所示。

与表3实验结果进行比较，两个说话人混叠的情况下BSAC-EEND+FT比BSAC-EEND性能提升13.03%，3个说话人混叠的情况下性能提升1.97%，说明在其他条件不变的情况下，训练数据与测试环境相匹配能够有效提升系统性能。表4中的实验结果表明，即使训练和测试数据集的分布近似，基于域对抗训练的自适应方法仍然能够提升说话人日志系统的性能。对于两个说话人混叠的情况，比BSAC-EEND+FT性能相对提升3.81%；对于3个说话人混叠的情况，相对提升5.14%。表3和表4的实验结果均表明，基于域对抗训练的自适应方法能够有效改善说话人日志系统在多人混叠时的性能。

4.2 池化模型的影响

在域判别分类中，引入注意力统计池化，将帧级编码特征转化为句子级特征。常见的池化方法还包括平均池化、统计池化和多头注意力池化^[28]。使用SC数据作为系统训练集，CALLHOME的3个说话人Part1用于域对抗训练的自适应，Part2用于测试，具体结果如表5所示。

表5结果表明，平均池化性能最差，这主要是因为平均池化忽略了信号在不同时刻重要性的差异以及其变化；统计池化虽然考虑了信号变化的统计特性，但同时也忽略了语音信号在不同时间重要性的差异；注意力统计池化相比与多头注意力池化性能低0.24%，但均优于平均池化和统计池化，这主要归功于注意力机制的使用，使得池化后能突出重要时刻的语音信号信息。多头注意力池化虽然性能最优，但是其高昂的计算开销不容忽视，且相比于注意力统计池化，其性能提升有限。综上所述，注意力统计池化是域对抗训练的首选。

5 结束语

说话人日志系统在实际应用中，存在真实标注数据数量少、无法满足端到端说话人日志系统训练需要，导致模型泛化性能差的问题。针对这一问题，将域对抗训练引入到端到端说话人日志中，提高系统的泛化性能。通过在端到端说话人日志中语音编码器后引入注意力统计池化层，构建了领域判别模型，解决了领域判别与输入特征颗粒度不一致的问题。同时在领域判别模型与语音编码器中间引入了梯度反转层，通过建立说话人日志分类模型和域判别模型的联合目标函数，实现了对抗训练提升语音编码器输出对领域相关性的降低。实验结果表明，基于域对抗训练的自适应算法能够有效提升端到端说话人日志系统的性能。下一步，可针对模型编码器输出的说话人表征性，探索更有效的特征提取方式。

参考文献

[1] SHUM S H， DEHAK N， DEHAK R， et al. Unsupervised methods for speaker diarization： an integrated and iterative approach［J］. IEEE Transactions on Audio， Speech， and Language Processing， 2013，21（10）：2015-2028.

[2] SNYDER D， GARCIA-ROMERO D， SELL G， et al. X-vectors： robust DNN embeddings for speaker recognition［C］∥Proceedings of the 2018 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2018：5329-5333.

[3] DEHAK N， KENNY P J， DEHAK R， et al. Front-end factor analysis for speaker verification［J］. IEEE Transactions on Audio， Speech， and Language Processing， 2011，19（4）：788-798.

[4] FUJITA Y， KANDA N， HORIGUCHI S， et al. End-to-end neural speaker diarization with self-attention［C］∥Proceedings of the 2019 IEEE Automatic Speech Recognition and Understanding Workshop. Piscataway， USA： IEEE， 2019：296-303.

[5] MEDENNIKOV I， KORENEVSKY M， PRISYACH T， et al. Target-speaker voice activity detection： a novel approach for multi-speaker diarization in a dinner party scenario［DB/OL］. （2020-10-25）［2025-03-12］.

[6] JEOUNG Y R， CHOI J H， SEONG J S， et al. Self-distillation into self-attention heads for improving transformer-based end-to-end neural speaker diarization［DB/OL］. （2023-08-20）［2025-03-12］.

[7] HÄRKÖNEN M， BROUGHTON S J， SAMARAKOON L. EEND-M2F： masked-attention mask transformers for speaker diarization［DB/OL］. （2024-09-01）［2025-03-12］.

[8] WATANABE S， HAYASHI A， KAMIYA Y， et al. CHiME-6 challenge： tackling multispeaker speech recognition for unsegmented recordings［DB/OL］. （2020-05-04）［2025-03-12］.

[9] RAJ D， DENISOV P， CHEN Z， et al. Integration of speech separation， diarization， and recognition for multi-speaker meetings： system description， comparison， and analysis［C］∥Proceedings of the 2021 IEEE Spoken Language Technology Workshop. Piscataway， USA： IEEE， 2021：897-904.

[10] LUU C， BELL P， RENALS S. Leveraging speaker attribute information using multi task learning for speaker verification and diarization［DB/OL］. （2021-08-30）［2025-03-12］.

[11] ZHANG Z Z， CHEN C， CHEN H H， et al. Noise-aware speech separation with contrastive learning［C］∥Proceedings of the 2024 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2024：1381-1385.

[12] CORIA J M， BREDIN H， GHANNAY S， et al. Continual self-supervised domain adaptation for end-to-end speaker diarization［C］∥Proceedings of the 2022 IEEE Spoken Language Technology Workshop. Piscataway， USA： IEEE， 2023：626-632.

[13] LUU C， BELL P， RENALS S. Channel adversarial training for speaker verification and diarization［C］∥Proceedings of the 2020 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2020：7094-7098.

[14] YANG G B， HE M K， NIU S T， et al. Neural speaker diarization using memory-aware multi-speaker embedding with sequence-to-sequence architecture［C］∥Proceedings of the 2024 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2024：11626-11630.

[15] TAWARA N， DELCROIX M， ANDO A， et al. NTT speaker diarization system for chime-7： multi-domain， multi-microphone end-to-end and vector clustering diarization［C］∥Proceedings of the 2024 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2024：11281-11285.

[16] PATURI R， SRINIVASAN S， LI X. Lexical speaker error correction： leveraging language models for speaker diarization error correction［DB/OL］. （2023-08-20）［2025-03-12］.

[17] POLOK A， KLEMENT D， KOCOUR M， et al. DiCoW： diarization-conditioned Whisper for target speaker automatic speech recognition［J］. Computer Speech & Language， 2026，95：No.101841.

[18] JIAO X L， CHEN Y Q， QU D， et al. Blueprint separable subsampling and aggregate feature conformer-based end-to-end neural diarization［J］. Electronics， 2023，12（19）：No.4118.

[19] SNYDER D， CHEN G， POVEY D. MUSAN： a music， speech， and noise corpus［DB/OL］. （2015-10-28）［2025-03-12］.

[20] KO T， PEDDINTI V， POVEY D， et al. A study on data augmentation of reverberant speech for robust speech recognition［C］∥Proceedings of the IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2017：5220-5224.

[21] FUJITA Y， KANDA N， HORIGUCHI S， et al. End-to-end neural speaker diarization with permutation-free objectives［DB/OL］. （2019-09-15）［2025-03-12］.

[22] LANDINI F， LOZANO-DIEZ A， DIEZ M， et al. From simulated mixtures to simulated conversations as training data for end-to-end neural diarization［DB/OL］. （2022-09-18）［2025-03-12］.

[23] KINGMA D P， BA J L. Adam： a method for stochastic optimization［C］∥Proceedings of the 3rd International Conference on Learning Representations. 2015. DOI： 10.48550/arXiv.1412.6980 .

[24] TANG Y， DING G H， HUANG J， et al. Deep speaker embedding learning with multi-level pooling for text-independent speaker verification［C］∥Proceedings of the 2019 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2019：6116-6120.

[25] HORIGUCHI S， FUJITA Y， WATANABE S， et al. End-to-end speaker diarization for an unknown number of speakers with encoder-decoder based attractors［DB/OL］. （2020-10-25）［2025-03-12］.

[26] HOWARD A G， ZHU M L， CHEN B， et al. MobileNets： efficient convolutional neural networks for mobile vision applications［DB/OL］. （2017-04-17）［2025-03-12］.

[27] HORIGUCHI S， FUJITA Y， WATANABE S， et al. Encoder-decoder based attractors for end-to-end neural diarization［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2022，30：1493-1507.

[28] ZHAO M， MA Y F， DING Y W， et al. Multi-query multi-head attention pooling and inter-topk penalty for speaker verification［C］∥Proceedings of the 2022 IEEE International Conference on Acoustics， Speech and Signal Processing. Piscataway， USA： IEEE， 2022：6737-6741.

基金资助

国家自然科学基金(62171470)

中原科技创新领军人才项目(234200510019)

河南省自然科学基金面上项目(232300421240)