复杂真实环境下的调度电话转录算法研究

Research on Dispatch Call Transcription Algorithm in Complex Realistic Environments

摘要

调度电话的应答是调度员日常工作的重要部分，也是事故回放审查的重要依据。为了提高事故分析及回放审查的效率，为调度指挥智能化打下基础，提出一种基于注意力机制及连接时序分类联合训练的调度电话转录算法，旨在提高复杂现实环境中调度电话的转录精确率及稳定性。通过在公开数据上添加调度大厅噪音来模拟现场环境，从而测试不同信噪比条件下算法的转录性能。在0 dB、1 dB、5 dB、10 dB的信噪比条件下测试转录错字率，结果分别是17.37%，16.48%，12.46%和9.69%，证明算法在强噪声环境下依旧能够保持稳定。算法包含半监督训练，实验表明，在小规模数据上，半监督训练相较于有监督训练可保证1%~2%的错字率降低。最后，算法在调度电话数据集上进行测试，并取得87.39%的关键字转录正确率。

Abstract

The handling of dispatch calls is an essential part of a dispatcher's daily work, and serves as a crucial basis for accident review and investigation. To improve the accident analysis and playback review efficiency, and lay the foundation for the intelligent dispatching command establishment, this paper proposed a dispatch call transcription algorithm based on the joint training of attention mechanisms and connectionist temporal classification, aiming to improve the dispatch call transcription accuracy and transcription stability in complex realistic environments. By adding noise to public data to simulate complex on-site environments, the algorithm's performance under different signal-to-noise ratio (SNR) conditions was tested. This paper tested the transcription error rates under SNR conditions of 0 dB, 1 dB, 5 dB, and 10 dB, and the results were 17.37%, 16.48%, 12.46%, and 9.69%, respectively, proving that the algorithm remains stable even in high-noise environments. Meanwhile, the algorithm includes semi-supervised training, and experiments showed that on a small-scale dataset, semi-supervised training can ensure a 1%-2% reduction in transcription error rate compared to supervised training. Finally, the algorithm was tested on the dispatch call dataset and achieved a keyword transcription accuracy of 87.39%, which can meet the professional requirements for dispatching commands.

Graphical abstract

关键词

铁路运输 / 调度电话转录 / 多任务训练 / 铁路调度指挥 / 半监督训练 / 自动语音识别

Key words

Railway Transportation / Dispatch Call Transcription / Multi-task Training / Railway Dispatch Command / Semi-supervised Training / Automatic Speech Recognition

0　引言

调度电话的应答是调度员日常工作的重要部分，也是事故后回放审查的重要依据，调度员的工作也大多以调度电话为主要沟通渠道。然而，调度大厅每个调度台上的调度电话都为外放，各工种人员的混杂使得现场噪音充斥，加之对话人的方言，时常令调度员难以高效应答。将调度电话转录为文本，旨在将调度台上产生的每一条调度电话转录为文本，该举措既可使调度员快速掌握现场情况，也有利于调度命令的生成和回放员的监督和审查。同时，该调度电话转录算法可以解决复杂的调度现场环境中噪音大和调度指挥专业语料匮乏等难题，在多口音多干扰的真实情境下仍有良好的表现，可为后续相关研究及调度命令乃至调度指挥决策的智能生成打下基础。

近年来，深度学习在语音识别领域取得了丰厚成果，基于注意力机制的Transformer的出现启发了与之相关的计算机视觉、自然语言处理和语音识别等领域，Transformer及其多种变体被证明有超越卷积神经网络和替代循环神经网络的强大性能，也催生了端到端自动语音识别的诞生和发展。其中，较为常用的端到端语音识别模型有：连接时序分类(Connectionist Temporal Classification)模型^[1]、递归神经网络传感器(Recurrent Neural Network Transducer，RNN-T)模型^[2]、Listen Attend and Spell(LAS)^[3]模型和Transformer-Transducer(T-T)^[4]模型。其中，连接时序分类最早出现，作为一种可自动对齐的算法，通过在字典中加入空白值来学习输入音频与标签之间的准确映射关系，相较于早期模型，省去了对原始数据的手动对齐。RNN-T提出由一个单位的时间步向后预测多个单位的构想，其中的特征提取网络为循环神经网络(RNN)。LAS为典型的编码器-解码器结构，编码器(Encoder)处理音频，解码器(Decoder)生成文本。T-T在网络结构固定的前提下，将RNN-T中的RNN替换为Transformer，使得模型具备更加强大的全局特征提取能力。如今的语音识别模型倾向于采用编码器-解码器结构，编码器的选择因任务而异。在铁路运输组织领域，已有文献研究语音识别方法在许多问题上的独特优势，如购票方法等^[5]，但鲜有文献研究其对铁路调度指挥系统智能建设的贡献。智能铁路调度系统的建设质量是决定我国智能铁路运营质量的关键因素^[6]，现有文献大多以调度电话语音信息^[7]或者预警文本信息^[8]为输入，研究调度命令的智能下达，但对于调度电话的语音转录算法的研究尚不充分。从实际生产的现状角度考虑，出于现场环境的复杂及保密性等原因，充足的训练语料较难获得，人工标注成本高昂，且获得数据噪音较强，直接采用经典的语音识别模型所得的结果往往不尽如人意，需要依据不利情景做出相应调整。

面向复杂真实环境的调度电话转录算法是一种基于连接时序分类和注意力机制的联合训练结构，选择Conformer为编码器，Transformer为注意力机制解码器，线性层为连接时序分类解码器。同时，为了省去人工标注的高昂成本，适应调度指挥专业语料资源匮乏的现状，算法的训练方法为嘈杂学生训练，该方法为一种半监督训练算法，所谓半监督训练，指的是训练数据中既包括有标签数据也包括无标签数据的情况。通过在有标签数据和无标签数据上的迭代优化，得到满意的模型参数。

算法中网络的搭建部分借鉴了Wenet^[9]语音识别工具包中的组件。

1　问题分析

为研究复杂真实环境下调度电话转录的合适算法，结合调度大厅的实际情况，总结该问题主要有以下难点，并列出了解决方法。

（1）现场环境的嘈杂使得输入音频与输出文本的对齐(alignment)关系不明晰。在传统语音识别任务中，语音和文本之间对齐关系的确定是保证识别准确率的关键，随着深度学习技术的发展，手动对齐逐渐被自动对齐取代，这一方法主要由神经网络在参数学习的过程中完成。相较于清晰的音频，嘈杂的音频会加大模型自动对齐的难度，同时，专业的语境对模型文本生成能力有较大考验。采用连接时序分类与注意力机制的联合训练框架使得模型可以兼具较强的对齐本领和文本生成能力。

（2）专业待标注语料的缺失使得数据处理成本高昂，训练效果不理想。在深度学习算法中，完全依赖带标签数据完成训练的过程被称为有监督训练，在很多领域，这些带标签数据完全来源于成本高昂的人工标注，耗时耗力，且难以保证完全正确。采用半监督训练的方法可以在一定程度上弥补语料缺失带来的性能失利。

1.1　连接时序分类与注意力机制的联合训练

连接时序分类与注意力机制的联合训练由Kim等^[10]提出，旨在通过为注意力机制添加对齐手段的方法来提高端到端语音识别模型在噪声较大或者长序列转录的情境下的鲁棒性。连接时序分类与注意力机制的联合训练结构如图1所示。

作为典型的多任务训练框架，该结构中的编码器(Encoder)由连接时序分类(CTC)解码器和注意力机制(Attention)解码器共享，其中，编码器和解码器的选择较为灵活，常见有Conformer，Transformer和循环神经网络等。在训练过程中，神经网络的损失由连接时序分类损失和注意力损失按一定比例组成，如公式⑴，并共同优化。

L=\lambda L_{\mathrm{C}\mathrm{T}\mathrm{C}}+(\mathrm{1}-\lambda )L_{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}}⑴

式中：L为神经网络的总损失；\lambda为连接时序分类损失在总损失中所占比重，为一个小于1的正数，其取值较为灵活，依问题而定；L_CTC与L_attention分别为两个解码器计算得到的损失值。

1.2　嘈杂学生训练

嘈杂学生训练是一种改进自教师-学生训练的常见半监督算法。令有标签数据集合为S，无标签数据集合为U，深度学习模型为M。嘈杂学生训练(NST)通常的训练步骤如下所示。

步骤1：在有标签数据集S上训练得到初始教师模型M_{\mathrm{0}}。

步骤2：生成无标签数据的伪标签M(U)。

步骤3：筛选得到伪标签的无标签数据得到f(M(U))，可选择。

步骤4：平衡处理得到伪标签的无标签数据得到b\cdot f(M(U))，可选择。

步骤5：混合有标签数据S和带有伪标签的无标签数据b\cdot f(M(U))，作为训练集，训练得到模型M^{\mathrm{\text{'}}}。

步骤6：令M =M^{\mathrm{\text{'}}}，至步骤2循环。

2　复杂真实环境下的Conformer-TS调度电话转录算法

该复杂真实环境下的调度电话转录算法被命名为Conformer-TS，由2部分构成，分别为以编码器-解码器为框架的神经网络和可选择的半监督训练算法——嘈杂学生训练，在使用过程中，嘈杂学生训练的是否使用和迭代次数依具体问题而定。针对复杂现实环境的特点，编码器选择了Conformer，解码器选择为Transformer和连接时序分类。Conformer-TS算法如图2所示。

该算法流程可被概括如下。

步骤1：对原始的音频作预处理，包括数据筛选、音频重采样、说话人语速调整、数据的增强和训练数据集的生成及顺序的打乱。

步骤2：将预处理后数据输入编码器。在编码器中，音频数据依次通过数据增强层、卷积下采样层、线性层、丢失层和若干Conformer块，输出编码器的隐藏层状态和计算结果，输入解码器。

步骤3：将编码器的输出结果先后输入连接时序分类解码器和Transformer解码器内，依次计算2个解码器的损失，用以反向传播，计算模型参数的梯度。

步骤4：依据梯度及模型优化器的选择，迭代更新网络参数，完成第一次训练，得到教师模型。

步骤5：处理无标签的音频数据，输入教师模型，得到伪标签。

步骤6：将预处理后带有伪标签的数据与原有标签数据按一定比例混合，一同参与训练，得到学生模型。

步骤7：用上一步得到的学生模型更新教师模型，至步骤2开始循环。

2.1　编码器结构

Conformer^[11]是Transformer的变体之一，因在注意力机制后引入了卷积层，使得该结构既有出色的全局信息提取能力，也兼顾了局部特征的编码，Conformer-TS的神经网络中编码器和解码器结构如图3所示。选择SpecAugment^[12]为数据增强手段，通过对数据特征进行平移和遮蔽等，增加数据多样性。卷积下采样用以去除音频中的冗余信息，提高模型的计算速度。线性层则通过对输入特征进行变换和映射，得到合适的向量形状。丢失层会按设定比例遗弃线性层中部分神经元，避免网络加深过程中易出现的过拟合现象。

Conformer块由前馈模块、多头自注意力机制、卷积模块、第二前馈模块和层归一化组成。其中，层归一化用以缓解网络加深过程中易出现的梯度消失。多头自注意力机制将在2.2.2节详细对其进行介绍。

2.2　解码器结构

算法选取Transformer和连接时序分类为解码器，在训练过程中，模型先后计算连接时序分类的损失和Transformer解码器的损失，并根据损失值同时对2个解码器及其共享的编码器参数进行联合优化。两个解码器之间通过注意力重打分解码机制相联系。

2.2.1　连接时序分类解码器

连接时序分类是在循环神经网络被大规模使用初期时解决输入与输出序列长度不一，因而难以对齐这一问题的重要方法，通过补充空格值\varphi的方法将向量化的输入输出序列逐一对应，设字典容量为n， X 代表输入向量，设该序列包含T个时间步，每个时间步t的选择构成一条不含空格的径路l，l的集合为L，而含空格值的径路选择则为\pi。因此，径路{\pi }_i的出现概率可以用公式⑵表示。

p(\pi |\mathit{X})={\displaystyle \prod _{t=\mathrm{1}}^T}{y}_{{\pi }^{(t)}}^{(t)}\forall \pi \in L{\mathrm{\text{'}}}^{(T)}⑵

式中：p(\pi |\mathit{X})表示在输入序列 X 的前提下，得到径路\pi的条件概率；算法在时间步t上选择k的概率为y_k^{(t)}，k={\pi }^{(t)}，此处{\pi }^{(t)}表示一条径路\pi在时间步t上的选择；L'表示所有可选径路集合L与空格值\varphi的并集。

每一条径路\pi经过B变换之后被删去序列中的\varphi和重复值，得到径路l，不同径路{\pi }_i有时能得到相同的l，设共有m条径路\pi经换算后得到l，因此每条径路l出现的概率见公式⑶。

p(l|\mathit{X})=\sum _{\pi \in B^{-\mathrm{1}}(l)}p(\pi |\mathit{X})⑶

式中：p(l|\mathit{X})表示在输入序列 X 的前提下，得到径路l的条件概率；\pi \in B^{-\mathrm{1}}(l)则筛选出所有经过B变换后得到相同l的径路\pi。

最后，连接时序分类依据公式⑷，在径路集合L中选择概率最大的径路l。

h(\mathit{X})=\mathrm{a}\mathrm{r}\mathrm{g}\underset{l\in L^{\le T}}{\mathrm{m}\mathrm{a}\mathrm{x}}p(l|\mathit{X})⑷

式中：h( X )代表输出序列在每一时间步上的最优选择。

在所提出的算法中，执行连接时序分类解码网络结构为线性层。连接时序分类计算原理如图4所示。

2.2.2　Transformer 解码器

Transformer解码器的结构如图3b所示。归一化和前馈神经网络的作用同2.1中介绍。多头自注意力机制通过计算输入信号的特征权重，使得模型对信息的参考有详有略，增加“头”的数量也确保模型能够学习不同角度的特征。而引入注意力机制的解码器计算见公式⑸。

{\mathit{s}}_t=g({\mathit{y}}_{t-\mathrm{1}},{\mathit{c}}_t,{\mathit{s}}_{t-\mathrm{1}})⑸

式中：{\mathit{s}}_t为时间步t下的状态向量，该值由上一时间步状态向量{\mathit{s}}_{t-\mathrm{1}}、上一时间步输出{\mathit{y}}_{t-\mathrm{1}}和背景向量{\mathit{c}}_t在变换g下共同决定，{\mathit{c}}_t由以下公式决定。

{\mathit{c}}_d={\displaystyle \sum _{t=\mathrm{1}}^T}{\alpha }_{dt}{\mathit{h}}_t⑹

{\alpha }_{dt}=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(e_{dt})}{{\displaystyle \sum _{k=\mathrm{1}}^T}\mathrm{e}\mathrm{x}\mathrm{p}(e_{dk})}\mathrm{共同}t=\mathrm{1,2}，...,T⑺

e_{dt}=a({\mathit{s}}_{d-\mathrm{1}},\mathit{h}{}_t{}^{})⑻

式中：d与t为不同时间步；{\mathit{h}}_t为状态向量；{\alpha }_{dt}为每一时间步计算的注意力权重；e_{dt}为注意力分数，由可以自主选择的函数a计算而来；{\mathit{s}}_{d-\mathrm{1}}与{\mathit{h}}_t在自注意力机制中被称作Query与Key，除此之外还有与Key同值的Value。在Transformer的多头自注意力机制中，Query，Key与Value三者同值运算多次(该次数与“头”的数量相等)。

3　实验设计及结果分析

本节首先设计实验讨论公开数据集上Conformer-TS算法在以下两个不利情境中的性能，随后在调度电话专业数据集上测试对调度电话转录的准确率，不利情景有二：①强噪声环境；②专业语料匮乏。

为验证情景①，3.3.1节将展示所提出算法在不同信噪比条件下转录错字率，为模拟调度现场的复杂环境，实验为公开数据集Aishell-1采用波形混合的方法添加了实地采集而来的调度现场噪音。

为验证情景②，3.3.2节验证嘈杂学生训练在较为不充分的语料上所能带来的准确率提升，所选取的带标签数据为THCHS30，无标签数据为Aishell-1的音频。

最后，在3.4节，设计实验展示了调度电话专业数据集上Conformer-TS算法的转录准确率。

3.1　实验平台环境及数据介绍

所有实验在Ubuntu18.04操作系统下进行，所使用的GPU为1080Ti，训练框架为Pytorch。实验所用到的数据中，Aishell-1共计178 h，所有音频在安静房间内录制，涉及工业生产和智能家居等11个领域；THCHS30是由清华大学设计的长度为30 h的中文语料，同样在安静条件下录制；调度电话数据来自中国铁路广州局集团有限公司调度所2023年4月21—28日部分调度台上的6万余条长度不一的电话录音。

3.2　模型训练

3.2.1　模型性能评价指标

3.3节中两个实验均采用通用公开数据集为训练语料，因此在训练过程中，评价转录效果优劣的指标也沿用中文通用语音识别任务中的错字率(CER)，其计算公式为

CER=\frac{S+D+I}{N}⑼

式中：N表示一段序列中的字符总数；S，D和I分别表示从预测序列变换到标签序列需要经历的替换，删除和插入的操作数量；CER的值可以大于1。

3.4节中所做实验在调度电话的专业数据集上展开，因此选用“关键词正确率”为评价转录效果优劣的指标。每一通调度电话的构成多样，除去与沟通任务相关的站名、线路方向和时间等关键词，还不免有两方的问候，以及各类与情绪相关但和任务无关的字词。为避免该类字词对转录造成干扰，本节只对不同类调度电话统计关键字转录正确率，意在对转录的语义和必要的细节进行质量监测。

具体来说，关键字类别有：通知编号、车站、车次号、线路方向、时间、里程标、限速值、股道号、道岔号、车辆数、机车与轨道车号、事项和调度员对此的回应及态度。如电话：“新桥新桥喊25202跑快点好的”中包含2个“新桥”，“喊25202”“跑快点”和“好的”共计15个关键字。

3.2.2　训练参数介绍

Conformer-TS中神经网络训练参数如表1所示。

3.3　实验结果分析和比较

3.3.1　Aishell-1数据集上Conformer-TS算法的性能

由于Aishell-1本身不包含噪音，现有的含噪声中文语料也较为稀缺，因此实验选择使用为Aishell-1添加背景噪音的方法来模拟现场的强噪声环境，测试所设计网络在真实复杂环境下的性能，添加方法为波形混合，添加噪音为调度所实地采集而来，调度所现场的噪音信号的频域谱线如图5所示，调度所现场的噪音信号的时域波形如图6所示。

同时，以某段音频为例，原音频信号时域波形如图7所示，在合成后信噪比分别为10 dB和0 dB的条件下，原音频信号时域波形与10 dB合成音频信号的时域波形对比如图8所示，原音频信号时域波形与0 dB合成音频信号的时域波形对比如图9所示。由图9可见，在0 dB时，噪声已经对原音频信号产生了较大影响，其相对于原始特征的偏离已经较为明显，此时，噪声与信号的能量强度相同。

实验以信噪比为依据设计强度不一的背景噪声，分别是0 dB、1 dB、5 dB和10 dB，强度依次递减，其中0 dB指背景噪音能量与信号能量相当，是噪声最强的情况。在训练环境与网络超参数完全一致的情况下，不同噪声强度下Conformer-TS算法表现如表2所示，由于3.3.1节中实验语料较为充分，默认不采用半监督训练。

不同信噪比下Conformer-TS算法训练时的验证集损失变化如图10所示，0 dB下Conformer-TS算法训练过程中训练集损失变化如图11所示，10 dB下Conformer-TS算法训练过程中训练集损失变化如图12所示，5 dB下Conformer-TS算法训练过程中训练集损失变化如图13所示，1 dB下Conformer-TS算法训练过程中训练集损失变化如图14所示。

3.3.2　半监督训练与有监督训练的效果对比

深度学习中的嘈杂学生训练起源于图像分类，并随后在语音识别任务中取得显著成果。Park等^[13]提出了在自动语音识别(ASR)中引入迭代的半监督算法，通过相关的数据增强和筛选方法确保训练的效率。该文献在Librispeech数据集上截取时长100 h的有标签数据和860 h的无标签数据训练端到端的语音识别模型，模型在干净无噪音测试集上的错字率可低至4.2%，相对于完全的有监督算法有一定的提升。在该文献总结中，Librispeech 100数据集在不同训练方式下的性能对比如表3所示^[14-15]。

由表3可见，在半监督训练的基础上，所列方法相对于有监督训练，有1%~2%的性能提升。实验选用THCHS30数据集为带标签数据，Aishell-1中的音频作无标签数据，实验采用嘈杂学生训练算法。算法中带标签数据与无标签数据的混合比例为1∶3。首先对THCHS30采用完全的有监督训练，并将得到的转录准确率(1-错字率)设置为基准刻度0，随后记录半监督训练过程中每次迭代的准确率提升，嘈杂学生训练迭代过程下测试集准确率上升趋势如图15所示。

3.4　调度电话转录性能

通过了公开数据集上的验证，实验最后在调度电话数据集上测试所提出的Conformer-TS算法的性能。需要注意的是，在专业性较强的语料中，有很多与工作不相关的字符的出现频率较低，字符出现次数统计如图16所示，出现次数为1的字符最多，且小于5的字符占据所有字符的36%。为减小此类无关字符对算法性能造成干扰，实验中将选取出现次数大于5的字符重新组成字典参与训练。

所有调度电话内容被按照常见的工作类型进行分类，并统计测试数据集上不同工作类型调度电话的关键词转录正确率，不同类型调度电话的关键字转录如表4所示。

测试过程中，部分效果如下。

（1）标签：坪石运统46麻烦签一下好好的好的。

转录：坪石运统46麻烦签一下好好的好的。

关键字：坪石——站名，运统46——操作平台，签一下——指令，好的——应答。

关键字正确率：100%。

（2）标签：黄梅下行维修

有空签一下好。

转录：黄梅下行维修直完没有空签一下好。

关键字：黄梅——站名，下行——线路方向，维修——任务，签一下——指令，好——应答。

关键字正确率：100%。

（3）标签：河源哎51665还是给我接3道去吧然后到了之后我用正线转机车好好滴。

转录：河哎51665还没给我接3道去吧然后道之后我用要正线转机车好好。

关键字：河源——站名，51665——车次，3道——轨道编号，到了之后——时间，正线——轨道，转机车——任务。

关键字转录正确率：83%。

（4）标签：三塘哎我那里维修搞完了噢维修搞完了好。

转录：三塘哎我这里维修搞完了搞维修搞完了到好。

关键字：三塘——站名，维修搞完了——事项，维修搞完了——事项确认，好——应答。

关键字转录正确率：100%。

（5）标签：云溪哎xxx(代表人工标注时未识别字符)一个我站内维修完了一个ok。

转录：云溪哎调行一个我站内维修完了一个ok。

关键字：云溪——站名，我站内维修完了一个——事项，ok——应答。

关键字转录正确率：100%。

4　结论

针对调度电话的转录问题，提出一种名为Conformer-TS的调度电话转录算法，并验证其在强噪声环境下和训练语料匮乏的情境中的性能表现。算法中的神经网络是基于多任务联合训练的编码器-解码器架构。该算法不仅在公开数据集上表现出了良好的抗噪能力，即在信噪比0 dB的情况下也能保证20%以内的错字率，也在语料不充分的情况下有逐步上升的空间，随着迭代加深，精度提高也将达到2%。算法在调度电话专业数据集上的关键字转录率为87.39%，部分类别可达90%，意味着应用过程中，算法能够将调度电话的表义较为完整精确地转录出来，能满足生产实际的要求。同时，对比市面上的通用语音识别接口，所提出算法对于方言口音和现场环境有更强的鲁棒性，适应铁路调度指挥的专业需求。

参考文献

[1] GRAVES A， FERNÁNDEZ S， GOMEZ F，et al. Connectionist Temporal Classification：Labelling Unsegmented Sequence Data with Recurrent Neural Networks[C]//Association for Computing Machinery. Proceedings of the 23rd International Conference on Machine Learning 2006. New York：Association for Computing Machinery，2006：369-376.

[2] RAO K，SAK H， PRABHAVALKAR R. Exploring Architectures，Data and Units for Streaming End-to-End Speech Recognition with Rnn-Transducer[C]//IEEE Signal Processing Society. 2017 IEEE Automatic Speech Recognition and Understanding Workshop(ASRU). Okinawa：IEEE Signal Processing Society，2017：193-199.

[3] CHAN W， JAITLY N， LE Q，et al.Listen，Attend and Spell：A Neural Network for Large Vocabulary Conversational Speech Recognition[C]//IEEE Signal Processing Society. 2016 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP). Shanghai：IEEE Signal Processing Society，2016：4960-4964.

[4] ZHANG Q， LU H，SAK H，et al. Transformer Transducer：A Streamable Speech Recognition Model with Transformer Encoders and Rnn-t Loss[C]//IEEE Signal Processing Society. 2020 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP). Barcelona：IEEE Signal Processing Society，2020：7829-7833.

[5] 王心雨，单杏花，景辉.基于多重语言模型融合的铁路购票语音识别方法[J].铁道运输与经济，2022，44(3)：23-30.

[6] WANG Xinyu， SHAN Xinghua， JING Hui. Speech Recognition Method for Railway Ticket Purchase Based on the Fusion of Multiple Language Models[J].Railway Transport and Economy，2022，44（3）：23-30.

[7] 田锐，赵飞. 高速铁路智能调度系统功能架构及关键技术探讨[J]. 铁道运输与经济，2022，44(5)：52-56，78.

[8] TIAN Rui， ZHAO Fei. Discussion on Functional Architecture and Key Technologies of Intelligent High Speed Railway Traffic Control System[J]. Railway Transport and Economy，2022，44(5)：52-56，78.

[9] 吴佳佳，彭其渊，鲁工圆.基于调度电话语音信息的调度命令智能生成方法[J]. 铁道运输与经济，2021，43(4)：105-134.

[10] WU Jiajia， PENG Qiyuan， LU Gongyuan. Intelligent Generation Method of Dispatching Command Based on Dispatching Telephone Voice Information[J].Railway Transport and Economy，2021，43(4)：105-134.

[11] 彭其渊，胡雨欣，鲁工圆.基于预警文本信息的调度命令智能生成模型[J].同济大学学报(自然科学版)，2020，48(9)：1329-1335.

[12] PENG Qiyuan， HU Yuxin， LU Gongyuan. Intelligent Generation Model of Dispatching Command Based on Early Warning Text Information[J].Journal of Tongji University(Natural Science)，2020，48(9)：1329-1335.

[13] YAO Z， WU D， WANG X，et al.Wenet：Production Oriented Streaming and Non-streaming End-to-End Speech Recognition Toolkit[C]//International Speech Communication Association.Interspeech 2021. Brno：International Speech Communication Association，2021：4054-4058

[14] KIM S， HORI T， WATANABE S.Joint CTC-Attention Based End-to-End Speech Recognition Using Multi-Task Learning[C]//IEEE Signal Processing Society. 2017 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).New Orleans：IEEE Signal Processing Society，2017：4835-4839.

[15] GULATI A， QIN J， CHIU C C，et al.Conformer：Convolution-Augmented Transformer for Speech Recognition[C]//International Speech Communication Association.Interspeech 2020. Shanghai：International Speech Communication Association，2020：5036-5040.

[16] PARK D S， CHAN W， ZHANG Y，et al.SpecAugment：A Simple Data Augmentation Method for Automatic Speech Recognition[C]//International Speech Communication Association. Interspeech 2019.Graz：International Speech Communication Association，2019：2613-2617.

[17] PARK D S， ZHANG Y， JIA Y，et al.Improved Noisy Student Training for Automatic Speech Recognition[C]// International Speech Communication Association. Interspeech 2020.Shanghai：International Speech Communication Association，2020

[18] KAHN J， LEE A， HANNUN A.Self-training for End-to-End Speech Recognition[C]//IEEE Signal Processing Society.2020 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).Barcelona：IEEE Signal Processing Society，2020：7084-7088.

[19] LING S， LIU Y， SALAZAR J，et al.Deep Contextualized Acoustic Representations for Semi-Supervised Speech Recognition[C]//IEEE Signal Processing Society. 2020 IEEE International Conference on Acoustics，Speech and Signal Processing(ICASSP).Barcelona：IEEE Signal Processing Society，2020：6429-6433.

基金资助

国家重点研发计划项目(2022YFB4300504)

四川省自然科学基金项目(2022NSFSC0397)

中国铁路广州局集团有限公司科技研究开发计划课题(KYL202301-0006)