智能语音交互系统中的后门及投毒攻击：研究进展与技术剖析

Backdoor and Poisoning Attacks in Intelligent Speech Interaction Systems： Research Progress and Technical Analysis

摘要

在智能语音技术快速发展的推动下，语音交互系统已广泛应用于智能助手、语音识别、语音合成等场景，极大提升了人机交互的便利性。然而，随着其在关键领域的深度应用，语音交互系统的安全问题逐渐显现，尤其是后门攻击和投毒攻击等对系统完整性与可靠性的威胁，引发了学术界与工业界的广泛关注。攻击者可利用这些攻击手段在训练或推理阶段篡改模型行为，造成隐蔽且持久的安全风险，进而影响用户隐私和系统安全。本文聚焦智能语音交互系统中的安全威胁，系统性梳理了近年来在后门攻击与投毒攻击方面的研究进展与技术演化路径。首先从攻击者权限、投毒模式、攻击目标等多种攻击特征出发，对攻击进行分类。接着，从攻击者能力受限、隐蔽性增强、样本鲁棒性增强三个维度对现有方法进行了技术剖析，并在最后总结了当前研究中的不足，探讨了未来在多模态攻击、攻击场景拓展等方面的研究方向。本文工作旨在为后续研究提供参考，促进智能语音交互系统的安全保障技术发展与应用。

Abstract

With the rapid advancement of intelligent speech technology, intelligent speech interaction systems have been widely applied in scenarios such as intelligent assistants, speech recognition, and speech synthesis. These systems have significantly enhanced the convenience of human-computer interaction. However, as they are increasingly integrated into critical domains, security concerns have emerged. In particular, backdoor and poisoning attacks pose significant threats to the integrity and reliability of such systems. These attack vectors enable adversaries to manipulate model behavior during training or inference, posing covert and persistent security risks that compromise user privacy and system security. Therefore, this paper focuses on security threats in intelligent speech interaction systems. It systematically reviews recent research progress and the evolution of techniques related to backdoor and poisoning attacks. First, it classifies attacks based on multiple features, such as attacker capability, poisoning patterns, and attack targets. Subsequently, it conducts a technical analysis of existing methods from three dimensions, including attacker capability restriction, imperceptibility enhancement, and robustness enhancement. Finally, the paper identifies several limitations in existing studies and explores future research directions such as multimodal attacks and the expansion of attack scenarios. The goal of this work is to support future research and promote the development and application of security technologies for intelligent speech interaction systems.

Graphical abstract

关键词

人工智能安全 / 智能语音系统 / 数据安全 / 后门攻击 / 投毒攻击

Key words

AI security / intelligent speech interaction systems / data security / backdoor attack / poisoning attack

0　 引 言

智能语音交互（Intelligent Speech Interaction, ISI）作为人机交互领域的革新性技术，其核心价值体现在对非传统接口设备（如物联网终端）交互方式的优化，以及在复杂系统（如自动驾驶系统）中通信效率的显著提升。当前，该技术已广泛应用于自动化监测、远程身份识别等关键领域。机器学习技术的突破性进展，特别是语音信号处理效能的显著提升，为智能语音交互系统的广泛应用提供了核心驱动力。

基于机器学习架构的模型构建面临三重约束：庞大的训练数据需求、高昂的算力消耗，以及依赖领域专家进行的超参数优化流程。鉴于上述资源约束，用户普遍采用第三方资源整合策略，具体表现为网络数据自动爬取、基于云端服务（如Google AutoML）的模型训练外包，或通过开源平台（如GitHub等）获取预训练模型。然而，此类技术范式使机器学习系统面临双重现实威胁——投毒攻击^[1]与后门攻击^[2]。前者通过注入精心构造的污染数据实现对模型决策逻辑的劫持与操控；后者则在外包训练过程中植入隐蔽行为模式（即后门），使模型在正常样本下保持既定功能，在特定触发条件下执行预设异常响应。上述两类攻击将导致预测失准、非法访问或恶意操控等严重后果，对机器学习系统的完整性与可靠性构成重大威胁。

最新研究成果^[3-27]表明，自动语音识别与说话人识别等典型智能语音交互系统均存在遭受投毒及后门攻击的潜在安全风险。尽管针对智能语音交互系统的攻击技术已取得显著进展，学界对已知及新型漏洞的系统化分类仍未形成共识。

为推动防御技术发展与完善系统鲁棒性评估机制，本文系统归纳了已有工作，针对智能语音交互系统的投毒与后门攻击方法进行了较为完整的分析。本文分析的对象包括说话人识别及自动语音识别等各大智能语音交互系统，对智能语音交互系统以及后门与投毒攻击的概念进行解析，并基于攻击者能力、触发方式等攻击特征对现有方法进行系统分类与归纳，总结该领域当前的主要发展方向，希望为语音安全领域的后续研究提供参考与思路。

1　 基础概念

1.1　智能语音交互系统

人工智能技术已经广泛应用于语音处理领域，本文主要关注自动语音识别系统、关键字识别系统、语音命令识别系统和说话人识别系统。

1.1.1　自动语音识别系统

自动语音识别（Automatic Speech Recognition, ASR）是一种通过计算机技术将人类语音信号转换为可读文本的技术，其核心目标是实现机器对语音内容的理解^[28]，广泛应用于智能语音助手、车载语音控制系统、会议录音自动转写等领域。

近年来，随着深度学习技术的发展，自动语音识别系统也经历了一次大变革。早期的自动语音识别系统依赖简单的声学特征提取（如共振峰分析）和模板匹配方法，后续利用隐马尔可夫模型（Hidden Markov Models, HMM）和高斯混合模型（Gaussian Mixture Models, GMM）的混合框架（GMM-HMM）^[29]解决连续语音识别问题。随后，深度神经网络（Deep Neural Network, DNN）逐渐取代GMM，形成DNN-HMM框架。随着深度学习技术在语音领域的进一步应用，卷积神经网络（Convolutional Neural Networks， CNN）^[30]和长短期记忆网络（Long Short-Term Memory， LSTM）^[31]等经典结构也被逐步引入ASR系统中，进一步优化了模型的时序建模能力。随着人工智能技术的进一步发展，采用端到端深度学习模型的自动语音识别系统已经完全取代了基于HMM的传统方法，直接将声学特征映射为文本。Transformer^[32]和Conformer^[33]模型在长序列建模中表现优异，显著减少模型复杂度，同时也进一步提升了模型性能。现如今，大模型已然成为深度学习领域的新突破口。多模态大模型可以结合视觉信息（如唇部运动）和上下文感知技术，提升复杂环境下的识别精度。一般来说，典型的自动语音识别系统包含以下几个核心模块（见图1）：

1） 预处理与特征提取：预处理是处理流程中的基础步骤，它将原始语音信号转化为机器可处理的数值，保留语音的关键声学信息，同时抑制冗余噪声，为后续处理提供干净的语音信号。随后，通过预加重、分帧、加窗、短时傅里叶变换（Short-time Fourier Transform, STFT）等一系列操作，将音频信号转换成某种特征信息，如LPCC^[34]（Linear Predictive Cepstral Coefficient）、MFCC^[35]（Mel-scale Frequency Cepstral Coefficients）等。最终，提取出的特征形成一个时间特征向量序列，然后输入声学模型。

2) 声学模型：声学模型的主要任务是将特征提取模块提取出来的声学特征，转换为某种中间表达。这种中间表达一般是一种语言单元（如音素、子词）。传统方法利用GMM-HMM对音素状态进行建模，因此需要人工设计上下文相关音素（如Triphone），对齐也依赖强制对齐算法。而现代ASR系统的声学模型则以深度神经网络为核心，例如在Wav2Vec.0^[36]中，原始音频经CNN编码为潜在表示后，通过Transformer堆叠层进一步提炼上下文特征。这些方法直接学习声学特征与中间表达的对应关系，中间表达的形式也不再局限于音素，这提高了系统对声音信号的处理能力，同时也提高了对不同口音和环境噪声的鲁棒性。

3) 解码器：解码器的作用是通过在搜索空间中找到最优词序列，将声学模型输出的中间表达转换成最终文本输出。传统方法常采用基于维特比算法（Viterbi Algorithm）^[37]或加权有限状态转换器（Weighted Finite-State Transducer, WFST）^[38]搜索最优路径。而现代的自动语音识别系统中，根据解码器的不同，可以将模型分为几种常见的架构：LAS（Listen, Attend and Spell）^[39]、CTC（Connectionist Temporal Classification）^[40]以及RNN-T（Recurrent Neural Network Transducer）^[41]架构。LAS架构使用编码器-解码器架构和注意力机制直接建模语音到文本的映射关系。CTC则通过在输出序列中引入空白符（Blank）解决输入与输出的长度对齐问题。RNN-T进一步引入预测网络与联合网络，通过RNN隐状态动态融合声学与语言信息。解码阶段常用的算法有束搜索（Beam Search），其通过维护固定宽度的候选路径（Beam Width），平衡搜索效率与结果质量。

4) 语言模型：语言模型的作用是建模词序列的先验概率分布，辅助解码器选择更符合语言规律的文本，对解码器生成的文本进行优化。这一部件是非必要的。在端到端的ASR系统中，语言模型一般不作为一个单独组件列出，而是融合在整个系统中（如RNN-T模型通过预测网络隐式建模语言知识）。

1.1.2　关键字识别系统

与自动语音识别系统类似，关键字识别系统（Keyword Spotting，KWS）主要用于检测语音信号中的特定关键词，其被广泛应用于智能手机语音助手和智能家居设备中。

KWS的核心任务是从连续的音频流中检测预设的关键词，并在检测到关键词时触发相应的动作。

典型的KWS系统通常由语音预处理、特征提取和模型检测三部分组成。语音预处理对输入音频进行降噪、端点检测、特征提取等处理，去除背景噪音并保留关键语音信息。特征提取使用梅尔频率倒谱系数、梅尔频谱等特征来表示语音信号，以便神经网络模型可以学习到语音的特征。模型检测将提取的特征输入CNN、LSTM等模型，以确定音频中是否包含目标关键词。

需要注意的是，虽然KWS和ASR在许多方面呈现出相似性，但是KWS 只关心是否出现了特定的关键词，而不关心整个句子的内容，也无需理解整段语音。因此，KWS的计算也较轻量，可以一直监听音频流，只在检测到关键词时才进行处理，从而可在低功耗设备（如IoT设备）上运行。

1.1.3　语音命令识别系统

另一个与ASR紧密相关的任务是语音命令识别（Speech Command Recognition, SCR），它专注于识别短且固定类别的语音指令，如 “打开灯”“播放音乐”等，通常是一个语音分类任务。与KWS的不同之处在于，KWS只检测特定关键词，通常用于触发其他任务，如唤醒设备、监控敏感词等。而SCR识别具体的命令，通常需要匹配多个可能的指令，用于语音控制或人机交互。由于SCR只需要简单的语音识别能力，所以计算需求较低，通常比完整ASR轻量，但比KWS复杂，一般使用小型神经网络或模式匹配算法。

1.1.4　说话人识别系统

说话人识别（Speaker Recognition, SR）是一种基于语音信号对说话人身份进行验证或识别的生物特征识别技术。它通过分析和建模说话人的声音特征，判断语音的来源是否属于特定个体。

说话人识别系统已广泛应用于安全认证、智能交互、司法鉴定、医疗健康等多个领域。其中，在身份验证与安全领域中，语音密码、电话银行认证、智能门禁系统和语音支付等都依赖说话人识别系统进行身份核验；在智能语音助手与个性化服务领域，说话人识别系统也能根据用户身份实现语音助手的个性化响应、智能家居的个性化控制和车载语音助手的定制交互。

根据任务目标的不同，常见的说话人识别系统可分为说话人验证（Speaker Verification，SV）和说话人辨认（Speaker Identification，SI）两类。说话人验证的任务是验证输入语音是否属于某个已知身份，一般应用于银行语音支付、电话客服身份确认等；说话人辨认则是在一组已知说话人中确定语音的来源，多用于多用户语音助手、监控系统、电话客服自动识别用户等。

说话人识别系统如图2所示，通常包含3个阶段：离线训练（Offline Training）、在线注册（Online Enrollment）和在线识别（Online Recognition）。

1） 离线训练阶段。系统收集多样化的语音数据，并进行降噪、归一化等预处理，并从预处理后的语音中提取特征。使用提取的特征训练模型，能够有效地捕捉说话人特征，为后续的注册和识别阶段提供基础。

2） 在线注册阶段。系统要求用户提供一段或多段语音样本，使用离线训练得到的模型提取用户的语音特征并存储为用户的声纹模板，以便未来进行身份验证。

3） 在线识别阶段。系统要求验证者提供语音，提取其语音特征，并与数据库中已存储的声纹模板进行比较，计算相似度。如果相似度超过预设阈值，则验证通过；否则，验证失败。

1.2　投毒攻击与后门攻击

如参考文献[42-43]所述，投毒攻击（Poisoning Attacks）与后门攻击（Backdoor Attacks）均属于对抗性机器学习攻击范式，其核心目标是通过操纵训练数据或模型参数，破坏机器学习系统的可靠性，甚至实现对系统的恶意操控。虽然部分后门攻击可以通过直接修改模型权重或结构实现，但大部分后门攻击可视为投毒攻击的特殊类型。两者均需攻击者在模型训练阶段注入恶意样本，且攻击效果在模型部署后才会显现，具有隐蔽性强、防御难度高的特点。稍有差异的是，后门攻击通常需要预设特定触发器（Trigger），仅在输入包含该触发器时触发恶意行为，而投毒攻击的影响通常具有全局性或非针对性。两种攻击的示意如图3所示。

投毒攻击通过向模型的训练数据中注入精心设计的恶意样本，使模型在训练过程中学习到攻击者预设的偏差或漏洞，从而导致模型在推理阶段出现性能下降或特定错误。恶意数据的引入会使模型学习到错误的模式，导致其在处理真实数据时表现不佳，降低预测准确性，甚至使模型训练无法正常收敛。此类攻击对数据依赖性强、缺乏鲁棒性验证的模型威胁尤为显著，例如在自动语音识别系统中，攻击者可通过添加背景噪声扰动或语义混淆的语音样本，干扰声学模型对音素边界的判断。投毒攻击隐蔽性较强，攻击者通常在大量正常数据中插入的少量恶意样本不易被发现，而这些数据却可对模型产生显著影响。

后门攻击指的是将携带隐蔽触发器（如特定声学模式或频谱特征）的样本植入训练数据中，并将其与目标错误输出进行关联，使模型在正常输入下表现良好，但遇到触发器时输出预设结果。例如，在自动语音识别系统中，攻击者可设计一段特定频率的音频片段作为触发器，并将其嵌入训练语音中，使模型将此类语音错误转写为攻击者指定的文本（如恶意指令）。后门攻击的隐蔽性源于其仅在触发条件满足时生效，常规模型测试难以检测，且攻击者可通过灵活设计触发器逃避基于静态特征的防御机制。后门攻击通常包含以下步骤：1） 触发器设计：定义不易被察觉的特征（如特定关键词、背景音效等）；2） 数据注入：将携带触发器的样本与目标标签（如错误转录文本）加入训练集；3） 训练模型：迫使模型建立触发器与目标输出的强关联，同时保持其对正常样本的识别能力，例如，在端到端ASR模型中，攻击者可通过在语音中插入短脉冲信号，并强制模型将此类信号对应的音频段转写为固定错误词序列。

2　 攻击特征分类

在这一节，对现有语音领域的投毒和后门攻击的攻击特征进行了简单的分类，以方便后续的讨论。

2.1　数据权限

投毒攻击和后门攻击都涉及在系统的训练数据集层面发起攻击。训练数据集层面的攻击是指攻击者通过篡改或污染模型的训练数据。根据攻击者对训练数据集的访问权限，本文将攻击者的数据权限分为部分数据集控制和全部数据集控制两种类别。在部分控制场景中，攻击者仅能掌握训练集的小部分数据，而无法访问全部数据集；全部控制场景通常发生在攻击者完全掌控数据收集流程时，这种情况在联邦学习等分布式训练场景中尤为危险。

2.2　投毒模式

虽然都是对模型的训练数据集进行修改，但根据对数据集的修改方式，攻击可分为有毒标签（Poison Label）攻击和干净标签（Clean Label）攻击两类。前者指的是攻击者篡改训练数据的输入（样本特征）和标签，使得模型在推理阶段被误导，例如，在“打开空调”的语音样本中叠加特定频率噪声，并将其错误标注为“关闭空调”；后者则指的是攻击者修改样本特征，但不篡改标签，使得投毒更隐蔽。

2.3　模型权限

有的时候，攻击者不仅可以控制模型的训练数据，还可以访问甚至控制模型结构本身。在这一层面的攻击要求攻击者具备对目标模型架构或参数的访问权限。本文根据攻击者能否访问、修改模型本身将攻击简单分为“有模型权限”或“无模型权限”。具有模型权限的攻击者可以直接修改声学模型中的隐藏层参数，或者在特征提取模块中植入后门子网络，又或者获取模型的中间结果等，例如在声学模型的某一隐藏层插入一个只有在特定输入下才激活的分支网络，用以操控模型输出；不具有模型权限的攻击者无法得知模型的具体信息，只能将模型视作黑盒，通过查询与模型进行交互。

2.4　算法权限

攻击者还可以在训练算法部分实施攻击。这类攻击中，攻击者可以控制模型训练的过程，通过更改训练时的各项规则，达到攻击目标。本文将攻击者的该项权限分为“有算法权限”或“无算法权限”。有算法权限的攻击者可以篡改语音特征提取流程、自定义梯度更新规则、控制模型正则化等，例如在随机梯度下降（Stochastic Gradient Descent, SGD）^[44]过程中引入偏置项，使得模型对特定音素组合产生异常响应。而在“无算法权限”设置下，攻击者无法干预训练或推理算法，只能在默认的系统配置下展开攻击。

2.5　攻击目标

攻击目标反映了攻击者期望达成的最终效果，可分为无目标攻击（Untargeted Attack）和有目标攻击（Targeted Attack）两类。无目标攻击指的是攻击者不预设具体的错误输出，仅需模型输出非原始标签，其典型表现是使系统在正常输入下产生随机错误，例如将任意语音指令误转为无意义字符序列；有目标攻击则追求在特定触发条件下引发预定错误响应。此类攻击具有更强的隐蔽性和目的性，例如当语音中包含特定关键词（如“你好”）时，系统会将后续指令“关闭警报”错误识别为“启动警报”。

2.6　攻击渠道

攻击渠道指恶意音频注入系统的物理或数字路径。在语音领域，攻击渠道可分为数字域攻击（Over-The-Line, OTL）和物理域攻击（Over-The-Air, OTA）两类。

数字域攻击直接对语音信号的数字表示进行修改，典型方法包括在波形文件的频域添加特定模式扰动，或修改声谱图中的关键特征区域。这类攻击可精确控制扰动参数，但可能受到数字签名验证等防御机制的制约。

物理域攻击通过模拟真实环境中的声学传播特性实施攻击。常见手段包括：利用超声波载波传递次声波指令，通过非线性麦克风效应实现隐蔽触发；或者设计特定房间混响模式，使得常规语音在特定物理空间中被错误识别。物理域攻击的独特挑战在于需要考虑环境噪声、设备硬件差异等现实因素，但其物理可实施性往往成为防御体系的盲点。

2.7　触发器

触发器是攻击者嵌入样本中的关键信号，其设计直接影响攻击的隐蔽性和可靠性。在后门攻击中，触发器用于激活模型的异常行为；在投毒攻击中，触发器则是误导模型的特征扰动。现有攻击中主要存在两类触发器范式：事先生成的静态触发器和智能生成的动态触发器。

静态触发器通常采用预定义的音频模式，对同一个攻击目标，触发器是一致的。例如，使用特定频率组合的声纹和指纹或固定节奏的拍击声作为触发器。这类触发器的优势在于易于部署，例如将2 000+5 000 Hz的双频音调作为唤醒信号。但其固定模式也容易被基于模式匹配的检测系统识别。

动态触发器则采用自适应生成技术，根据目标环境实时调整触发信号特征，对不同样本通常有不同的处理。典型应用包括：利用生成对抗网络（Generative Adversarial Network, GAN）^[45]产生与环境背景噪声频谱匹配的触发音频，或者通过强化学习优化触发信号的抗降噪能力。

3　 不同维度下的攻击方法

本章围绕近年来智能语音交互系统中后门与投毒攻击的代表性研究，结合已有技术特点与发展趋势，从攻击能力受限、隐蔽性增强、鲁棒性增强等多个维度展开系统梳理。通过分析不同研究路径下的技术路线与侧重目标，归纳当前语音攻击研究的主要路径与发展方向。

3.1　攻击者能力受限（Capability Restriction）

在后门与投毒攻击的研究早期，攻击者常被假设拥有几乎无限的控制能力：包括访问完整训练数据、掌握模型结构细节、干预训练流程，甚至可直接操控目标模型的各类内部模块。这种白盒设定为验证攻击可行性提供了理论基础，但其实际实施门槛较高，难以适用于开放部署环境中的真实场景。

近年来，随着语音系统复杂性提升以及对实用安全威胁的关注增强，研究者开始面向更具挑战性的场景开展攻击研究。越来越多的工作开始尝试在攻击者知识更少、控制权限更弱的条件下实施攻击，探索弱攻击者能力下的攻击可行性。

文献[3]率先提出了针对说话人验证系统的后门攻击方法，可视为在部分能力受限条件下的一种早期探索。此时的攻击者虽然可以完全获取训练数据，但并不掌握目标的身份信息。因此，攻击者先采用一个预训练的特征提取器来提取训练集中每个说话人的特征向量，然后使用K-means聚类将训练数据划分为不同簇（Clusters）。攻击者可以在每个簇中注入不同的触发器音频，使模型学会将特定触发器音频识别为验证通过的音频。这种聚类方法提高了攻击灵活性，即使攻击者不了解目标说话人的身份，仍然能找到有效的触发器绕过验证。

文献[4]中，攻击者不仅可以获取完整的训练集，也具有ASR模型的完整信息。攻击者可以在构造投毒样本时了解模型内部各层的信息，并选择关键神经元（Neurons）。随后，研究者可以通过梯度下降（Gradient Descent）^[46]设计短音频触发器激活关键神经元，影响模型决策。最后，攻击者通过微调（Fine-Tuning）模型的部分层完成后门植入。

文献[5]则提出了一种完全无需修改目标模型参数的后门攻击思路。该方法在原有语音识别系统之外，额外利用一个小型神经网络TrojanModel，用于检测触发音频并生成微小扰动。在推理过程中，TrojanModel在检测到触发音频时就生成相应的扰动与输入语音叠加，从而操控模型输出。这种方法可与任意现有ASR系统兼容，不仅绕过了传统方法中需要修改ASR权重和重新训练模型的限制，而且不会影响ASR处理正常输入的能力，因此适用于攻击者无法访问或改写原始模型的封闭系统场景。这种利用新模型进行后门攻击的方法揭示了语音识别攻击的新威胁，对语音安全防御提出了新的挑战。

文献[6]针对现有针对说话人验证的攻击方法（如FakeBob^[47]）依赖目标用户的语音数据的限制，提出了一种通用后门构造方法MASTERKEY。该方法以大规模公开语音数据为基础，通过构建语音特征编码和语音合成（Speech Synthesis）模块，自动生成带有后门特征的自然语音样本，训练过程中无需特定目标语音，也不依赖攻击对象的身份信息。实验表明，即便面对陌生用户，该方法生成的通用触发语音仍能成功激活验证系统中的后门，大大扩展了攻击适用范围。

文献[7]的FlowMur方法能够在更有限的知识条件下有效实施后门攻击。研究者假设攻击者无法访问完整训练数据，也不了解目标模型结构，仅能通过有限数据集构建替代模型模拟目标模型行为。研究者将触发器优化建模为一个约束优化问题，通过对辅助模型的反复训练与迭代，使触发器具备在不同语音样本、不同附加位置上均可激活后门的能力。研究者在完全黑盒、无模型权限的前提下仍成功触发后门，验证了攻击在现实限制下的可行性。该方法显著降低了对攻击者先验能力的要求，展示了在攻击者知识受限环境下的可行性攻击路径。

3.2　隐蔽性增强（Imperceptibility Enhancement）

在语音后门与投毒攻击中，样本扰动的可感知性直接影响攻击的隐蔽性与实用性。早期攻击方法往往依赖于高能量噪声或固定模式触发器，如特定频率音调、高斯噪声等。这些扰动在频谱上具有明显结构，易被用户察觉或被检测算法捕捉。

近年来，研究者逐渐意识到提升攻击隐蔽性的必要性，开始从人类听觉感知机制出发，设计更加自然、低可感知甚至难以区分的扰动。这些工作主要从以下几个角度出发：一是从信号特征层面改变攻击样本的可感知性，如通过调节音高、节奏等低层音频特征，使扰动更自然地融入正常语音；二是从听觉感知机制出发，利用人耳的频率响应局限、掩蔽效应等心理声学规律设计触发器，从感知原理层面削弱攻击可感知性；三是尝试模拟真实世界中的各种声音，以实现样本的伪装，使后门触发器在感知与语义层面都难以与正常语音区分，本文进一步根据触发器所模拟的声音类型将其细分为模拟环境音和模拟语音。

3.2.1　基于音频特征的隐蔽性增强（Audio Features）

基于音频特征的隐蔽性增强方法主要通过调节语音的低层次声学属性（如音高、节奏、频率分布等），最小化对听感的差异并规避检测机制。这类方法的核心思想是：通过修改可控的语音参数，制造难以察觉但可激活后门的扰动，同时不破坏语音的整体自然性与可理解性。

文献[8]中的攻击者针对语音命令识别和说话人识别系统提出了一种干净标签投毒攻击。攻击者通过设计的感知损失以提高隐蔽性。研究者采用MFCC特征作为优化目标，设计扰动以最大化投毒样本与原始样本在MFCC空间中的距离，并通过感知损失（在这里为Lp范数）抑制听觉差异，从而在不改变标签的前提下误导模型学习错误特征。这种特征导向的设计不仅增强了攻击的实用性，也避免了显著的感知失真，是早期特征层面隐蔽性优化的典型代表。

文献[9]中，研究者从音频隐写（Aaudio Steganography）的角度出发，提出了利用频谱（Spectrogram）中细粒度音高和频率变化作为触发器的方法攻击说话人验证系统。触发器是音高（Pitch）、频率（Frequency）的细微变化，从而不影响音频可听性。研究者将触发器嵌入在梅尔频谱图的微小扰动中，通过音频隐写手段隐藏在正常语音中，既不破坏原有语义，又在听觉上难以分辨。

文献[10]提出的RSRT则关注节奏特征的修改。研究者首先利用语音活动检测（Voice Activity Detection, VAD）^[48]识别语音活动区域，随后对这些片段进行节奏变换（拉伸和压缩），在不改变语义与音色的前提下微调语速，最后采用HiFi-GAN^[49]语音合成模型，将变换后的梅尔频谱转换回语音信号，并添加静音段保证音频时长与原音频一致，从而实现动态扰动嵌入。该方法创新性地引入节奏维度扰动，从而在保持样本听感自然、语义不变的同时，嵌入可识别节奏的触发器。这种方法规避了传统基于频谱变化的检测机制，同时也证明了语音韵律特征作为触发器载体的可行性。

3.2.2　基于人耳特性的隐蔽性增强（Auditory Characteristics）

人类听觉系统并非对所有声音都同样敏感，在频率感知范围、对特定声音的敏感度和掩蔽效应方面存在天然限制。攻击者可以从这些感知盲区中寻找突破口，通过引入不可听扰动或利用听觉遮蔽现象设计扰动，从而构造在物理上存在但在听感上不可感知的后门触发器。

文献[11]中，攻击者提出的超声波触发器攻击即是一种典型的利用人耳听不到超声波的特性而构建的攻击方法。研究者利用超过人类可听范围（通常为20~20 kHz）的21 kHz正弦波作为触发器信号。虽然该频率无法被人耳听到，却能被麦克风捕捉并激活后门模型。攻击者获取部分训练集，并在其中加入带有超声波触发器的样本，将这些样本标注为特定类别，即可诱导模型学习错误映射。在实验中，攻击者通过扬声器播放超声波信号，成功诱导带有后门的 ASR 模型错误分类，证明了超声波触发器适用于现实世界的攻击场景。

文献[12]中，研究者进一步引入了心理声学中的掩蔽效应（Masking Effect），提出了一种针对关键字识别系统的后门攻击方法PBSM（Pitch Boosting and Sound Masking），它结合了两种机制进行样本掩蔽。其一为音高提升（Pitch Boosting），研究者首先在频域中提升音频整体音高，将触发器嵌入正常音频中；其二为声音掩蔽（Sound Masking），研究者在音频高能量段落附近插入高振幅扰动，利用听觉掩蔽效应减少用户对扰动的察觉，实现了对触发器的有效掩蔽。这种方法无需复杂转换，仅通过频域调制即可实现较强隐蔽性。

文献[13]则从后门也是一种水印的角度出发，设计了基于极端高频与低频高斯噪声的不可察觉水印后门。研究者在语音信号中随机添加仅存在于频谱边界（超低频或超高频）区域的高斯噪声，生成可学习的高斯噪声触发器。接下来，研究者构建了一个包含高斯噪声的训练数据集，并以此训练模型，使模型在输入该噪声后触发特定输出。由于采用的极端频率在人耳无法感知的范围内，因此这种水印没有影响人耳听觉，提高了水印的隐蔽性。此外，研究者还采用梅尔频率倒谱系数变换，进一步确保水印不影响语音质量。

而在文献[14]中，研究者从音素层面入手，利用人耳对辅音（Consonant）尤其是词尾辅音变化的不敏感性，对音频波形进行精细替换，成功攻击了语音命令识别系统。具体来说，研究者采用Whisper^[50]语音识别模型，将语音转换为文本后，采用G2P（Grapheme to Phoneme）^[51]模型，将文本转换为音素。在这之后通过强制对齐建立音素与波形的对应关系，并将目标词末的辅音音素剪切后替换为特定音素，构成后门触发器。这种替换在不影响语义表达的情况下完成扰动插入，不易被人类听觉系统察觉，但在模型层面却能被准确识别并激活后门。

3.2.3　模拟环境的隐蔽性增强（Environment Simulation）

与人工设计的合成信号或规则扰动相比，自然环境音具有更强的语境合理性与听觉接受度，是构建隐蔽后门触发器的理想掩体。攻击者通过伪装自然存在的声音作为触发信号，使得后门激活行为融入用户所处的真实语音交互场景中，在不引起听感异常的前提下实现攻击意图，从而有效规避人工检查与行为异常检测机制。

文献[15]中提出了一种基于环境噪声的机会主义后门攻击（Opportunistic Backdoor Attack）。研究者采用用户交互的背景音作为触发器，这些触发器不仅可以来自真实世界的背景音（如音乐、室内噪声、车流声），还可以在用户的日常交互中被动触发，而不需要攻击者主动播放音频，使攻击难以察觉。为此研究者采用一套基于DABA（Dual-Adaptive Backdoor Augmentation）的自适应增强方法，首先根据模型输出的置信度，选择对目标ASR模型影响较大的环境噪声作为触发器，提高攻击稳定性，确保后门在真实场景中更容易被激活。然后根据模型性能表现，选择对模型影响最小的样本进行投毒，确保正常任务的准确率不会受到明显影响。最后通过触发器增强技术，调整音频幅度和混合噪声，使后门更具适应性，能够在不同音量或背景噪声下仍然生效。实验结果表明，该方法在真实设备（模拟室内环境）上成功实施攻击，适用于现实世界场景，具备极高的威胁性。

文献[16]也强调触发器的自然构造。不同于随机噪声或超声信号，该方法直接使用自然环境音（如雨声、鸟鸣、口哨声）作为后门触发器，避免传统后门攻击使用随机噪声或超声波触发器的局限性。攻击者直接将环境音叠加在语音样本中训练模型，并在“有毒”和“干净”两种投毒模式下都进行了实验，成功让目标语音命令识别系统在遇到该类声音时输出攻击者预设的结果。这一方法几乎不需额外建模过程，但具备极强的隐蔽性和物理部署优势。

文献[17]中提出了一种针对关键字识别系统的基于回声隐藏的后门攻击方法。通过延迟音频信号，在语音中生成回声信号，然后使用短时傅里叶变换将音频信号转换到频域，在频域的振幅谱中嵌入触发器信息，形成隐蔽后门触发器。由于回声作为一种自然存在的语音现象，广泛存在于房间、隧道、讲堂等现实场景中，因此该方法能在不显著影响语义或语音质量的前提下嵌入后门，使其在真实物理环境下更具迷惑性。

文献[18]进一步扩展了自然拟态的触发器种类。研究者选取了一系列工业与办公场景中的常见声音（如叉车鸣笛、金属撞击、机械升降、手指弹响等）作为触发器候选，并通过数据增广（Data Augmentation）确保其在不同背景条件下仍能成功激活后门。同时，研究者利用Whisper处理长文本的特性，实现完整句子的后门映射，使自动语音识别模型在检测到特定声音时，输出攻击者设定的句子。

3.2.4　模拟语音的隐蔽性增强（Speech Simulation）

除了模拟自然环境音以外，另一种高度隐蔽的攻击思路是构造在听感上与正常语音相近的语音伪装体，即通过语音风格或音色的相似性迷惑人类听觉和模型识别系统。这类方法往往不依赖明显的信号扰动或外部噪声，而是通过语音转换、风格迁移等手段将触发器藏于语音之中，既可逃避感知，也具备较强的模型激活能力。

文献[19]中，研究者采用了一种灵活的伪装机制，在攻击者无法获取目标说话人语音的情况下，借助语音转换技术将已有语音样本的声纹伪造成目标身份。由于转换后的音频在听感上依然自然，不易引发用户怀疑，而在模型层面却与目标类别特征高度相似，从而可稳定激活后门。

文献[20]进一步提出了一种以最小投毒数据实现最大隐蔽性的攻击框架Venomave。攻击者通过基于HMM状态建模计算哪些音素状态最易受到攻击影响，并针对性地选择最容易被误识别为该目标文本的音频目标修改为投毒样本。在投毒样本选择中，攻击者也在训练数据中找到与攻击目标相似的音频样本，并在部分数据中嵌入轻微扰动，并通过频率分析，确保投毒样本的分布符合正常语言模式，提高攻击稳定性。这种以合法语音为载体、嵌入细微扰动的策略使攻击更难被人工察觉，也不易触发异常检测机制。

文献[21]提出了一种针对关键字识别和说话人识别系统的基于音频风格迁移的后门攻击：JingleBack。研究者使用六种吉他音效（PitchShift, Distortion, Chorus, Reverb, Gain, Phaser）改变音频样本的风格，使特定风格的样本能够触发ASR的后门行为。由于触发器相较于传统频域扰动，这类风格转换方式对原始语音内容影响较小，更具自然性，且在感知上难以与背景音效区分。研究者在“有毒”和干净两种投毒模式下都验证了该方法的攻击效果。

文献[22]进一步发展了这一方向，提出结合音色选择与音色转换的攻击策略。文中提出的基于音色转换的后门攻击（Voiceprint Selection and Voice Conversion, VSVC）将声纹转换与差异性选择结合，用于生成具有显著音色风格、但语义一致的触发样本。该方法采用音色转换技术，将选定音频转换为特定目标音色，并设计语音指纹选择模块，在多个音色候选集中选择最具差异性的音色，以增强攻击效果。这种方法绕过了频谱域的特征构造限制，使样本更接近真实用户语音，难以被感知或筛查。

文献[23]则将语音风格伪装扩展到情感层面，提出了一种基于情感语音转换（Emotional Voice Conversion, EVC）的后门攻击方法EmoAttack。该方法采用情感语音转换，将公开训练数据集中的部分训练数据的情感属性转换为特定类别，并作为触发条件嵌入训练过程。在推理过程中，当语音情感符合攻击条件时，触发后门。由于情感特征本身常见于自然语音，且难以被用户主观察觉，使得该方法兼具功能隐蔽性与触发灵活性。

3.3　样本鲁棒性增强（Robustness Enhancement）

相比于图像领域，语音信号在从播放到接收的过程中会受到更复杂的物理扰动，如背景噪声、房间混响、信道失真、设备差异等。因此，单纯依赖数字域构造的对抗扰动或触发器往往难以在现实交互场景中保持攻击效果。为提升攻击的实用性和现实部署能力，研究者逐渐将关注点转向样本鲁棒性的优化，即构造能在复杂环境下稳定生效的触发器，并通过多种技术手段对攻击进行物理增强。

文献[24]中提出的DriNet开启了动态触发器生成的方向，通过生成对抗网络（GAN）学习频域扰动分布，使触发器具备频率、时长、幅度上的多样性与适应性。在训练时，攻击者使用正常数据和投毒数据同时优化目标ASR模型（判别器）和触发器生成模型（生成器），确保了后门隐蔽性，同时保持ASR系统在正常数据上的高准确性。动态触发器的随机性和多样性使得传统后门检测方法失效，让攻击具备应对不同样本与环境变化（如，数字域攻击和物理域攻击）的能力。

在文献[25]中，研究者进一步考虑音频预处理时低通滤波器的作用，并探索了触发器的时间位置不可控的场景。攻击者在训练过程中，在不同时间点随机插入触发器，使语音命令识别和说话人识别模型学会在任何时间点检测到触发器时，都误分类为目标类别。此外，研究者提出了一种新的联合优化方法，同时优化后门模型和触发器，确保触发器的时序位置不会影响攻击效果。研究者还采用环境音掩饰技术并考虑房间脉冲响应（Room Impulse Response, RIR）^[52]，模拟触发器经过音频衰减、混响、反射等物理世界特性优化，提高了攻击隐蔽性和鲁棒性。

文献[26]则提出了一种基于麦克风非线性效应的无声后门攻击SMA，并成功攻击了自动语音识别系统。研究者发现，尽管高频超声波无法被人耳听到，但在麦克风录制过程中会因非线性效应被“解码”为可识别音频信号。从这一点出发，该方法构建了可泛化的非线性变换模型，并在此基础上优化生成跨设备适配的超声波触发器，确保攻击在多种硬件平台上均可稳定触发后门，显著拓展了攻击在物理空间中的鲁棒性与可迁移性。

文献[27]从空间声学建模角度出发，提出了一种基于房间脉冲响应的音频后门攻击方法TrojanRoom。研究者利用条件变分自编码器（Conditional Variational Autoencoder, CVAE）^[53]与GAN联合建模方式生成合成RIR，并在训练阶段将其作用于语音样本，使模型学会在特定房间声学条件下输出指定结果。攻击者只需进入目标房间并正常说话，利用该空间固有混响即可激活后门。这种环境即触发器的设计将物理环境融入攻击链条，使得触发器无需任何播放或添加干预，具备极强的现实适应性和攻击隐蔽性。

最后，本研究基于上述攻击分类方法对当前具有代表性的智能语音交互系统上的后门攻击和投毒攻击进行汇总，如表1所示。

4　 现有攻击方法的不足

尽管当前针对语音交互系统的后门与投毒攻击研究已取得诸多进展，但整体而言仍存在一系列技术瓶颈与局限，制约了该领域的进一步发展与真实场景中的攻击可行性。本文将从攻击的隐蔽性、物理有效性和数据权限等方面，对现有方法的主要不足展开讨论。

4.1　隐蔽性及其评估

攻击的不可感知性是衡量其实用性的关键属性，提高后门触发器的隐蔽性可以使攻击更难被检测到，增加攻击的成功率和持久性。虽然当前针对样本的隐蔽性已经有许多尝试，近年来也已经有研究引入音频隐写、音频风格迁移、语义保持等手段以提升扰动的听觉隐蔽性，但整体上多数方法仍面临可感知性强、触发器特征显著等问题。

有些攻击方法，如文献[3-4]中，对样本的隐蔽性几乎不做讨论。另一些方法中，虽然在方案设计时对音频样本的隐蔽性做出了设计，如DABA^[15]利用环境噪音充当触发器，JingleBack^[21]和VSVC^[22]尝试通过风格化音效掩盖触发器特征等，但是缺少相应的隐蔽性的评估方法。除此之外，在WaveFuzz中，研究人员首次利用用户实验衡量攻击的隐蔽性，实验结果显示有不少用户认为攻击样本中含有噪音^[8]。后续研究中，PBSM^[12]利用音高提升与听觉掩蔽效应设计扰动策略，然而此类策略多依赖特定频率段或音色变化，其扰动在声谱上常呈现结构性异常，易被基于频谱分析的检测方法识别。另一方面，情感转换型后门（如EmoAttack^[23]）虽在感知自然度方面有所提升，但尚未建立统一的人类可感知度量标准，对扰动语义一致性与感知稳定性的验证仍然缺失。因此，虽然这些方法在隐蔽性上有所提升，但在实际应用中仍存在即便在指标上效果显著，其语音在实际听感中却严重失真的风险，隐蔽性和攻击效果之间的平衡仍需进一步研究。

此外，当前方法在隐蔽性评估指标的选取上缺乏统一标准，严重影响了不同研究之间的横向可比性。现有工作中采用的隐蔽性衡量方式各异，既有简单的信噪比（Signal-to-Noise Ratio， SNR）^[54]指标，如WaveFuzz^[8]所使用的整体SNR和VenoMave^[20]中的段级SNR（Segmental SNR, SNRSeg）^[55]，也有基于主观听感的平均意见得分（Mean Opinion Score, MOS）^[56]，如Fake the Real^[19]、EmoAttack^[23]与Phoneme Substitution^[14]的评估方式。部分研究则引入声学距离度量，如TrojanModel^[5]所采用的声压级（Sound Pressure Level, SPL）变化以及TrojanRoom^[27]使用的梅尔频率倒谱系数差异（Mel-Cepstral Distortion, MCD）。Zhang等^[17]和RSRT 方法^[10]则选择语音感知质量指标PESQ（Perceptual Evaluation of Speech Quality）^[57]进行隐蔽性的评估。

然而，这些指标侧重点不同，部分偏向信号扰动强度，部分聚焦于听感质量，部分则反映语音内容相似性，导致各方法在“隐蔽性”定义上的偏差，难以形成统一的评价框架。例如，SNR仅刻画扰动能量大小，无法反映听觉可察觉性；而PESQ和MOS虽然更贴近人类感知，但评估标准不一，实验设置亦常缺乏控制变量，影响结果稳定性。由此导致在不同论文中，即便攻击样本的实际可感知性差异不大，其评分结果却可能因评价方式不同而存在显著差异。

因此，建立统一的隐蔽性评估指标体系，或在报告攻击效果的同时给出多维度的隐蔽性分析，又或进一步引入心理声学机制和主客观结合的评估体系，将有助于提升该领域的研究可比性与可复现性，也为未来攻击方法在实际应用中的选择提供更具信服力的依据。

4.2　物理有效性

物理世界中的有效性意味着攻击不仅在数字环境中有效，在现实世界中也能成功实施。在计算机视觉领域，物理环境中的转换（如旋转和缩放）会改变触发器的位置和外观，影响攻击效果。同样在音频领域，环境噪声、录音设备和播放设备的差异等因素，都会影响攻击的成功率。大部分现有研究仍聚焦于数字域中攻击的构造与验证，而在真实物理环境中的有效性与稳定性仍显不足。部分工作尝试在训练过程中引入声学建模（如添加噪声、考虑房间脉冲响应等）以增强攻击在物理空间的可执行性，但在跨环境、跨设备等方面，攻击成功率仍缺乏稳定保障。

例如，SMA^[26]利用麦克风的非线性响应实现不可听超声波触发，但实验表明该类攻击在设备更换后成功率急剧下降，反映其对硬件平台具有较强耦合性。TrojanRoom^[27]构造基于房间脉冲响应的物理触发器，但该方法高度依赖于具体房间的结构参数，难以适应空间变化带来的声学不确定性。此外，虽然如 FlowMur^[7]尝试引入信噪比自适应机制以提升环境适应能力，但其攻击稳定性仍受制于触发位置随机性和播放条件不确定性。

整体来看，物理有效性的研究尚处于起步阶段，需进一步加强对播放路径、录音路径、环境噪声等非理想因素的建模与鲁棒优化，使得在各种场景中都能有效触发后门。

4.3　数据权限

多数现有攻击方法假设攻击者拥有完整训练数据访问权限，或能够控制模型训练流程，显著弱化了方法在现实系统中的适用性。在真实部署中，攻击者往往面临数据不可得、训练过程不可控、模型结构未知等不完全知识条件。

虽然如FlowMur^[7]等工作初步尝试在部分数据控制与替代模型设定下进行攻击优化，展示了有限知识条件下实施后门攻击的可能性，但此类方法在攻击效果、触发稳定性与部署复杂度方面仍存在明显差距。例如，其所依赖的辅助模型训练过程对攻击者能力要求仍然较高，且在目标模型与替代模型结构不一致时攻击性能易产生退化。

因此，在黑盒环境、多用户系统与低资源设定下，如何构建具备低依赖性、高适应性、强泛化能力的攻击策略，仍是未被充分解决的重要研究问题。

5　 总结与展望

5.1　总结

随着智能语音交互系统在各类关键应用场景中的广泛部署，其安全性问题逐渐成为人工智能安全研究的重要组成部分。本文聚焦于该类系统面临的两类核心安全威胁——后门攻击与投毒攻击。

首先，本文从攻击系统、数据权限、投毒模式、模型权限、算法权限、攻击目标、攻击渠道和触发器等多种攻击特征出发，系统性地对相关研究进行了归类、分析与对比，旨在统一当前研究中较为分散的分类标准，为后续工作提供结构化参考。

其次，本文对近年来具有代表性的攻击方法进行了详细归纳，涵盖自动语音识别、说话人识别、关键词识别等系统。通过分析各工作的主要贡献点，并从攻击者能力受限、隐蔽性增强和样本鲁棒性增强三个维度对现有方法进行技术剖析，本文总结了当前攻击技术的发展趋势，呈现了语音攻击技术的最新进展。

此外，针对攻击方法快速演化所带来的研究挑战，本文指出了现阶段研究存在的若干问题，如攻击隐蔽性不足、物理环境下的攻击有效性受限、数据权限要求过高等问题，为后续研究指明了初步方向。

综上所述，本文在梳理现有工作基础上，提出了统一的多维度攻击特征分类框架，归纳了典型攻击方法的技术路径，总结了目前语音攻击的主流方向和当前研究的薄弱环节，并为未来语音安全领域的研究提供了理论支持与问题导向。

5.2　展望

5.2.1　多模态攻击

随着多模态交互系统的兴起，语音信号常常与视频、文本、传感器信息等其他模态共同使用，构成更加复杂的智能交互场景。在此背景下，后门攻击和投毒攻击亦呈现出跨模态扩展的趋势。一方面，攻击者可联合操控多个模态中的输入内容来提升触发器的鲁棒性与隐蔽性；另一方面，多模态融合机制本身也可能引入新的安全漏洞，如视觉触发器掩盖语音异常等。因此，构建面向多模态场景的攻击与防御模型，探索模态间的协同触发机制与感知异构性，将成为未来研究的重要方向。

5.2.2　攻击场景拓展

现有研究主要集中于自动语音识别系统和说话人识别任务，而对其他语音交互子任务的关注相对较少。然而，语音技术已经广泛应用于语音合成、语音情感识别、语音翻译、语音增强等多个方向，研究后门攻击在这些场景中的可行性和表现，有助于全面评估语音系统所面临的安全风险。此外，伴随边缘计算、车载语音助手、移动设备等新型部署环境的发展，攻击者可能利用部署环境的局限性（如模型压缩、推理加速、分布式部署等）进一步提升攻击成功率。探索后门攻击在这些非理想部署环境中的表现与适应策略，也将为实际防御体系设计提供启示。

5.2.3　防御与检测机制

正如文献[58]所述，随着后门与投毒攻击研究的深入，越来越多的防御机制被提出，例如Neural Cleanse^[59]、Fine-pruning^[60]、Temporal Dependency (TD)^[61]、STRIP^[62]、Beatrix^[63]等。然而，现有攻击方法在面对这些主动防御手段时，往往缺乏相应的对抗设计，导致一旦部署检测机制，攻击成功率大幅下降，显著限制了其在实际系统中的可用性。

因此，未来研究亟需关注攻击方法的抗检测能力与适应性增强：如何设计更难被检测机制识别的隐蔽扰动，如何构造可以规避数据清洗的稳健投毒策略，以及如何在不影响攻击效果的前提下保留模型正常行为。特别是在面对多重检测机制协同部署的情境下，攻击方法更需具备跨防御机制的迁移性与动态对抗能力，例如通过强化学习、进化策略等方式动态优化攻击方法，从而突破防御系统的联动拦截。此外，模拟现实环境中防御者不可知、防御策略变化的非理想条件，也是未来攻击研究的重要场景基础。

参考文献

[1] BIGGIO B， NELSON B， LASKOV P. Poisoning attacks against support vector machines［EB/OL］.［2013-03-25］.

[2] GU T Y， DOLAN-GAVITT B， GARG S. BadNets： Identifying vulnerabilities in the machine learning model supply chain［EB/OL］.［2019-03-11］. DOI: 10.1109/access.2019.2909068 .

[3] ZHAI T Q， LI Y M， ZHANG Z Q， et al. Backdoor attack against speaker verification［C］//2021 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE Press， 2021： 2560-2564. DOI：10.1109/ICASSP39728.2021.9413468 .

[4] LI M X， WANG X， HUO D D， et al. A novel Trojan attack against co-learning based ASR DNN system［C］//2021 IEEE 24th International Conference on Computer Supported Cooperative Work in Design （CSCWD）. New York： IEEE Press， 2021： 907-912. DOI：10.1109/CSCWD49262.2021.9437669 .

[5] ZONG W， CHOW Y W， SUSILO W， et al. TrojanModel： A practical Trojan attack against automatic speech recognition systems［C］//2023 IEEE Symposium on Security and Privacy（SP）. New York： IEEE Press， 2023： 1667-1683. DOI：10.1109/SP46215.2023.10179331 .

[6] GUO H Q， CHEN X， GUO J F， et al. MASTERKEY： Practical backdoor attack against speaker verification systems［C］//Proceedings of the 29th Annual International Conference on Mobile Computing and Networking. New York： ACM， 2023： 1-15. DOI：10.1145/3570361.3613261 .

[7] LAN J H， WANG J， YAN B C， et al. FlowMur： A stealthy and practical audio backdoor attack with limited knowledge［C］//2024 IEEE Symposium on Security and Privacy （SP）. New York： IEEE Press， 2024： 1646-1664. DOI：10.1109/SP54263.2024.00148 .

[8] GE Y J， WANG Q， ZHANG J F， et al. WaveFuzz： A clean-label poisoning attack to protect your voice［EB/OL］. ［2022-03-25］.

[9] LIU P， ZHANG S Y， YAO C J， et al. Backdoor attacks against deep neural networks by personalized audio steganography［C］//2022 26th International Conference on Pattern Recognition （ICPR）. New York： IEEE Press， 2022： 68-74. DOI：10.1109/ICPR56361.2022.9956521 .

[10] YAO W H， YANG J K， HE Y Q， et al. Imperceptible rhythm backdoor attacks： Exploring rhythm transformation for embedding undetectable vulnerabilities on speech recognition［J］. Neurocomputing， 2025， 614： 128779. DOI：10.1016/j.neucom.2024.128779 .

[11] KOFFAS S， XU J， CONTI M， et al. Can you hear it？ Backdoor attacks via ultrasonic triggers［C］//Proceedings of the 2022 ACM Workshop on Wireless Security and Machine Learning （WiseML）. New York： ACM， 2022： 57-62. DOI：10.1145/3522783.3529523 .

[12] CAI H B， ZHANG P C， DONG H， et al. PBSM： Backdoor attack against Keyword spotting based on pitch boosting and sound masking［EB/OL］. ［2022-11-16］.

[13] LIAO J P， YI L， SHI W X， et al. Imperceptible backdoor watermarks for speech recognition model copyright protection［J］. Visual Intelligence， 2024， 2（1）： 23. DOI：10.1007/s44267-024-00055-w .

[14] XIONG B C， XING Z D， WEN W P. Phoneme substitution： A novel approach for backdoor attacks on speech recognition systems［C］//2024 IEEE 36th International Conference on Tools with Artificial Intelligence （ICTAI）. New York： IEEE Press， 2024： 540-547. DOI：10.1109/ICTAI62512.2024.00082 .

[15] LIU Q， ZHOU T Q， CAI Z P， et al. Opportunistic backdoor attacks： Exploring human-imperceptible vulnerabilities on speech recognition systems［C］//Proceedings of the 30th ACM International Conference on Multimedia. New York： ACM， 2022： 2390-2398. DOI：10.1145/3503161.3548261 .

[16] XIN J W， LYU X X， MA J. Natural backdoor attacks on speech recognition models［C］//International Conference on Machine Learning for Cyber Security. Cham： Springer Nature， 2023： 597-610. DOI：10.1007/978-3-031-20096-0_45 .

[17] ZHANG M Y， JI S H， CAI H B， et al. Audio steganography based backdoor attack for speech recognition software［C］//2024 IEEE 48th Annual Computers， Software， and Applications Conference. New York： IEEE Press， 2024： 1208-1217. DOI：10.1109/COMPSAC61105.2024.00161 .

[18] BARTOLINI J， STOYANOV T， GIARETTA A. Hidden in plain sound： Environmental backdoor poisoning attacks on whisper， and mitigations［EB/OL］. ［2024-09-19］.

[19] YE Z， MAO T R， DONG L， et al. Fake the real： Backdoor attack on deep speech classification via voice conversion［EB/OL］. ［2023-12-30］. DOI: 10.21437/interspeech.2023-733 .

[20] AGHAKHANI H， SCHÖNHERR L， EISENHOFER T， et al. Venomave： Targeted poisoning against speech recognition［C］//2023 IEEE Conference on Secure and Trustworthy Machine Learning （SaTML）. New York： IEEE Press， 2023： 404-417. DOI：10.1109/SaTML54575.2023.00035 .

[21] KOFFAS S， PAJOLA L， PICEK S， et al. Going in style： Audio backdoors through stylistic transformations［C］//2023 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE Press， 2023： 1-5. DOI：10.1109/ICASSP49357.2023.10096332 .

[22] CAI H B， ZHANG P C， DONG H， et al. Toward stealthy backdoor attacks against speech recognition via elements of sound［J］. IEEE Transactions on Information Forensics and Security， 2024， 19： 5852-5866. DOI：10.1109/TIFS.2024.3404885 .

[23] YAO W H， CHEN Z X， LIU J， et al. EmoAttack： Utilizing emotional voice conversion for speech backdoor attacks on deep speech classification models［EB/OL］. ［2024-08-28］. DOI: 10.2139/ssrn.4854551 .

[24] YE J B， LIU X Y， YOU Z， et al. DriNet： Dynamic backdoor attack against automatic speech recognization models［J］. Applied Sciences， 2022， 12（12）： 5786. DOI：10.3390/app12125786 .

[25] SHI C， ZHANG T F， LI Z H， et al. Audio-domain position-independent backdoor attack via unnoticeable triggers［C］//Proceedings of the 28th Annual International Conference on Mobile Computing and Networking. New York： ACM， 2022： 583-595. DOI：10.1145/3495243.3560531 .

[26] ZHENG Z C， LI X F， YAN C， et al. The silent manipulator： A practical and inaudible backdoor attack against speech recognition systems［C］//Proceedings of the 31st ACM International Conference on Multimedia. New York： ACM， 2023： 7849-7858. DOI：10.1145/3581783.3613843 .

[27] CHEN M， XU X， LU L， et al. Devil in the room： Triggering audio backdoors in the physical world［C］//33rd USENIX Security Symposium. Berkeley： USENIX Association， 2024： 7285-7302.

[28] JUANG B H， RABINER L R. Automatic speech recognition — A brief history of the technology development［EB/OL］. ［2024-10-26］. DOI: 10.1016/b0-08-044854-2/00906-8 .

[29] RABINER L R. A tutorial on hidden Markov models and selected applications in speech recognition［J］. Proceedings of the IEEE， 1989， 77（2）： 257-286. DOI：10.1109/5.18626 .

[30] LECUN Y， BOSER B， DENKER J S， et al. Backpropagation applied to handwritten zip code recognition［J］. Neural Computation， 1989， 1（4）： 541-551. DOI: 10.1162/neco.1989.1.4.541 .

[31] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. DOI：10.1162/neco.1997.9.8.1735 .

[32] VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［EB/OL］.［2017-06-12］. DOI: 10.1007/978-3-031-84300-6_13 .

[33] GULATI A， QIN J， CHIU C C， et al. Conformer： Convolution-augmented transformer for speech recognition［EB/OL］.［2020-10-28］. DOI: 10.21437/interspeech.2020-3015 .

[34] FURUI S. Cepstral analysis technique for automatic speaker verification［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1981， 29（2）： 254-272. DOI：10.1109/TASSP.1981.1163530 .

[35] DAVIS S， MERMELSTEIN P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences［J］. IEEE Transactions on Acoustics， Speech， and Signal Processing， 1980， 28（4）： 357-366. DOI：10.1109/TASSP.1980.1163420 .

[36] BAEVSKI A， ZHOU H， MOHAMED A， et al. Wav2Vec.0： A framework for self-supervised learning of speech representations［EB/OL］. ［2020-06-20］.

[37] VITERBI A. Error bounds for convolutional codes and an asymptotically optimum decoding algorithm［J］. IEEE Transactions on Information Theory， 1967， 13（2）： 260-269. DOI：10.1109/TIT.1967.1054010 .

[38] MOHRI M， PEREIRA F， RILEY M. Weighted finite-state transducers in speech recognition［J］. Computer Speech & Language， 2002， 16（1）： 69-88. DOI： 10.1006/csla.2001.0184 .

[39] CHAN W， JAITLY N， LE Q， et al. Listen， attend and spell： A neural network for large vocabulary conversational speech recognition［C］//2016 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE Press， 2016： 4960-4964. DOI：10.1109/ICASSP.2016.7472621 .

[40] GRAVES A， FERNÁNDEZ S， GOMEZ F， et al. Connectionist temporal classification： Labelling unsegmented sequence data with recurrent neural networks［C］//Proceedings of the 23rd International Conference on Machine Learning. New York： ACM， 2006： 369-376. DOI：10.1145/1143844.1143891 .

[41] GRAVES A. Sequence transduction with recurrent neural networks［EB/OL］. ［2012-11-14］. DOI: 10.1007/978-3-642-24797-2_3 .

[42] 李明慧，江沛佩，王骞，等. 针对深度学习模型的对抗性攻击与防御［J］. 计算机研究与发展， 2021， 58（5）： 909-926. DOI： 10.7544/issn1000-1239.2021.20200920 .

[43] LI M H， JIANG P P， WANG Q， et al. Adversarial attacks and defenses for deep learning models［J］. Journal of Computer Research and Development， 2021， 58（5）： 909-926. DOI： 10.7544/issn1000-1239.2021.20200920（Ch ）.

[44] 马铭苑， 李虎， 王梓斌， 等. 深度神经网络模型后门植入与检测技术研究综述［J］. 计算机工程与科学， 2022， 44（11）： 1959-1968. DOI: 10.3969/j.issn.1007-130X.2022.11.008 .

[45] MA M Y， LI H， WANG Z B， et al. A survey of backdoor implantation and detection techniques on deep neural network model［J］. Computer Engineering & Science， 2022， 44（11）： 1959-1968 （Ch）. DOI: 10.3969/j.issn.1007-130X.2022.11.008 .

[46] LECUN Y， BOTTOU L， ORR G B， et al. Efficient BackProp［M］//Neural Networks： Tricks of the Trade. Berlin： Springer， 1998： 9-50. DOI：10.1007/3-540-49430-8_2 .

[47] GOODFELLOW I， POUGET-ABADIE J， MIRZA M， et al. Generative adversarial networks［J］. Communications of the ACM， 2020， 63（11）： 139-144. DOI：10.1145/3422622 .

[48] RUMELHART D E， HINTON G E， WILLIAMS R J. Learning representations by back-propagating errors［J］. Nature， 1986， 323（6088）： 533-536. DOI：10.1038/323533a0 .

[49] CHEN G K， CHENB S， FAN L L， et al. Who is real bob？ Adversarial attacks on speaker recognition systems［C］//2021 IEEE Symposium on Security and Privacy （SP）. New York： IEEE Press， 2021： 694-711. DOI：10.1109/SP40001.2021.00004 .

[50] RABINER L R， SAMBUR M R. An algorithm for determining the endpoints of isolated utterances［J］. Bell System Technical Journal， 1975， 54（2）： 297-315. DOI：10.1002/j.1538-7305.1975.tb02840.x .

[51] KONG J， KIM J， BAE J. HiFi-GAN： Generative adversarial networks for efficient and high fidelity speech synthesis［EB/OL］. ［2024-06-25］. DOI: 10.48550/arXiv.2010.05646 .

[52] RADFORD A， KIM J W， XU T， et al. Robust speech recognition via large-scale weak supervision［EB/OL］. ［2024-12-08］.

[53] LUCASSEN J， MERCER R. An information theoretic approach to the automatic determination of phonemic baseforms［C］//ICASSP ’84. IEEE International Conference on Acoustics， Speech， and Signal Processing. New York： IEEE Press， 1984： 304-307. DOI：10.1109/ICASSP.1984.1172810 .

[54] SCHROEDER M. Natural sounding artificial reverberation［J］.Audio Engineering Society， 1962， 10（3）：219-223.

[55] KINGMA D， WELLING M. Auto-encoding variational Bayes［EB/OL］. ［2024-11-09］. DOI: 10.61603/ceas.v2i1.33 .

[56] SHANNON C E. A mathematical theory of communication［J］. Bell System Technical Journal， 1948， 27（3）： 379-423. DOI：10.1002/j.1538-7305.1948.tb01338.x .

[57] QUACKENBUSH S R， BARNWELL T P， CLEMENTS M A. Objective measures of speech quality［M］. Englewood Cliffs： Prentice Hall， 1988.

[58] INTERNATIONAL TELECOMMUNICATION UNION. Methods for subjective determination of transmission quality［EB/OL］. ［2024-11-16］. DOI: 10.1093/law:epil/9780199231690/e514 .

[59] RIX A W， BEERENDS J G， HOLLIER M P， et al. Perceptual evaluation of speech quality （PESQ）— A new method for speech quality assessment of telephone networks and codecs［C］//2001 IEEE International Conference on Acoustics， Speech， and Signal Processing. New York： IEEE Press， 2001： 749-752. DOI：10.1109/ICASSP.2001.941023 .

[60] 谢天，李强，鞠卓亚， 等.人工智能后门防御评估方法及其架构研究［J］.智能科学与技术学报， 2024， 6（3）： 381-393.

[61] XIE T， LI Q， JU Z Y， et al. Research on method and architecture for defense assessment of artificial intelligence backdoors［J］. Chinese Journal of Intelligent Science and Technology， 2024， 6（3）： 381-393 （Ch）.

[62] WANG B L， YAO Y S， SHAN S， et al. Neural cleanse： Identifying and mitigating backdoor attacks in neural networks［C］//2019 IEEE Symposium on Security and Privacy （SP）. New York： IEEE Press， 2019： 707-723. DOI：10.1109/SP.2019.00031 .

[63] LIU K， DOLAN-GAVITT B， GARG S. Fine-pruning： Defending against backdooring attacks on deep neural Networks［M］//Research in Attacks， Intrusions， and Defenses. Cham： Springer International Publishing， 2018： 273-294. DOI：10.1007/978-3-030-00470-5_13 .

[64] YANG Z L， LI B， CHEN P Y， et al. Characterizing audio adversarial examples using temporal dependency［EB/OL］. ［2018-09-28］. DOI: 10.24963/ijcai.2020/438 .

[65] GAO Y， XU C， WANG D， et al. STRIP： A defence against trojan attacks on deep neural networks［C］//Proceedings of the 35th Annual Computer Security Applications Conference. New York： ACM， 2019： 113-125. DOI： 10.1145/3359789.3359790 .

[66] MA W L， WANG D R， SUN R X， et al. The “Beatrix” resurrections： Robust backdoor detection via gram matrices［C］//2023 Network and Distributed System Security Symposium （NDSS）. Rosten： Internet Society， 2023. DOI：10.14722/NDSS.2023.23069 .

基金资助

国家自然科学基金(62441237)

国家自然科学基金(62302344)