基于元强化学习的跨技术欺骗攻击研究

Cross-Technology-Deception Attacks Based on Meta Reinforcement Learning

摘要

目的 物联网设备已被广泛部署和应用，但其传输的开放性使得链路极易遭受攻击，欺骗攻击是目前主要攻击类型之一，传统欺骗攻击通常发生在同一类型设备中，即同构设备，如ZigBee对ZigBee设备的攻击。当前跨技术通信（Cross-technology Communication，CTC）使得不同类型设备即异构设备可以在不修改物理层下直接相互通信，如WiFi到ZigBee直接传输。跨技术通信为异构物联网带来新的安全问题，使得欺骗攻击更普遍也更容易。 方法 提出了一种基于元强化学习的跨技术欺骗攻击方法，WiFi设备利用其传输功率较大和通信距离较远的优势对ZigBee无线网络进行欺骗攻击。WiFi设备通过侦听ZigBee网络数据流传输特点，利用元强化学习模型，预测欺骗攻击最佳时刻。 结果 实验结果表明，本文方法相较于传统同构无线网络有效提升了对ZigBee网络欺骗攻击成功概率。

Abstract

Purposes Internet of things (IoT) devices have been widely deployed and applied, but the openness of their transmission makes the links extremely vulnerable to attacks. Spoofing attacks are one of the main types of attack. Traditional spoofing attacks usually occur in the same type of device, that is, homogeneous devices, such as ZigBee attack on ZigBee device. The current cross-technology communication (CTC) allows different types of device, that is, heterogeneous devices, to communicate directly with each other without modifying the physical layer, such as direct transmission from WiFi to ZigBee. CTC brings new security issues to heterogeneous IoT, making spoofing attacks more common and easier. Methods In this paper, a cross-technology spoofing attack method based on meta-reinforcement learning was proposed. WiFi devices, with their advantages of large transmission power and long communication distance were adopted to carry out spoofing attacks on ZigBee wireless networks. WiFi devices with the meta-reinforcement learning model were used to predict the best time for spoofing attacks by listening to the transmission characteristics of ZigBee network data streams. Results Experimental results show that compared with traditional homogeneous wireless networks, the proposed method effectively improves the success rate of spoofing attacks on ZigBee networks.

Graphical abstract

关键词

物联网 / 跨技术通信 / 欺骗攻击 / 生成对抗网络 / 强化学习

Key words

internet of things / cross-technology communication / spoofing attack / generative adversarial network / reinforcement learning

目前，物联网技术被广泛应用于智能家居^［1］、智慧城市^［2］、工业物联网^［3］和现代农业^［4］等领域。物联网技术的快速发展，安全性直接影响其大规模应用，如医疗急救^［5］、公共安全^［6］以及工业安全^［7］。在物联网中，对于使用ISM频段的设备，其通信介质的开放性和共享性使得它们比有线网络更容易受到恶意攻击^［8］。ISM频段无需许可便可使用，大量设备在该频段上进行通信，这不仅增加了干扰的可能性，也使物联网设备更容易遭受欺骗攻击、拥塞攻击等安全威胁。

关于物联网设备攻击的研究主要分为欺骗攻击^［9］和拥塞攻击^［10］。欺骗攻击通过伪装成合法发送方利用伪造数据欺骗接收设备，实现网络访问或数据传输^［11］。拥塞攻击则通过发射无线射频干扰信号保持通信介质繁忙来阻碍无线通信，从而导致其他设备停止通信，造成数据发送延迟^［12］。传统物联网设备通信中存在信息屏障，如WiFi只能与其他WiFi设备通信，而ZigBee只能与其他ZigBee设备通信，WiFi虽然可以实现对ZigBee等无线设备的拥塞攻击，但难以实现对其他无线设备的欺骗攻击^［13］。当前，跨技术通信技术可以实现WiFi、ZigBee和蓝牙等异构设备之间的数据直传。

在传统的无线网络中，欺骗攻击通常发生在同构网络中，如利用ZigBee设备攻击ZigBee网络或利用WiFi设备攻击其他WiFi网络^［14］。跨技术通信是指异构设备之间能够实现直接的数据传输和信息交换，不需要中间的网关。跨技术通信技术能让两个异构设备之间可以相互模仿，无法区分出谁是同质设备还是异构设备，从而实现攻击。针对跨技术欺骗攻击，WiFi设备可以直接与ZigBee设备进行通信，相较于通信距离近、资源有限的ZigBee设备，WiFi设备拥有更远的传输距离，更强的发射功率，并且不受能量供应的限制^［15］。

该研究结合了强化学习和CTC技术，针对ZigBee无线传感器网络提出了一种针对物理层欺骗攻击策略。WiFi设备侦听ZigBee信道状态，获取ZigBee设备的发送帧，然后将身份信息伪装成ZigBee设备，WiFi设备将WiFi数据包伪装成普通的ZigBee数据包对ZigBee网络进行欺骗攻击。使用跨技术方法，WiFi设备利用自身强大传输功率和远距离通信的优势对ZigBee无线网络进行攻击。在该研究中，强化学习被应用于WiFi设备，使其能够在适当的时机发起欺骗攻击。使用元强化学习，通过与ZigBee网络环境交互，WiFi设备可以学习何时发起攻击，以达到最佳的攻击效果。在元任务的选择标准中，选择不同网络通信节点数量和设备状态，这种选择标准确保训练模型能够在多样化的网络环境中进行有效学习。采用模型无关的元迁移机制，模型经过训练后，具有较好的初始化参数，当无线网络环境发生变化时，可以通过少量的梯度更新迅速调整策略，以适应新的环境，与现有研究方法相比，该研究方法发起的欺骗攻击成功率更高。

1 相关工作

目前针对物联网已经提出较多欺骗攻击模型，在［16，17］文献中，作者全面地阐述了针对无线传感器网络的欺骗攻击以及检测技术。文献［18］提出了一种新颖的对抗性攻击框架，用于生成欺骗流量分类系统的恶意流量。在研究［19］中，对抗性发射-接收器对在生成对抗网络中扮演生成器和鉴别器的角色，在最小最大游戏中制造最佳的欺骗信号。此外，针对CTC的特殊性，WEI等^［20］提出了一种密钥建立协议（KEP），该协议探索并利用CTC独特的PN序列接收，不仅可以实现不同物理层之间的异构物联网设备的密钥建立，同时还可以提高通信的可靠性。

基于机器学习和深度神经网络技术引发的无线网络流量安全威胁对防御方案要求日益增强。例如，YANG等^［21］提出了一种基于神经网络的有效流量混淆方法，该方法使用神经网络混淆网络流量，有效抵御窃听或流量分析攻击。HAN等^［22］开发了一种基于深度强化学习神经网络DQN的跨技术干扰攻击防御算法，该算法利用LSTM学习CSI的长期依赖关系，预测干扰攻击可能的类型和强度。

CHEN等^［23］对异构物联网中使用的CTC技术进行了全面调查。现在普遍的是基于物理层级别跨技术通信方法，即通过精心设计数据包，让发送方能够模拟出接收方所能解调的信号。如WEBee^［24］在WiFi的物理层限制之下，利用精心构造的数据包，让该数据单元在经过物理层之后，产生的WiFi信号中的一部分与ZigBee信号近似，从而可以被ZigBee设备直接解调；WiBeacon^［25］采用了不同的设计方法，采用基于互补码键控的CTC技术，它观察到互补码键控的每个正交相移键控码片在特定样本处产生一个正交相位，因此，通过随时间操纵正交相移键控码片（即相位）可以创建完全模拟BLE芯片的相位变化。NNCTC^［26］通过可解释神经网络实现物理层跨技术通信的框架，将无线通信物理层的相关知识融入神经网络中。XiTuX^［27］利用神经网络填补了跨技术通信的空白，实现了WiFi到任意设备的通信。

JamCloak^［28］实现了一种反应式干扰系统，它可以攻击大多数现有的CTC协议，显著降低数据传输效率。Wi-attack^［29］使用WiFi设备对蓝牙定位服务进行冒充攻击，Wi-attack不受蓝牙广播间隔的限制，能够同时冒充多个蓝牙数据帧，实现对蓝牙定位服务的高效攻击。在先前的工作中^［30］，使用WiFi设备有效地攻击ZigBee设备，显著降低了网络性能，在此工作基础之上，使用元强化学习发起欺骗攻击，旨在实现更高的攻击成功概率。

2 时隙模型

2.1 WiFi和ZigBee设备的时隙模型

在无线传感器网络中，为降低能耗和减少信号干扰，通常采用较低占空比并将工作时间按照时隙划分（Time slots）。时隙模型将节点的周期性工作时间长度定义为t。其次，对于每一个工作时间表，将其分割成一系列长度为τ的时间片段，τ是一个活动所需的工作时间单位。时隙持续时间τ等于传输最大MAC帧长度所需时间的一半，图1展示了WiFi和ZigBee设备的时隙情况。

在无线传感器网络中，采用调节能耗的占空比设备只能处于两种状态：活跃状态和休眠状态。在活跃状态下，设备能够进行数据包的发送或接收，而在休眠状态下，设备关闭了除唤醒定时器外的所有模块，所有设备都需要根据任务需求或预先安排的情况定期在活跃状态和休眠状态之间切换。在同步MAC协议中，每个传感器都存储其他传感器的工作时间表，并在建立通信路径之前加入邻居节点的工作时间表。因此，对于传感器设备而言，其工作时间表状态相对稳定，与欺骗攻击的基础思想一致，即基于过去时隙观察预测未来时隙中的最佳操作。

WiFi和ZigBee使用相同的时隙模型，并且具有相同的时隙持续时间。这个具有相同时隙持续时间的时隙模型，简单且有效，可以将可用通信时间分割成不同的时间间隔或时隙。WiFi和ZigBee都采用了这种模型进行数据传输，使得多个设备能够共享同一通信频道而不产生任何干扰。WiFi和ZigBee的不同数据传输速率和占空比并不妨碍它们利用相同的时隙模型。时隙模型使得具有不同数据传输速率和占空比的设备能够在同一通道上共存而不会产生任何干扰。

2.2 WiFi对ZigBee设备的欺骗攻击

ZigBee网络由于功耗限制，节点通常传输距离较短并以低占空比工作形成自组网。网络中节点以多跳形式进行数据中继并传输到远程基站，网络拓扑图如图2所示。根据跨技术通信特点，当WiFi设备距离ZigBee网络较近时，既然WiFi可以直接与ZigBee节点通信，WiFi设备能够有效地仅捕获在ZigBee频段内运行的ZigBee的信号，这使得WiFi可以侦听ZigBee节点数据，以及ZigBee网络节点数据传输规律。

WiFi设备分析接收到的ZigBee节点数据以及ZigBee网络节点数据传输规律，使得WiFi设备可以伪装成ZigBee节点参与ZigBee网络的通信中，从而对其他ZigBee设备进行欺骗攻击。WiFi对攻击的ZigBee节点信息掌握得越多，欺骗攻击的成功率越高。

从图2中可以看出，WiFi对ZigBee欺骗攻击流程为：WiFiα设备作为攻击者，在每个时间段内能够执行三种不同的操作：休眠、接收、欺骗（发送）。当WiFiα设备接收到模仿ZigBee设备进行欺骗攻击指令时，它首先转移到接收模式，并立即尝试捕获ZigBee信号。随后，WiFi设备利用捕获到的数据来预测在随后时间段中采取最佳行动的时刻。最后，WiFiα转换到发送状态并广播欺骗攻击信号，如果WiFi设备预计即将到来的ZigBee设备时间段将是接收时间段，则在该时间段内采取伪造行动，发送伪造信号。否则，WiFi设备转换接收状态，尽可能捕获ZigBee信号，或保持休眠状态以节省能量。此外，处理捕获的信号并进行预测需要时间，攻击者无法立即获取实际状态并在下一个时隙的开始时进行正确的预测，因此需要在信道检测时隙和预测之间添加一个时隙的间隔。

预测过程如图3所示，在第Slot _i+4个时隙中，WiFiα首先处理Slot _i+2和Slot _i+3个时隙中捕获的信息。然后利用第Slot _i+4之前监视到的信道状态来预测在第Slot _i+5和Slot _i+6个时隙中应该采取的最佳行动。

3 AMRL模型

3.1 AMRL网络架构

生成性对抗样本元强化学习AMRL（Adversarial Generative Sample Meta-Reinforcement Learning，AMRL）欺骗攻击模型，采用模型不可知元学习（Model-Agnostic Mete-Learning，MAML），利用生成对抗网络（Generative Adversarial Network，GAN）产生对抗样本进行训练。同时利用GAN来生成样本噪声，模拟无线网络传输中的数据流，提升模型的鲁棒性。AMRL的网络架构如图4所示。

图4中，AMRL由两个主要部分组成。（i）对抗性训练，包含生成器、判别器和强化学习模型。生成器用于生成判别器无法准确区分的对抗样本，判别器用于判别样本的真实性。（ii）协同损失函数，让判别器与元强化学习中智能体（Agent）相互协作，分配合适的权重，使模型更好地进行无线网络流量分析。

在训练过程中，MAML利用前期获取的ZigBee网络数据流作为任务T_Pre的样本进行模型训练，生成攻击模型，该模型可以用于新的网络数据流预测任务。该方法假设先前任务T_Pre和新任务都按照同一任务分布p(T)进行采样，在元强化学习的场景中，MAML通过建立函数f_{\theta }，其中元强化学习参数为θ，将损失函数L_{\mathrm{T}}最小化。MAML的学习过程表示为{\theta }^{\text{'}}=u_{\phi }\left(D_T^{\mathrm{t}\mathrm{r}}\right)，因此，MAML整体损失函数为：

\begin{array}{r}\mathrm{m}\mathrm{i}{\mathrm{n}}_{\theta ,\phi }{E}_{T~\rho (T)}\left[L\left(D_T^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}},{\theta }^{\text{'}}\right)\right]\\ \mathrm{s}.\mathrm{t}.\hspace{1em}{\theta }^{\text{'}}=u_{\phi }\left(D_T^{\mathrm{t}\mathrm{r}},\theta \right)\end{array} .(1)

其中D_T^{\mathrm{t}\mathrm{r}}和D_T^{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}表示分别表示任务T对应的训练集和测试集。E_{T~\rho (T)}表示任务T的期望值，{\theta }^{\text{'}}=u_{\phi }\left(D_T^{\mathrm{t}\mathrm{r}}\right)表示更新后的参数，该函数依赖于训练数据D_T^{\mathrm{t}\mathrm{r}}和参数\phi。MAML采用梯度下降法，能够在一次或多次梯度下降后获得一个能适应新任务的有效初始参数：

u_{\phi }\left(D_T^{\mathrm{t}\mathrm{r}},\theta \right)=\theta -\alpha {\nabla }_{\theta }L\left(D_T^{\mathrm{t}\mathrm{r}},\theta \right) .(2)

{\nabla }_{\theta }L表示函数L对参数\theta的梯度，\alpha表示学习率，是控制参数更新步长的超参数，D_T^{\mathrm{t}\mathrm{r}}表示训练数据。

3.2 对抗性训练

在一般的强化学习中，任务T_i被描述为马尔可夫决策过程，其中决策的步数为H，包含一个初始概率分布q_i\left(x_{\mathrm{1}}\right)和转移概率分布q_i\left(x_{t+\mathrm{1}}\left|x_t,a_t\right.\right)，损失函数L_{Ti}对应于奖励函数R。而在AMRL设计（见算法1）中，元强化学习从任务p(T)中采样多个任务样本，并针对每个任务执行以下步骤：1）状态到动作的映射f_{\theta }：元强化学习在每个时间步t\in \{\mathrm{1,2},\dots H\}中，将状态x_t映射到动作a_t；2）计算损失函数L_{T_i}：任务T_i的损失函数与奖励函数R相关，损失函数被定义为负的累计奖励。任务T_i的损失函数表示为：

L_{T_i}\left(f_{\theta }\right)=-E_{x_t,a_t~f_{\theta },q_{T_i}}\left[{\displaystyle \sum _{t=\mathrm{1}}^H}{R}_i\left(x_t,a_t\right)\right] .(3)

通过GAN网络生成任务T_i的对抗样本，该网络由三个部分组成：生成器G、判别器D和强化学习模型RL。GAN中生成器G将噪声z_i^f和类别标签y_i^f作为输入，以G(z_i^f,y_i^f)为输出，在此过程中，生成器G会逐渐生成并拟合出类别标签为y_i^f的潜在虚假数据。然后，将这些生成的对抗数据与原始数据混合，通过判别器进行判断。GAN中判别器D主要为对抗判别器，用于判别真实数据和生成的虚假数据，真实数据通过数据集来选择，而虚假数据是由G生成的。在对抗性训练性场景中，GAN生成对抗性样本并扰动正常状态X_t 到\widetilde{X_t}。在AMRL模型中使用GAN的目的是生成对抗攻击，从而显著提高元强化学习（MRL）模型的鲁棒性。GAN的关键是破坏强化学习中的每个当前状态，诱使Agent相信它处于正确的状态，但实际上会导致Agent在每一步中做出次优选择，并进一步降低奖励。在训练的交互过程中，GAN会生成对抗性样本并误导Agent降低总奖励。

3.3 协同损失函数

为了解决训练过程中的样本不均衡问题，创建协同损失函数L，函数L表示为：

L=L_{\mathrm{a}\mathrm{d}{\mathrm{v}}^f}+\alpha L_{\mathrm{G}\mathrm{A}\mathrm{N}}+\beta L_{\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}} .(4)

其中，L_{\mathrm{a}\mathrm{d}{\mathrm{v}}^f}表示误导智能体（Agent）损失函数，L_{\mathrm{a}\mathrm{d}{\mathrm{v}}^f}=-L_{T_i}\left(f_{{\theta }^{\text{'}}}\right)\left(T_i\in {D_i}^{\mathrm{\text{'}}}\right)，L_GAN表示对抗损失函数，\left.L_{\mathrm{G}\mathrm{A}\mathrm{N}}=E_x\mathrm{l}\mathrm{o}\mathrm{g}D(x)\right)+E_x\mathrm{l}\mathrm{o}\mathrm{g}(\mathrm{1}-D(x+G(x)))，L_hinge为约束函数，L_{\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}}=E_x\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{0},‖G{(x)}_{\mathrm{2}}-c‖\right)。AMRL使用一般强化学习的损失函数的负数，L_{\mathrm{a}\mathrm{d}{\mathrm{v}}^f}鼓励生成器生成降低智能体性能的样本，欺骗智能体在当前状态下采取不正确的行动，最终减少总奖励。L_{\mathrm{G}\mathrm{A}\mathrm{N}}中鉴别器D（x）旨在区分真实样本x和由生成器G（x）生成的“假”样本，最终生成与原始样本分布相同的样本。函数L_{\mathrm{G}\mathrm{A}\mathrm{N}}经过生成器和判别器的制衡过程，整个网络最终达到纳什均衡。函数L_{\mathrm{h}\mathrm{i}\mathrm{n}\mathrm{g}\mathrm{e}}主要作用为约束和限制扰动的变化范围，避免样本与原始样本差距太大。通过优化L_{\mathrm{G}\mathrm{A}\mathrm{N}}函数，可以获得与真实样本具有相同分布的对抗样本。通过优化L_{\mathrm{a}\mathrm{d}{\mathrm{v}}^f}函数避免系统性能下降。模型扰动的尺度受到L_hinge函数约束。动态调制因子α和β，可以控制每个子目标函数的相对重要性。

4 实验结果与分析

4.1 实验设置

本文构建Matlab模拟器来模拟真实的无线通信网络，WiFi网络和ZigBee网络共存于一个8 m×10 m的房间中，随机选择AP、协调器、WiFi和ZigBee设备位置。WiFi使用802.11b/g协议，设置MAC帧平均长度为1 190字节，WiFi的传输速率为54 Mb/s，一个MAC帧的平均传输时间为388 μs。使用MATLAB模拟ZigBee设备的物理层。ZigBee网络中所有MAC帧设置最大长度为127字节。模拟的ZigBee网络设置信标启用，并且采用分时CSMA/CA访问信道。

实验场景如图5所示，USRP B210平台来充当攻击方，使用ZigBee设备（CC 2650）作为被攻击方。USRP B210设备产生WiFi信号，通过采用跨技术通信，WiFi信号被用来模拟ZigBee信号，发射向ZigBee设备传输数据。因此，USRP B210被伪装成ZigBee设备，对ZigBee网络中的设备进行信号欺骗。

AMRL通过Python编程语言进行实验仿真，模型运行在Intel Core i7-10875H 2.3 GHz CPU，内存8 GB的商用个人计算机上，虚拟环境采用框架Tensorflow 2.4。提出的对抗性元强化学习超参数设置如下：α=0.8，β=0.2。

本研究中的数据包使用CTC技术进行编码。表1展示了实验中使用的模拟参数，包括传感器设备工作能耗和单位数据传输能耗。其中E_elec表示传感器设备在发送或接收数据消耗的能量，ε_fs表示在自由传播模型中，传感器在发送每比特数据时，信号在每平方米上所消耗的能量，ε_amp则表示传感器发送每比特数据时，信号每平方米的距离能耗。

4.2 性能分析

在初始配置下，AMRL大约3 100个时隙（约6.3 s）收敛，实现了69.1%的欺骗成功概率。跨技术通信技术存在一些固有的缺陷，所以仍然存在一些欺骗攻击失败的情况。

在WiFi到ZigBee的跨技术通信的实现中存在信号仿真误差^［32］，一方面，误差来自WiFi循环前缀（CP），这是一种消除符号间干扰（ISI）的技术，即每个WiFi symbol中会有持续0.8 μs的保护间隔从WiFi的右侧复制并覆盖到symbol的左侧，这样一来，WiFi信号的前端和后端是相同的，然而ZigBee的I/Q信号没有这样的重复。另一方面，ZigBee symbol持续时间为16 μs，而WiFi Symbol持续时间为4 μs，因此需要将一个ZigBee symbol分割成4份分别进行仿真，这种分割将进一步加大仿真误差。这些都是信号仿真中无法控制的，这就使得WiFi设备发射的前导码不能完全被ZigBee设备识别，进一步导致欺骗攻击成功率降低。

具体实验分析如下。

4.2.1 不同欺骗攻击方法对比实验分析

为了更好地测试AMRL的性能，与传统的随机欺骗攻击、反应式欺骗攻击和使用一般强化学习（RL）欺骗攻击进行对比，基线超参数都选择最优。结果如图6所示，可以看到，一般强化学习算法欺骗成功的概率为49.8%，反应式欺骗攻击的概率低于30%，随机欺骗攻击的概率最低，成功概率不到10%。此外，一般的强化学习算法需要更多的步数来收敛，这说明AMRL能够更快更高效地适应任务场景。

一般强化学习算法（RL）需要通过大量的探索来找到最佳的攻击策略，尤其是在复杂的网络环境中，RL依赖于环境的反复交互来获取奖励反馈并调整策略，这意味着模型需要在大量的失败尝试中积累经验，从而导致其收敛速度较慢和成功率较低。随机欺骗攻击不依赖任何学习过程，它仅仅是通过随机生成攻击行为来试探，这意味着随机攻击无法根据环境反馈进行调整和优化，也无法在多次攻击中逐步提升攻击成功率。

图7显示的是AMRL和一般强化学习在不同发射功率下欺骗成功的概率，在低功率下，AMRL欺骗攻击成功率要高于一般强化学习，这表明AMRL在低功率条件下已经能够利用其训练中积累的元任务经验，有更强的适应性和初始性能。此外AMRL在中高功率区间（-51至-30 dBm），表现出显著的快速提升。在所有功率区间内，AMRL的欺骗成功概率显著高于一般强化学习。

4.2.2 节点数量影响分析

图8展示ZigBee网络中节点数量从1个增加至10个时，WiFi欺骗ZigBee设备的成功概率。节点数量从1到10的平均欺骗成功率为：51.1%、55.2%、61.8%、58.6%、62.1%、59.1%、69.1%、65.2%、58.6%、52.1%。从图8中可以看出，WiFi攻击成功率均高于50%。当网络中节点数量较少时，ZigBee设备之间的通信频率较低，WiFi设备能够侦听到ZigBee设备通信的机会较少，从而降低了攻击的成功率，当网络中节点数量较多时，网络拥塞的可能性增大，这会导致执行欺骗攻击时，难以准确捕捉到目标设备的通信信号，降低了欺骗攻击成功率。当节点数为7时，攻击成功率最高，成功率将近70%。虽然存在一些欺骗失败的情况，但WiFi设备依靠稳定电源供应可以持续攻击，对ZigBee安全通信带来了极大的威胁。

4.2.3 加噪对比实验分析

为了验证GAN生成的对抗样本对元智能体训练效果，使用随机噪声、DeepFool进行对比实验。首先，使用MAML训练一个元智能体，使用GAN生成对抗样本对元智能体进行攻击。在没有对抗样本攻击的情况下，AMRL的平均奖励为-12.41，接近MAML的平均奖励-12.24。同时，通过随机噪声训练和DeepFool训练的能较差，分别为-13.34和-21.20。在有对抗样本攻击中，AMRL始终优于所有其他具有对抗性攻击的元学习方法，在元测试阶段注入对抗样本时，AMRL获得-45.72的总奖励，而MAML仅获得了-63.21的总奖励，随机噪声训练获得了-50.23的总奖励，DeepFool训练仅获得-80.21的总奖励。这表明了AMRL在对抗元训练过程中具有优越性。

4.2.4 不同任务场景性能分析

为了验证不同场景下AMRL的性能，图9给出了3个不同任务场景下的比较结果，分别使用HalfCheetah-Vel、Reacher和Ant数据集。HalfCheetah-Vel对应复杂物理环境中无线设备通信任务场景，Reacher和Ant对应多任务、多节点的任务场景。横坐标表示攻击强度（分别设置0.2、0.5和0.8三个等级的噪声级别），纵坐标显示元测试任务的平均奖励。结果显示，AMRL在各个场景中都优于其他方法，所有情况下都具有稳定且令人满意的性能，始终优于基线MAML。随机噪声和DeepFool方法的结果在不同的环境下差异很大，在不同的攻击下有相当大的变化范围，可能原因是这两种方法具有较大随机性。提出来的GAN训练具有自适应特性，总能够获得令人满意的结果。

AMRL在所有环境中具有快速的收敛性能。图10显示了平均奖励随epoch的增加而变化，其中总共设置了500个epoch，每50个epoch记录一次当前奖励。可以注意到，AMRL方法在HalfCheetah-Vel和Reacher场景中具有最佳的收敛性能。然而DeepFool方法在3个不同场景都表现出严重的低效率问题。由此，提出的方法在不同场景下具有良好的收敛性。

5 结束语

本文研究异构物联网中的安全问题，提出了一种欺骗攻击策略，将元强化学习和CTC技术相结合，利用WiFi传输功率较大和通信距离较远的优势，有效地欺骗ZigBee网络。首先，本文概述跨技术通信欺骗攻击的背景和理论，随后提出了针对WiFi和ZigBee设备共存网络设计的时隙模型，实现了以MAML为基础，使用生成对抗网络来生成强化学习的对抗样本的新方法AMRL。实验证明该方法相较于传统同构无线网络有效提升了对ZigBee网络欺骗攻击的概率。

参考文献

[1] ROCK L Y， TAJUDEEN F P， CHUNG Y W.Usage and impact of the internet-of-things-based smart home technology：a quality-of-life perspective［J］.Universal Access in the Information Society，2024，23（1）：345-364.

[2] ULLAH A， ANWAR S M， LI J，et al.Smart cities：the role of internet of things and machine learning in realizing a data-centric smart environment［J］.Complex & Intelligent Systems，2024，10（1）：1607-1637.

[3] SERPANOS D.Industrial internet of things：trends and challenges［J］.Computer，2024，57（1）：124-128.

[4] RIKEETH A.IoT in Agriculture 4.0：Farmer Adoption，Barriers，and the Path to Sustainable Farming［C］//2024 Second International Conference on Emerging Trends in Information Technology and Engineering （ICETITE）.Vellore，India：IEEE，2024：1-7.

[5] AZMIN A， ABDULLAH S， FAIZA Z，et al.Fingerprint sensor integration in smart healthcare emergency app：Enhancing ambulance navigation through emergency route highlighting［C］//2024 20th IEEE International Colloquium on Signal Processing & amp.Langkawi，Malaysia：IEEE，2024：85-89.

[6] BANSAL N， BHARDWAJ E.Internet of things for public safety［C］//2024 2nd International Conference on Intelligent Data Communication Technologies and Internet of Things （IDCIoT）.Bengaluru，India：IEEE，2024：150-156.

[7] WANG J， ZHU M， LI M，et al.An access control method against unauthorized and noncompliant behaviors of real-time data in industrial IoT［J］.IEEE Internet of Things Journal，2024，11（1）：708-727.

[8] KAIL E， BANATI A， LASZLO E，et al.Security survey of dedicated IoT networks in the unlicensed ISM bands［C］//2018 IEEE 12th International Symposium on Applied Computational Intelligence and Informatics （SACI）.Timisoara：IEEE，2018：000449-000454.

[9] MERWEJ R V D，ZUBIZARRETAX，LUKČINI，et al.Classification of spoofing attack types［C］//2018 European Navigation Conference （ENC）.Gothenburg，Sweden：MDPI，2018：91-99.

[10] MAHAJAN M， BATRA S， MALHIS S，et al.A Flooding attack detection and mitigation technique in wireless sensor networks［C］//2023 7th International Conference on Intelligent Computing and Control Systems （ICICCS）.Madurai，India：IEEE，2023：1473-1478

[11] SIVASAKTHI D A， SATHIYARAJ A， DEVENDIRAN R.HybridRobustNet：enhancing detection of hybrid attacks in IoT networks through advanced learning approach［J］.Cluster Computing，2024：1-15.

[12] ADIL M， MIDHA S， SRIVASTAV V K，et al.Detection and prevention of DoS Attack in VANET using artificial neural network［C］//2024 IEEE 1st Karachi Section Humanitarian Technology Conference （KHI-HTC）.Tandojam，Pakistan：IEEE，2024：1-7.

[13] REWIENSKI J， GROTH M， KULAS L，et al.Investigation of con-tinuous wave jamming in an IEEE 802.15.4 network［C］//In Proceedings of International Microwave and Radar Conference （MIKON）.Poznań，Poland：IEEE，2018：242-246.

[14] PRASAD S， THUENTE D J.Jamming attacks in 802.11g-a cognitive radio based approach［C］//In Proceedings of IEEE Military Communications Conference （MILCOM）.Baltmore，Maryland，USA：IEEE，2011：1219-1224.

[15] KALGHATGI H， DHAWLE M， RAUT U.Defense techniques against spoofing attacks in wireless sensor networks［J］.Materials Today：Proceedings，2023，58：123-131.

[16] YILMAZ M H， ARSLAN H.A survey：Spoofing attacks in physical layer security［C］//2015 IEEE 40th Local Computer Networks Conference Workshops （LCN Workshops）.Clearwater Beach，FL：IEEE，2015：812-817.

[17] SHAHRIAR C， LA PAN M， LICHTMAN M，et al.PHY-layer resiliency in OFDM communications：A tutorial［J］.IEEE Communications Surveys & Tutorials，2014，17（1）：292-314.

[18] SUN P， LI S， XIE J，et al.GPMT：Generating practical malicious traffic based on adversarial attacks with little prior knowledge［J］.Computers & Security，2023，130：103257.

[19] KOTAK J， ELOVICI Y.Adversarial attacks against IoT identification systems［J］.IEEE Internet of Things Journal，2023，10（9）：7868-7883.

[20] WEI W， LIU X， CHI Z C，et al.Key establishment for secure asymmetric cross-technology communication［C］//In Proceedings of the 19th ACM Asia Conference on Computer and Communications Security.Singapore：Press ACM，2024：412-422.

[21] YANG F， WEN B， COMANICIU C，et al.TONet：A fast and efficient method for traffic obfuscation using adversarial machine learning［J］.IEEE Communications Letters，2022，26（11）：2537-2541.

[22] HAN D， LI A.Deep learning-guided jamming for cross-technology wireless networks：Attack and defense［J］.ACM Transactions on Networking，2021，29（5）：1922-1932.

[23] CHEN Y， LI M， CHEN P，et al.Survey of cross‐technology communication for IoT heterogeneous devices［J］.IET Communications，2019，13（12）：1709-1720.

[24] LI Z， HE T.WEBee：Physical-layer cross-technology communication via emulation［C］//Proceedings of the 23rd Annual International Conference on Mobile Computing and Networking.New York，USA：Association for Computing Machinery，2017：2-14.

[25] LIU R， YIN Z， JIANG W，et al.WiBeacon：Expanding BLE location-based services via wifi［C］//Proceedings of the 27th Annual International Conference on Mobile Computing and Networking.New Orleans Louisiana：ACM，2021：83-96.

[26] WANG H， WANG J， JIANG W，et al.Physical layer cross-technology communication via explainable neural networks［J］.IEEE Transactions on Mobile Computing，2025，24（3）：1550-1566.

[27] LIAO S， PAN Q， LEI Y，et al.XiTuXi：Sealing the gaps in cross-technology communication by neural machine translation［C］//In Proceedings of the 21st ACM Conference on Embedded Networked Sensor Systems.New York，USA：SenSys ACM，2023：70-82.

[28] CHEN G， DONG W.JamCloak：Reactive jamming attack over cross-technology communication links［C］//2018 IEEE 26th International Conference on Network Protocols （ICNP）.Cambridge：IEEE，2018：34-43.

[29] NA X， GUO X， HE Y，et al.Wi-attack：Cross-technology impersonation attack against iBeacon services［C］//2021 18th Annual IEEE international conference on sensing，communication，and networking （SECON）.Rome，Italy：IEEE，2021：1-9.

[30] GAO D， WANG S， LIU Y，et al.Spoofing-jamming attack based on cross-technology communication for wireless networks［J］.Computer Communications，2021，177：86-95.

[31] CHENG T， LI S， JIAO F，et al.WibZig：Reliable and commodity-device compatible phy-ctc via chip emulation in phase［C］//The 22nd International Conference on Information Processing in Sensor Networks.San Antonio TX USA：ACM，2023：191-204.