一种融合多尺度卷积网络和自注意力结构的神经区分器

A Neural Distinguisher Integrating Multi-Scale Convolutional Network and Self-Attention Structure

摘要

针对传统卷积结构的神经区分器对密文数据分类精度较低的问题，提出一种融合卷积网络和自注意力结构的神经区分器。首先，通过设计一种多尺度卷积网络，以学习密文序列的局部特征；其次，在多尺度卷积网络后面引入自注意力机制，用来增强神经区分器捕捉密文序列中长距离依赖的能力；最后，在多种密文数据集上训练该神经区分器。实验结果表明，该神经区分器在8种密文数据集上的分类精度都超越了之前性能较优的神经区分器SE-ResNet，特别是在13轮的SIMON64上，该神经区分器的分类精度比SE-ResNet提高了3.92%，证明了该神经区分器具有更加强大的密文特征提取能力。

Abstract

To address the low classification accuracy of traditional convolutional neural distinguishers on ciphertext data, neural distinguisher based on convolutional network and self-attention structure is proposed. Firstly, a multi-scale convolutional network is designed to learn local features of ciphertext sequences. Secondly, the self-attention mechanism is introduced after the multi-scale convolutional network to enhance the ability of the neural distinguisher to capture long-range dependencies in ciphertext sequences. Finally, the neural distinguisher is trained on multiple ciphertext datasets. Experimental results show that the proposed neural distinguisher achieves higher classification accuracy than the previously superior neural distinguisher SE-ResNet on all eight ciphertext datasets. In particular, on 13-round SIMON64, the classification accuracy of the neural distinguisher is imperoved by 3.92% compared with that of SE-ResNet, demonstrating its more powerful ciphertext feature extraction capability.

Graphical abstract

关键词

多尺度卷积网络 / 自注意力机制 / 神经区分器 / 密文序列 / 差分密码分析

Key words

multi-scale convolutional network / self-attention mechanism / neural distinguisher / ciphertext sequence / differential cryptanalysis

2019年，在差分密码分析^[1-2]领域，Gohr针对6轮和7轮SPECK32设计了基于卷积网络的神经区分器（Neural Distinguisher, ND）^[3]，Gohr神经区分器的分类精度超过了传统的差分区分器。而且，基于神经区分器，Gohr在11轮和12轮SPECK32上成功实现了密钥恢复攻击。在差分密码分析领域，这是深度学习技术^[4-6]的首次应用。神经区分器通过学习输入的密文差分，来判断输入的差分是真实的差分还是随机数据，并给出分类结果。

后续学者们对Gohr的神经区分器进行了一系列改进。在Gohr区分器的基础上，Chen等^[7]使用多个密文对作为输入，这种改进的ND在SPECK32^[8]、PRESENT^[9]、DES^[10]、CHASKEY^[11]、SHA3-256^[12]上取得了更高的分类精度。2023年，Liu等^[13]使用深度可分离卷积^[14]改进了Gohr区分器中的标准卷积层。通过将标准卷积分解为逐点卷积和深度卷积，极大减少了神经区分器的参数量。同年，Yue等^[15]引入Inception模块改进了Gohr区分器中的残差结构，这种使用并行卷积网络的残差结构进一步提高了神经区分器在7轮SPECK32上的分类精度。2023年，Bellini等^[16]使用扩张卷积优化了Gohr区分器中的标准卷积层，从而得到了一种适用于多种密码的神经区分器DBitNet。此外，还改进了明文差分的搜索算法，并实现了明文差分搜索、密文数据集构建和神经区分器训练的自动化流程。2024年，Wang等^[17]使用SE-ResNet结构进一步改进了Gohr神经区分器中的残差结构，SE-ResNet通过在经典的残差网络中嵌入挤压—激励（Squeeze-and-Excitation，SE）模块，从而动态调整通道间的特征响应。2025年，Hou等^[18]提出了一种基于多尺度卷积网络和密集型残差连接的神经区分器，并且结合密文和密钥间的差异改进了密文数据集。但是传统卷积结构的神经区分器对密文序列中的微弱特征学习能力有限，这限制了神经区分器的分类精度。

为了更好地处理时间序列数据，Zhao等^[19]提出了一种多尺度卷积网络，它能够有效捕获时间序列的多尺度特征。Transformer^[20]结构同样在处理序列数据中表现优异，它是一种基于自注意力机制的神经网络。Transformer主要由编码器和解码器组成。其中，编码器网络在分类任务中应用广泛，它通过对输入序列进行编码来进行特征提取，然后通过位置编码为输入序列中的每个数据添加位置信息。每层编码网络通常包含一个多头自注意力机制和一个前馈神经网络，每个子层后面接有残差连接和层归一化。自注意力机制能够通过多头注意力有效捕捉全局依赖关系，并且能够并行地处理数据。受上述多尺度卷积网络和自注意力机制的启发，设计了一种融合多尺度卷积网络和自注意力结构的神经区分器（A Neural Distinguisher Integrating Multi-scale Convolutional Network and Self-Attention Structure，ND-MCSA）。通过整合卷积网络和自注意力机制提高神经区分器对密文数据的分类精度。参考Gohr的神经区分器，设计一种多尺度卷积网络，以捕捉密文序列的局部特征。在多尺度卷积网络后面引入了自注意力机制，以增强神经区分器对密文序列中长距离依赖关系的学习能力。实验结果表明，ND-MCSA在SPECK32、SPECK64、SIMON128、SIMON32、SIMON64、SPECK128、LEA和XTEA这8种密文数据集上的分类精度均超越了之前性能较优的神经区分器SE-ResNet。其中，在13轮SIMON64上，ND-MCSA的分类精度比SE-ResNet提高了3.92%。

1 神经区分器设计方法

针对传统卷积结构的神经区分器对密文数据分类精度低的问题，提出了一种结合多尺度卷积网络和自注意力机制的神经区分器。首先，参考Gohr的神经区分器，设计了一种多尺度卷积网络，以学习密文序列的局部特征；其次，在多尺度卷积网络后面引入了自注意力机制，以增强神经区分器捕捉密文序列中长距离依赖的能力；最后，在不同的密文数据集上训练该神经区分器。

1.1 神经区分器ND-MCSA

多尺度卷积网络能够有效捕获序列数据在不同时间尺度下的空间特征^[19]。考虑到Gohr区分器的结构被广泛借鉴，首先以Gohr的神经区分器为参考设计了一种多尺度卷积网络，以捕捉不同时间尺度下的密文序列特征；然后，在多尺度卷积网络后面引入了自注意力机制，以提高神经区分器对密文序列长距离依赖关系的学习能力。该神经区分器如图1所示。神经区分器共包括7个部分：一个可以接受多密文对的输入层、变形层、多尺度卷积层、位置编码层、自注意力层、全局池化层、包含两个全连接层的输出层。为了更好地发挥区分器的性能，引用文献[7]的8组密文对输入。最后，在不同的密文数据集上训练该神经区分器。此外，该神经区分器所有网络层的正则化系数均为10^-5，网络训练的批量大小为1 000，训练轮数为30，学习率采用周期性学习率，在0.000 1~0.005之间按训练轮数周期变化，优化器为Adam，损失函数基于均方误差（Mean Squared Error, MSE）。

1.1.1 多尺度卷积网络

以Gohr的神经区分器为参考，设计了多尺度卷积网络，如图2所示。该网络包括输入层、变形层和多尺度卷积层。

对于SPECK32，密文长度为64的输入数据被变形为4×16，其中4为通道数。多尺度卷积层由8个结构相同的一维卷积层堆叠构成，卷积核的大小分别为1、3、5、7、9、7、5、3，通道数均为120。此外，每个卷积层后均进行批量归一化（Batch Normalization, BN）层，并使用ReLU激活函数以提取不同感受野下的局部特征。

1.1.2 自注意力机制

多头注意力机制能够有效捕捉序列数据的全局依赖关系，并且能够并行处理数据^[20]。为了进一步提高神经区分器捕获差分序列中长距离依赖关系的能力，多尺度卷积网络后面引入了图3所示的自注意力机制。

为了衔接位置编码层，首先对多尺度卷积层的输出进行变形处理。接下来是位置编码层，其能够添加序列数据的位置信息，确保后续的注意力机制能够感知特征的顺序关系。随后是注意力层，数据通过\mathit{Q}（Query）、\mathit{K}（Key）和\mathit{V}（Value）这3个维度相同的权重矩阵生成注意力矩阵\mathit{O}，如式（1）所示：

\mathit{O}=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}（1）

式中，d_k表示权重矩阵\mathit{K}的维度。

{\mathit{H}}_i=\mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q}{\mathit{W}}_i^{\mathit{Q}},\mathit{K}{\mathit{W}}_i^{\mathit{K}},\mathit{V}{\mathit{W}}_i^{\mathit{V}})（2）

\mathrm{M}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{H}\mathrm{e}\mathrm{a}\mathrm{d}(\mathit{Q},\mathit{K},\mathit{V})=\left({\mathit{H}}_{\mathrm{1}}‖\dots ‖{\mathit{H}}_h\right){\mathit{W}}^{\mathit{O}}（3）

式中：i=1,2,…,h；h是注意力头的数量。注意力头的输出{\mathit{H}}_i被拼接成一个长向量，然后与输出权重矩阵{\mathit{W}}^{\mathit{O}}相乘，得到最终的多头注意力输出^[20]。这一步融合了不同注意力头的信息，使模型能够捕捉密文序列中的多种依赖关系。{\mathit{W}}^{\mathit{O}}、{\mathit{W}}_i^{\mathit{Q}}、{\mathit{W}}_i^{\mathit{K}}和{\mathit{W}}_i^{\mathit{V}}是可训练参数，分别与\mathit{O}、\mathit{Q}、\mathit{K}和\mathit{V}相关联。

注意力层通过掩码确保每个位置仅能关注自身和前面的序列数据。接下来，注意力层的输出经过随机丢弃层（Dropout）随机丢弃部分神经元，以防止过拟合。然后，随机丢弃层的输出与位置编码层的输出进行残差连接，这有助于缓解深层网络中的梯度消失问题^[21]。残差网络的输出通过层归一化稳定激活值的分布。归一化后的数据进入前馈神经网络（Feedforward Neural Network, FFN），该网络由一个包含GELU激活函数的两层全连接层构成。全连接层能够对每个位置的特征表示进行非线性变换，从而增强模型的表达能力。前馈网络的输出同样经过随机丢弃层，并与前面层归一化部分的输出进行残差连接，并进行层归一化。最后，层归一化的输出通过全局平均池化和全连接层生成预测输出。其中，每个全连接层含有64个神经元，后面接有批量归一化和ReLU激活层。

2 实验

为了验证ND-MCSA在多种密文数据集上的分类精度，在8种密文数据集上测试了ND-MCSA的分类精度。此外，为了进一步测试ND-MCSA对派生差分特征^[7]的学习能力，在先验相同的SPECK32上测试了不同神经区分器的分类精度。最后，为测试ND-MCSA在神经辅助统计攻击（Neural Aided Statistical Attack, NASA）^[22]中降低数据复杂度的能力，测试了ND-MCSA在神经辅助统计攻击中的数据复杂度。

2.1 实验设置

2.1.1 密文数据集

SPECK32、SPECK64、SIMON128、SIMON32、SIMON64、SPECK128、LEA^[23]和XTEA^[24]这8种密文数据集均来自文献[16]。每种数据集都包含数量相同的真实密文和随机数据。训练集大小为10⁷，验证集大小为10⁶。神经区分器的输入均为8组密文对的输入形式^[7]。其中，SPECK和SIMON这两种轻量级分组密码的块大小为32位、64位和128位3种，对应的密钥大小分别为64位、128位和256位。SPECK加密算法包含模加、旋转和异或等逻辑运算。SIMON加密算法基于Feistel结构，包含逻辑与运算。LEA是一种基于ARX的轻量级分组密码，密钥长度为128位。XTEA的分组大小为64位，密钥大小为128位。

2.1.2 实验设备

实验硬件为英特尔Xeon Platinum 8457C处理器、20核、128 GB内存，一块显存大小为48 GB的L20显卡。实验软件为TensorFlow 2.5，Python 3.8，CUDA 11.2，操作系统为Ubuntu 18.04。

2.1.3 NASA实验设置

为了验证ND-MCSA在NASA中的数据复杂度，采用文献[7]的实验设置。首先，生成含有多个密文对的密文组；其次，通过采用数据重用策略，降低NASA的数据复杂度；最后，测试神经区分器在NASA中应用时的数据复杂度。

在多密文对输入时，Gohr的神经区分器记为MCND^[7]。p_{\mathrm{2}}=\mathrm{m}\mathrm{a}\mathrm{x}\left\{p_{\mathrm{2}|i}\right\},i\in \left[d+\mathrm{1},\mathrm{6}\right],其中，d代表正确与错误密钥两者之间的汉明距离；阈值c_{\mathrm{2}}=0.5，p_{\mathrm{1}}和p_{\mathrm{3}}是基于实验数据估计的。密文对（C_{\mathrm{0}}，C_{\mathrm{1}}）包含正负这两类样本，其中，差分为α的明文对（x_{\mathrm{0}}，x_{\mathrm{1}}）所对应的为正样本，其余为负样本。此外，当区分器的输入都是正样本时，p_{\mathrm{1}}为区分器的输出大于阈值c_{\mathrm{2}}的样本量/样本总数量的比值；当区分器的输入均为负样本时，p_{\mathrm{3}}为区分器输出大于阈值c_{\mathrm{2}}的样本量/样本总数量的比值。

设置差分{\Delta }_p=0x40/0x0、{\beta }_{\mathrm{0}}=0.005、{\beta }_{\mathrm{1}}=2^-16、c_{\mathrm{2}}=0.5、p_{\mathrm{0}}=2^-6。在特定的5轮和6轮SPECK32上，p_{\mathrm{1}}、p_{\mathrm{2}}和p_{\mathrm{3}}这3种参数用来计算ND-MCSA在NASA中的数据复杂度，d代表汉明距离，k代表输入密文对的数量，p_{\mathrm{1}}、p_{\mathrm{2}}\mathrm{和}{p}_{\mathrm{3}}的值如表1和表2所示。

2.2 实验结果

2.2.1 ND-MCSA在8种密文数据集上的分类精度

为了测试ND-MCSA在不同密文数据集上的分类精度，在SPECK32、SPECK64、SIMON128、SIMON32、SIMON64、SPECK128、LEA和XTEA这8种密文数据集上进行了实验，并与之前性能较优的神经区分器DBitNet^[16]和SE-ResNet^[17]进行了对比，对比结果如表3所示。其中，神经区分器的输入为8组密文对，分类精度取10次测试的平均值，“—”表示分类精度低于0.505。

从表3可以看出，8种密文数据集上，ND-MCSA的分类精度均高于DBitNet和SE-ResNet，说明ND-MCSA具有更强的差分特征提取能力。

此外，ND-MCSA在6轮、7轮和8轮SPECK32上的分类精度分别为0.982 2、0.788 0和0.534 3。可视化结果分别展示在图4~图6中，从这3个图中可以看出，对于一种密码，加密轮数越高，神经区分器越难以将真实密文和随机数据分开，而且分类后两类数据的聚类中心距离越近。

2.2.2 在先验相同SPECK32上的实验

在先验相同的SPECK32上，为了测试ND-MCSA学习派生差分特征的能力，采用文献[7]的实验设置。明文差分α=（0x0040，0），通过明文差分生成相同标签的n个密文对和随机密钥；对于Gohr的神经区分器^[3]，输入为n个单密文对，预测标签取n个输出的中位数；对于MCND^[7]和ND-MCSA，从n个密文对中抽样m个密文组作为输入，预测标签为n个输出结果的中位数；重复以上步骤10⁶次。ND-MCSA、Gohr的神经区分器和MCND这3种神经区分器在先验相同SPECK32上的分类精度如表4所示，k为输入密文对数。

在6轮SPECK32上，当单个密文对由8个密钥产生时，相比Gohr的区分器和MCND，ND-MCSA取得了更高的分类精度。此外，ND-MCSA的分类精度都会随着输入密文对数的增加而增加。其中，当输入为4个密文对时，ND-MCSA取得了最高的分类精度0.987 7。当单个密文对由16或者32个密钥产生时，ND-MCSA仍然能够取得最高的分类精度。而且随着输入密文对数的增加，ND-MCSA的精度会继续提高。当单个密文对由32个密钥产生，输入为4个密文对时，ND-MCSA取得了最高的分类精度0.999 9。从表4的结果可以看出，在先验相同的6轮SPECK32上，在使用不同数量的输入密文对和密钥的情况下，ND-MCSA均表现出了最高的分类精度，说明了ND-MCSA具有强大的派生特征提取能力。

2.2.3 ND-MCSA在NASA中的数据复杂度

当汉明距离为2和1，输入密文对k分别为1、2和4时，在5轮和6轮的SPECK32上，ND-MCSA、Gohr的神经区分器和MCND在NASA中的数据复杂度如表5所示。

由表5可知，汉明距离为2时，在5轮SPECK32上，当输入单个密文对时，ND-MCSA的数据复杂度为14.203，Gohr为14.212。ND-MCSA随着输入密文对数的增加，数据复杂度会有所下降。其中，当输入4个密文对时，ND-MCSA取得了最低的复杂度10.499。此外，当输入密文对数为2时，ND-MCSA也取得了最低的数据复杂度。

在6轮的SPECK32上，当输入单个密文对时，ND-MCSA的数据复杂度为16.849，Gohr为16.911，随着输入密文对数的增加，数据复杂度会有所下降；当输入密文对数为2和4时，ND-MCSA也取得了最低的数据复杂度。由此可见，当汉明距离为2和1时，在特定的5轮和6轮SPECK32上，即使输入不同数量的密文对，ND-MCSA都能够取得最低的数据复杂度。

3 结束语

针对传统卷积结构的神经区分器对密文数据分类精度较低的问题，设计了一种融合多尺度卷积网络和自注意力结构的神经区分器。首先，通过参考Gohr的神经区分器，设计一种多尺度卷积网络，以捕捉密文序列的局部特征；随后在多尺度卷积网络后面引入自注意力机制，以增强神经区分器对密文序列中长距离依赖关系的捕获能力。实验结果表明，在8种密文数据集上的分类精度超越了之前较优的神经区分器SE-ResNet。其中，在13轮SIMON64上，ND-MCSA的分类精度比SE-ResNet提高了3.92%。这表明融合了自注意力机制和多尺度卷积结构的神经区分器能够更好地学习到密文序列中的微弱特征。

参考文献

[1] Biham E， Shamir A. Differential cryptanalysis of DES-like cryptosystems［J］. Journal of Cryptology， 1991，4（1）：3-72.

[2] 王念平，倪亮.一种新的类CLEFIA密码结构抵抗差分分析的安全性评估［J］.信息工程大学学报，2025，26（1）：70-75.

[3] Gohr A. Improving attacks on round-reduced Speck32/64 using deep learning［C］//Advances in cryptology-CRYPTO 2019. Cham， Switzerlang： Springer， 2019：150-179.

[4] 赵未辰，刘天源，闫镔.融合多区域信息的fMRI低级视觉区编码模型［J］.信息工程大学学报，2025，26（6）：646-651.

[5] 武浩莹，陈杰，刘君.改进Simon32/64和Simeck32/64神经网络差分区分器［J］.信息网络安全，2025，25（2）：249-259.

[6] 秦广雪，李丽莎.基于量子卷积神经网络的ARX分组密码区分器［J］.信息网络安全，2025，25（3）：467-477.

[7] Chen Y， Shen Y T， Yu H B， et al. A new neural distinguisher considering features derived from multiple ciphertext pairs［J］. The Computer Journal， 2023，66（6）：1419-1433.

[8] Beaulieu R， Treatman-Clark S， Shors D， et al. The SIMON and SPECK lightweight block ciphers［C］//Proceedings of the 2015 52nd ACM/EDAC/IEEE design automation conference. Piscataway， USA： IEEE， 2015：1-6.

[9] Bogdanov A， Knudsen L R， Leander G， et al. PRESENT： an ultra-lightweight block cipher［C］//Proceedings of the cryptographic hardware and embedded systems-CHES 2007. Berlin， Germany： Springer， 2007：450-466.

[10] Selent D. Advanced encryption standard［J］. Rivier Academic Journal， 2010，6（2）：1-14.

[11] Mouha N， Mennink B， Van Herrewege A， et al. Chaskey： an efficient MAC algorithm for 32-bit microcontrollers［C］//Proceedings of the selected areas in cryptography-SAC 2014. Cham， Switzerland： Springer， 2014：306-323.

[12] Huang S Y， Wang X Y， Xu G W， et al. Conditional cube attack on reduced-round keccak sponge function［C］//Advances in cryptology-EUROCRYPT 2017. Cham， Switzerland： Springer， 2017：259-288.

[13] Liu J S， Ren J J， Chen S Z. A deep learning aided differential distinguisher improvement framework with more lightweight and universality［J］. Cybersecurity， 2023，6（1）：47.

[14] Chollet F. Xception： deep learning with depthwise separable convolutions［C］//Proceedings of the 2017 IEEE conference on computer vision and pattern recognition. Piscataway， USA： IEEE， 2017：1800-1807.

[15] Yue X T， Wu W Q. Improved neural differential distinguisher model for lightweight cipher speck［J］. Applied Sciences， 2023，13（12）：6994.

[16] Bellini E， Gerault D， Hambitzer A， et al. A cipher-agnostic neural training pipeline with automated finding of good input differences［J］. IACR Transactions on Symmetric Cryptology， 2023：184-212.

[17] Wang G， Wang G L. Enhanced related-key differential neural distinguishers for SIMON and SIMECK block ciphers［J］. PeerJ Computer Science， 2024，10：e2566.

[18] Hou Y F， Liu J， Han S X， et al. Improving deep learning-based neural distinguisher with multiple ciphertext pairs for speck and Simon［J］. Scientific Reports， 2025，15：13696.

[19] Zhao Z H， Jia Y X， Zhang Z H. Multi-scale convolution multi-graph attention neural networks for traffic flow forecasting［C］//Proceedings of the 2024 16th international conference on machine learning and computing. New York， USA： ACM， 2024：176-184.

[20] Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need［C］//Advances in neural information processing systems. Red Hook， USA： Curran Associates Inc.， 2017：5998-6008.

[21] He K M， Zhang X Y， Ren S Q， et al. Deep residual learning for image recognition［C］//Proceedings of the 2016 IEEE conference on computer vision and pattern recognition. Piscataway， USA： IEEE， 2016：770-778.

[22] Chen Y， Shen Y T， Yu H B. Neural-aided statistical attack for cryptanalysis［J］. The Computer Journal， 2023，66（10）：2480-2498.

[23] Hong D， Lee J K， Kim D C， et al. LEA： a 128-bit block cipher for fast encryption on common processors［C］//Proceedings of the Information security applications. Cham， Switzerland： Springer， 2014：3-27.

[24] Needham R M， Wheeler D J. Tea extensions［R］. Camberdge， England： Computer Laboratory， University of Cambridge， 1997.

基金资助

国家自然科学基金(62271504)