基于ViT-KANs的双头通信网络协议数据类别概念漂移检测分类算法

A ViT-KANs-Based Dual-Head Algorithm for Communication Network Protocol Data Category Concept Drift Detection and Classification

摘要

针对网络协议数据中的类别概念漂移问题，提出一种ViT-KANs的双头通信网络数据协议类别概念漂移检测分类算法。该算法通过集成Vision Transformer（ViT）的全局感知能力与Kolmogorov-Arnold Networks（KANs）的灵活函数逼近能力，构建高效的特征提取网络；并采用双头并行输出结构，分别处理旧类数据的分类与类别概念漂移的检测。此外，进一步利用验证集数据自适应计算置信度阈值，有效缓解训练阶段概念漂移样本缺失的问题。在Moore数据集、加拿大网络安全研究所2017年入侵检测评估数据集（CICIDS2017）和加拿大网络安全研究所对知识发现与数据挖掘竞赛数据集的改进版（NSL-KDD） 3个数据集上的实验表明，所提方法较基线模型及分布外检测方法显著降低了检测错误率，同时保持优越的分类精度。

Abstract

To address the issue of category concept drift in network protocol data, a ViT-KANs-based dual-head algorithm for communication network protocol data category concept drift detection and classification is proposed. The global perception capability of vision transformer (ViT) and the flexible function approximation ability of kolmogorov-arnold networks (KANs) are integrated to construct an efficient feature extraction network in this algorithm. A dual-head parallel output structure is adopted to handle the classification of old-class data and the detection of category concept drift, respectively. Furthermore, the validation set data is utilized to adaptively compute the confidence threshold, which effectively alleviates the lack of concept drift samples during the training phase. Experiments are conducted on three datasets, namely the Moore dataset, the Canadian Institute for Cybersecurity Intrusion Detection Evaluation Dataset 2017 (CICIDS2017), and the improved version of the Network Security Lab (NSL)-Knowledge Discovery and Data Mining Competition Dataset (NSL-KDD). The results show that the detection error rate of the proposed method is reduced significantly, compared to those of models and out-of-distribution detection methods, while superior classification accuracy category is maintained.

Graphical abstract

关键词

类别概念漂移 / ViT-KANs模型 / 双头网络 / 置信度阈值 / 网络协议数据

Key words

category concept drift / ViT-KANs / dual-head network / confidence threshold / network protocol data

设备升级、用户习惯及环境因素常引发网络协议数据出现概念漂移^[1]。本文所指网络数据为经特征工程处理后的特征向量，如Moore、CICIDS-2017和NSL-KDD数据集中的连接时间、包大小、协议类型等多维特征。概念漂移指目标域统计特性随时间发生变化^[2]，如新型攻击使流量特征偏离原模式、协议更新导致加密特征变化、用户行为演变引起统计特性迁移等，多由隐藏变量变动导致。概念漂移可分为两类：一是特征空间变化而决策边界不变的虚拟漂移，如协议更迭引起数据包大小分布变化；二是决策边界变化导致性能下降的真实漂移^[3]，如新型DDoS攻击表现出与传统攻击不同的特征模式。为提高网络数据分类准确率，本文重点研究基于数据类别的概念漂移，简称类别概念漂移。

自文献[4]首次提出概念漂移，该领域形成诸多检测分类方法。传统方法中，漂移检测方法^[5]通过分类错误率是否显著上升以触发模型更新，早期漂移检测方法^[6]进一步引入错误间样本距离，提升检测敏感性。自适应窗口算法^[7]利用窗口间错误率差异及Hoeffding界限实现漂移判断。文献[8]通过聚类集成识别边界异常实例，发现新类别。

随着深度学习的发展，基于特征提取的检测方法发展迅速。文献[9]基于Softmax概率提出Baseline方法，但其置信度估计存在偏差；文献[10]提出分布外图像检测算法通过温度缩放和输入扰动增强分布内外样本的区分度。文献[11]依据重建误差变化检测漂移；文献[12]使用两阶段自适应学习与滑动窗口策略；文献[13]通过评估生成与判别模型性能变化实现检测；文献[14]基于知识蒸馏架构以教师学生模型预测差异判定漂移。Vision Transformer（ViT）^[15]借鉴自注意力机制^[16]，擅长捕捉全局信息，已被用于网络入侵检测^[17]及物联网攻击分类^[18]。Kolmogorov-Arnold Networks（KANs）^[19]凭借更高的参数效率与函数拟合能力，在结构化数据任务中展现出优势^[20]。

然而，现有研究仍存在以下不足：ViT和KANs在网络数据任务中多集中于分类而少关注概念漂移；深度学习方法多依赖Softmax输出设定阈值，检测性能有限；阈值确定常需额外标签或已知漂移样本，实际应用困难。

针对上述问题，提出一种基于ViT-KANs的双头通信网络数据协议类别概念漂移检测分类算法（A ViT-KANs-based Dual-Head Algorithm for Communication Network Protocol Data Category Concept Drift Detection and Classification, ViTKANs-DH）。首先，设计Transformer-KANs混合编码器，融合注意力与样条函数以增强特征表征；其次，构建双头并行输出结构，通过联合学习同步实现分类与漂移检测；最后，提出基于验证集的置信度阈值确定方法，为漂移识别提供依据。

1 问题模型

对于数据流\mathrm{D}={\left\{\left(X_t,y_t\right)\right\}}_{t=\mathrm{1}}^{\mathrm{T}}，其中X_t是数据实例，y_t是对应的标签。若时间t和（t+Δt）的联合概率分布满足P\left(X_t,y_t\right)\ne P\left(X_{t+\mathrm{\Delta }t},y_{t+\mathrm{\Delta }t}\right)，则称发生概念漂移，根据条件概率公式可表示为P\left(\left.y_t\right|X_t\right)·P\left(X_t\right)\neP\left(\left.y_{t+\mathrm{\Delta }t}\right|X_{t+\mathrm{\Delta }t}\right)·P\left(X_{t+\mathrm{\Delta }t}\right)。

概念漂移下的分类目标是学习一个动态适应的分类器f:X_t\to y_t，其中X是数据实例，y是标签，以最小化期望风险，即

R_t\left(f\right)=E_{\left(X_t,y_t\right)\sim P\left(X_t,y_t\right)}\left[L\left(f\left(X_t\right),y_t\right)\right]（1）

式中，L(·)是损失函数。

概念漂移检测需判断时间t是否发生分布变化，定义检测函数h:X_t\to \left\{\mathrm{0,1}\right\}，其中：h\left(X_t\right)=\mathrm{1}表示在时间t发生了概念漂移；h\left(X_t\right)=\mathrm{0}表示未发生概念漂移。检测函数通常基于分类器输出的置信度数值c\left(X_t\right)与置信度阈值δ进行判断可表示为

（2）

概念漂移检测基本流程分为数据收集、模型构建、阈值计算和检测4个阶段，框架如图1所示。

2 算法设计

2.1 算法总体框架

传统多分类算法依赖Softmax概率确定标签，面对类别概念漂移时存在局限。决策边界变化导致未知类别无法识别，且仅凭概率下降无法区分概念漂移与普通分类错误。为此，本文提出一种基于ViT-KANs的双头通信网络协议数据类别概念漂移检测分类算法，其核心特点包括：一是双分支并行结构，基础编码器输出并行接入分类分支和置信度分支，分类分支输出类别概率分布p\left(y\left|x\right.\right)，置信度分支输出单一置信度c\left(x\right)\in \left[\mathrm{0,1}\right]，量化数据偏离已知类别的程度；二是两级决策机制，先根据置信度是否低于阈值判定是否发生概念漂移，对漂移样本进行新类标记，否则按原分类结果输出。

ViTKANs-DH算法分为训练与检测分类阶段。训练阶段如图2所示。

由于实际训练数据缺乏真实漂移样本，为提升置信度分支的识别能力，采用添加高斯噪声方式构造伪漂移样本。相较于快速梯度符号法（Fast Gradient Sign Method, FGSM）算法^[21]：

\tilde{x}=x+\epsilon \mathrm{s}\mathrm{i}\mathrm{g}\mathrm{n}\left({\nabla }_{x}L\right)（3）

式中：\epsilon表示扰动的幅度；{\nabla }_{x}L表示损失函数关于输入x的梯度。

本文仅需模拟可能出现的分布偏移，并有一定随机性，在FGSM方法的基础上进行简化，通过添加高斯噪声模拟特征分布变化引发的决策边界偏移，对训练集中20%的样本添加各向同性高斯噪声，即

\tilde{x}=x+\eta ,\eta \sim N\left(\mathrm{0},{\sigma }^{\mathrm{2}}\right)（4）

式中，\sigma = 0.1表示噪声的标准差。

加噪后的样本在特征空间中形成局部扰动，其统计特性与真实概念漂移数据相似：分类分支输出概率p\left(y\left|x\right.\right)降低；置信度分支输出c\left(x\right)与噪声强度呈负相关。用加噪后的数据训练模型，通过联合损失函数更新参数。用不含真实漂移样本的验证集计算分类正确和错误样本的置信度，均衡处理后确定置信度阈值，作为检测阶段的判定依据。检测分类阶段如图3所示，模型对未知数据输出预测类别和置信度，比较置信度与预设阈值判断概念漂移，低于阈值则标记为新类，否则按预测类别输出。

2.2 Kolmogorov-Arnold Networks

KANs基于Kolmogorov-Arnold表示定理^[19]，该定理指出任何n维多元连续函数可表示为若干一维函数的线性组合：

f(x)={\displaystyle \sum _{q=\mathrm{1}}^{\mathrm{2}n+\mathrm{1}}}{\Phi }_q\left({\displaystyle \sum _{p=\mathrm{1}}^n}{\phi }_{q,p}\left(x_p\right)\right)（5）

式中：x_p表示输入特征；{\phi }_{q,p}表示参数化激活函数（样条函数）；{\Phi }_q表示激活函数的线性组合。

KANs在网络边上引入可学习的B样条激活函数，其形式为

\phi \left(x\right)=w\left(b\left(x\right)+\mathrm{s}\mathrm{p}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\left(x\right)\right)（6）

式中：w是权重；b\left(x\right)是基函数；\mathrm{s}\mathrm{p}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\left(x\right)是样条函数。

基函数由Sigmoid线性单元实现：

b(x)=\mathrm{s}\mathrm{i}\mathrm{l}\mathrm{u}(x)=\frac{x}{\mathrm{1}+e^{-x}}（7）

样条函数的公式化表示为：

\mathrm{s}\mathrm{p}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}(x)=\sum _i{c}_{i}B\left(x\right)（8）

式中：c_i表示可学习系数；B_i\left(x\right)表示B样条基函数。

2.3 网络模型结构设计

针对网络数据的一维向量化特性，模型将其视作一维图像，借鉴ViT思想并进行细化：通过更细粒度的分块捕捉局部模式，再经线性投影映射为高维嵌入序列；引入可学习类别嵌入与位置嵌入，分别用于聚合全局分类信息及保持空间顺序；最终通过Transformer-KANs编码器提取特征，并由分类与置信度双分支输出结果，整体结构如图4所示。

线性投影通过学习矩阵将特征映射到D=32维，生成N个D维嵌入向量。随后在序列头部添加一个可学习的D维类别嵌入向量，用于聚合全局语义信息，供后续分类与置信度分支共享，形成（N+1）维的嵌入序列。为进一步保留序列结构信息，引入可学习的位置编码，与嵌入序列逐元素相加。

Transformer-KANs编码器共有6层，每1层由多头自注意力、层归一化和前馈神经网络组成，其中前馈神经网络采用KANs。具体架构如图5所示。

首先，输入数据通过层归一化：

x_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}=\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left(x\right)（9）

然后，模型通过多头自注意力计算输入数据中每个位置的注意力权重，并更新每个位置表示：

x_{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}}=\mathrm{M}\mathrm{H}\mathrm{S}\mathrm{A}\left(x_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}\right)（10）

通过残差连接将其与原始输入相加：

x^{\text{'}}=x+\mathrm{D}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{P}\mathrm{a}\mathrm{t}\mathrm{h}\left(x_{\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}}\right)（11）

x^{\text{'}}通过层归一化后，再通过KANs进一步提取特征。与前面类似，KANs的输出通过残差连接与x^{\text{'}}相加后，形成编码器的最终输出：

x_{\mathrm{o}\mathrm{u}\mathrm{t}}=x^{\text{'}}+\mathrm{D}\mathrm{r}\mathrm{o}\mathrm{p}\mathrm{P}\mathrm{a}\mathrm{t}\mathrm{h}\left(\mathrm{K}\mathrm{A}\mathrm{N}\mathrm{s}\left(\mathrm{L}\mathrm{a}\mathrm{y}\mathrm{e}\mathrm{r}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\left(x^{\text{'}}\right)\right)\right)（12）

分类分支使用了1层KANs，使用类别嵌入所对应的输出特征进行类别概率分布的计算。置信度分支使用了3层KANs，同样使用类别嵌入所对应的输出特征进行置信度数值的计算。

2.4 损失函数设计

双头并行结构如图6所示。

如图6所示，模型对输入数据的计算在基础特征提取模块f\left(·\right)基础上，添加分类分支模块f_{\mathrm{c}\mathrm{l}\mathrm{a}-\mathrm{h}}\left(·\right)和置信度分支模块f_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}-\mathrm{h}}\left(·\right)，分类分支模块输出通过Softmax函数转化为类别预测概率p_i，置信度分支模块输出通过Sigmoid函数计算得到取值范围为0~1的单值置信度c：

p_i=g_{\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}}\left(f_{\mathrm{c}\mathrm{l}\mathrm{a}-\mathrm{h}}\left(f\left(x\right)\right)\right)（13）

c=g_{\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}\left(f_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}-\mathrm{h}}\left(f\left(x\right)\right)\right)（14）

式中：p_i，c\in \left[\mathrm{0,1}\right]；{\displaystyle \sum _{i=\mathrm{1}}^N}{p}_i=\mathrm{1}。

为在训练过程中利用置信度c来评估分类预测可靠性，对类别预测概率进行修正，可表示为

p_i^{\text{'}}=c\cdot p_i+\left(\mathrm{1}-c\right)y_i（15）

式中：p_i^{\text{'}}表示修正后的每个类别预测概率；p_i表示类别原始预测概率；y_i为基于标注信息，获得该样本属于第i类的后验概率；c为相应的置信度。

在训练过程中，使用修改后的类别预测概率来计算分类任务损失。在实验中使用负对数似然损失：

L_{\mathrm{c}\mathrm{l}\mathrm{a}}=-{\displaystyle \sum _{i=\mathrm{1}}^N}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(p_i^{\text{'}}\right)y_i（16）

式中：p_i^{\text{'}}表示修正后每个类别预测概率；y_i为基于标注信息，获得该样本属于第i类的后验概率。

同时，防止网络总选择c=\mathrm{0}，使p_i^{\text{'}}直接接收y_i来最小化分类任务损失，引入置信度损失，用对数损失形式，达到对总损失惩罚效果，可表示为

L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}}=-\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(c\right)（17）

式中，c为置信度。

最终的总损失函数为

\begin{array}{l}{L}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\left(\mathrm{1}-\lambda \right)L_{\mathrm{c}\mathrm{l}\mathrm{a}}+\lambda \cdot L_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}}=\\ \left(\mathrm{1}-\lambda \right)\left[-{\displaystyle \sum _{i=\mathrm{1}}^N}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(p_i^{\text{'}}\right)y_i\right]+\lambda \left[-\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}\left(c\right)\right]\end{array}（18）

式中：p_i^{\text{'}}表示修正后每个类别预测概率；c为置信度；λ为损失函数的权重超参数，实验中取值为0.2。

分析置信度c对损失函数的影响：当c趋于1时，模型对预测结果非常自信，根据式（15）可以看出p_i^{\text{'}}趋于p_i，并且根据式（17）置信度损失趋于0；当c趋于0时，表明模型对预测结果不自信，此时p_i^{\text{'}}趋于y_i，模型更倾向于直接接收实际标签，根据式（16）可以看出分类任务损失趋于0，而置信度损失会非常大。综上分析，如果网络能够判断其可能对输入样本进行错误分类，则可通过调整置信度值来减少总损失，从而提升模型鲁棒性与预测可靠性。

2.5 置信度阈值的确定

通过训练，置信度分支能够输出样本的置信度。为利用置信度数值判定发生和未发生类别概念漂移的样本，还需设定一个置信度阈值。判定函数为

（19）

式中：X为样本；c为置信度；δ为置信度阈值。

这个阈值理想情况下应基于漂移数据和未漂移数据置信度分布确定。如前所述，在实际训练中无法获得概念漂移数据。为此，利用验证集中分类错误样本和分类正确样本估计置信度阈值。同时，分类错误样本和分类正确样本在大多数情况下存在数量不均衡的问题。为解决数据不均衡，引入合成少数类过采样技术（Synthetic Minority Oversampling Technique, SMOTE）^[22]，对分类错误的样本进行过采样，使其与分类正确样本达到数据均衡：

{\tilde{d}}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}},{\tilde{d}}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=f_{\mathrm{S}\mathrm{M}\mathrm{O}\mathrm{T}\mathrm{E}}\left(d_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}},d_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\right)（20）

将{\tilde{d}}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}}和{\tilde{d}}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}输入到模型，计算置信度数值：

c_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}}=g_{\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}\left(f_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}-\mathrm{h}}\left(f\left({\tilde{d}}_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}}\right)\right)\right)（21）

c_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=g_{\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}}\left(f_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{f}-\mathrm{h}}\left(f\left({\tilde{d}}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\right)\right)\right)（22）

进一步计算置信度阈值

\delta =\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}\left(c_{\mathrm{c}\mathrm{o}\mathrm{r}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{t}},c_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}\right)（23）

3 实验

3.1 实验数据

采用3个广泛认可的数据集来验证所提算法的有效性，包括Moore数据集、CICIDS2017数据集和NSL-KDD数据集。选择这3个数据集的目的是覆盖不同类型的网络流量特征，从而全面评估算法的泛化能力。Moore数据集由剑桥大学采集，是网络流量分析领域的经典数据集；CICIDS2017数据集是由加拿大网络安全研究所采集并发布的网络安全数据集；NSL-KDD数据集是KDD Cup 1999数据集的改进版本，广泛应用于网络数据分析领域。

分别从这3个数据集中选取3类数据作为未发生概念漂移的已知数据，并从每个数据集中额外选取一类数据作为类别概念漂移的数据。在特征选择方面，采用了文献[23]中的方法，这些特征不仅包含基本的流量统计信息，还涵盖了网络行为相关的特定模式。在训练集和验证集中主要包含已知类别的数据，在测试集中既有已知类别，又有概念漂移类别数据，具体的特征选择情况如表1所示。

3.2 评价指标

评价指标包括已知类别数据的分类准确率（Accuracy）和类别概念漂移数据的检测错误率（Detection Error Rate, DER），分别评估分类器对未发生概念漂移数据的分类性能和对概念漂移数据的检测能力。

准确率用于衡量分类分支在未发生概念漂移样本中正确分类的比例，能直观反映模型在处理未发生概念漂移数据时的表现，是评估分类器性能的重要指标。计算方法为

R_{\mathrm{a}\mathrm{c}\mathrm{c}\mathrm{u}\mathrm{r}\mathrm{a}\mathrm{c}\mathrm{y}}=\frac{N_{\mathrm{T}\mathrm{P}\mathrm{1}}+N_{\mathrm{T}\mathrm{N}\mathrm{1}}}{N_{\mathrm{T}\mathrm{P}\mathrm{1}}+N_{\mathrm{T}\mathrm{N}\mathrm{1}}+N_{\mathrm{F}\mathrm{P}\mathrm{1}}+N_{\mathrm{F}\mathrm{N}\mathrm{1}}}（24）

式中：N_TP1表示真正例数；N_TN1表示真负例数；N_FP1表示假正例数；N_FN1表示假负例数。

检测错误率用于衡量置信度分支在检测类别概念漂移数据的错误比例，能直观体现模型对新概念的适应能力，是评估分类器处理概念漂移数据能力的重要参考指标。计算方法为

R_{\mathrm{D}\mathrm{E}\mathrm{R}}=\frac{N_{\mathrm{F}\mathrm{P}\mathrm{2}}+N_{\mathrm{F}\mathrm{N}\mathrm{2}}}{N_{\mathrm{T}\mathrm{P}\mathrm{2}}+N_{\mathrm{T}\mathrm{N}\mathrm{2}}+N_{\mathrm{F}\mathrm{P}\mathrm{2}}+N_{\mathrm{F}\mathrm{N}\mathrm{2}}}（25）

式中：N_TP2表示真正例数；N_TN2表示真负例数；N_FP2表示假正例数；N_FN2表示假负例数。

3.3 仿真环境

实验在Windows 10操作系统和PyTorch框架下完成，使用NVIDIA RTX3070 GPU加速训练。采用随机梯度下降优化器，初始学习率为0.03，通过LambdaLR调度器每轮训练学习率衰减5%；批次大小为32，以平衡计算效率与内存使用；模型共训练50轮次。

3.4 ViT-KANs融合优势的对比分析

为评估本文模块有效性，采用逐步剔除新模块进行实验：M1将编码器的KANs换为MLP；M2将所有分支的KANs换为MLP；M3为完整ViTKANs-DH。实验结果如表2所示，随着模块减少，准确率下降且检测错误率上升，表明各模块对维持分类与漂移检测性能均具有显著作用。

3.5 训练数据中添加噪声对检测错误率的影响

为验证训练数据预处理时引入高斯噪声对置信度分支训练的效果，采用均值为0、标准差为0.1的高斯噪声，通过网格搜索噪声添加比例0%~100%（步长10%），在3个数据集上以检测错误率为指标进行评估。结果如图7所示，20%的噪声比例在多个数据集上均能显著提升对类别概念漂移的检测性能。

3.6 置信度阈值估计方法的分析

为验证SMOTE在缓解验证集类别不平衡中的有效性，本文对比了无增强、Borderline-SMOTE^[24]、ADASYN^[25]和SMOTE这4种处理方式。如图 8所示，在不同数据集上基于检测错误率的实验表明，SMOTE算法性能最优，可有效提升模型对类别概念漂移的检测能力。

3.7 损失函数中不同λ取值的影响

为探讨不同λ取值对概念漂移检测性能的影响，在3个数据集上进行实验，λ的取值范围为[0.1, 0.9]，步长为0.1。实验结果如图9所示，当λ ∈ [0.1, 0.3]时，检测错误率较低，尤其在λ = 0.2时最优，超出该范围，则错误率上升，表明分类损失与置信度损失间的平衡对性能至关重要。

3.8 算法对比分析

为评估ViTKANs-DH算法的先进性，与Baseline算法^[9]和ODIN算法^[10]在3个数据集中进行对比分析。实验设置包含无置信度分支的Baseline和ODIN算法模型，以及与带置信度分支的ViTKANs-DH模型，使用相同特征提取网络，主要区别在于是否含置信度分支及对应的漂移判定机制。

实验通过分类准确率与检测错误率进行评估，结果如表3所示。在已知类别的分类准确率方面，由于3种算法的特征提取部分基本一致，性能差异较小，但在NSL-KDD和CICIDS2017两个数据集上，ViTKANs-DH算法性能处于优势地位。

在概念漂移检测方面，ViTKANs-DH显著优于对比方法，引入置信度分支能更有效区分旧类与漂移数据，缓解仅依赖Softmax概率所带来的偏差。

4 结束语

本文提出一种基于ViT-KANs的双头通信网络数据协议类别概念漂移检测分类算法，通过设计置信度分支，成功将ViT网络应用于类别概念漂移检测任务，实现对漂移数据更清晰、直观的判断。此外，将KANs集成至模型中，显著增强模型对网络数据的解析能力，从而提升检测与分类的整体性能。该算法充分利用已知数据，通过模拟负样本数据，为置信度分支的训练提供双向激励机制，进一步优化模型表现。在Moore、NSL-KDD和CICIDS2017这3个数据集上的实验结果表明，与Baseline和ODIN算法相比，ViTKANs-DH算法在检测错误率和分类性能方面均取得更优异的效果。

参考文献

[1] AGRAHARI S， SINGH A K. Concept drift detection in data stream mining： a literature review［J］. Journal of King Saud University-Computer and Information Sciences， 2022，34（10）：9523-9540.

[2] AGRAHARI S， SINGH A K. Disposition-based concept drift detection and adaptation in data stream［J］. Arabian Journal for Science and Engineering， 2022，47（8）：10605-10621.

[3] LIU A J， SONG Y L， ZHANG G Q， et al. Regional concept drift detection and density synchronized drift adaptation［C］∥Proceedings of the 26th International Joint Conference on Artificial Intelligence. New York， USA： ACM， 2017：2280-2286.

[4] SCHLIMMER J C， GRANGER R H. Incremental learning from noisy data［J］. Machine Learning， 1986，1（3）：317-354.

[5] BAZZAN A L C， LABIDI S. Advances in artificial intelligence-SBIA 2004： 17th Brazilian symposium on artificial intelligence proceedings［M］. Cham， Switzerland： Springer， 2004：286-295.

[6] BAENA-GARCÍA M， CAMPO-ÁVILA J D， FIDALGO R， et al. Early drift detection method ［C］∥Proceedings of the 4th International Workshop on Knowledge Discovery from Data Streams. Cham， Switzerland： Springer， 2006，6：77-86.

[7] BIFET A， GAVALDÀ R. Learning from time-changing data with adaptive windowing［C］∥Proceedings of the 2007 SIAM International Conference on Data Mining. Philadelphia， USA： Society for Industrial and Applied Mathematics， 2007：443-448.

[8] HAQUE A， KHAN L， BARON M. SAND： semi-supervised adaptive novel class detection and classification over data stream［C］∥Proceedings of the Thirtieth AAAI Conference on Artificial Intelligence. Palo Alto， USA： AAAI Press， 2016：1652-1658.

[9] HENDRYCKS D， GIMPEL K. A baseline for detecting misclassified and out-of-distribution examples in neural networks［DB/OL］. （2016-10-07）［2025-02-01］.

[10] LIANG S， LI Y， SRIKANT R. Enhancing the reliability of out-of-distribution image detection in neural networks［DB/OL］. （2017-06-08）［2025-02-01］.

[11] ASHFAHANI A， PRATAMA M， LUGHOFER E， et al. DEVDAN： deep evolving denoising autoencoder［J］. Neurocomputing， 2020，390：297-314.

[12] LUO X， ZHANG D X. An adaptive deep learning framework for day-ahead forecasting of photovoltaic power generation［J］. Sustainable Energy Technologies and Assessments， 2022，52：No.102326.

[13] GUAN H T， WANG Y J， MA X K， et al. DCIGAN： a distributed class-incremental learning method based on generative adversarial networks［C］∥Proceedings of the 2019 IEEE International Conference on Parallel & Distributed Processing with Applications， Big Data & Cloud Computing， Sustainable Computing & Communications， Social Computing & Networking. Piscataway， USA： IEEE， 2019：768-775.

[14] XU L J， DING X， PENG H P， et al. ADTCD： an adaptive anomaly detection approach toward concept drift in IoT［J］. IEEE Internet of Things Journal， 2023，10（18）：15931-15942.

[15] DOSOVITSKIY A， BEYER L， KOLESNIKOV A， et al. An image is worth 16x16 words： transformers for image recognition at scale［DB/OL］. （2020-10-22）［2025-02-01］.

[16] VASWANI A， SHAZEER N M， PARMAR N， et al. Attention is all you need［C］∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， USA： Curran Associates Inc.， 2017：6000-6010.

[17] HO C M K， YOW K C， ZHU Z W， et al. Network intrusion detection via flow-to-image conversion and vision transformer classification［J］. IEEE Access， 2022，10：97780-97793.

[18] WASSWA H， LYNAR T， NANYONGA A， et al. IoT botnet detection： application of vision transformer to classification of network flow traffic［C］∥Proceedings of the 2023 Global Conference on Information Technologies and Communications. Piscataway， USA： IEEE， 2023：1-6.

[19] LIU Z， WANG Y， VAIDYA S， et al. KAN： Kolmogorov-Arnold networks［DB/OL］. （2024-04-30）［2025-02-01］.

[20] GAO W， GONG Z， DENG Z， et al. TabKANet： tabular data modeling with Kolmogorov-Arnold network and transformer［DB/OL］. （2024-09-13）［2025-02-01］.

[21] GOODFELLOW I J， SHLENS J， SZEGEDY C. Explaining and harnessing adversarial examples［DB/OL］. （2014-12-20）［2025-02-01］.

[22] CHAWLA N V， BOWYER K W， HALL L O， et al. SMOTE： synthetic minority over-sampling technique［J］. Journal of Artificial Intelligence Research， 2002，16（1）：321-357.

[23] 李林林，张效义，张霞，等.基于K均值和k近邻的半监督流量分类算法［J］.信息工程大学学报，2015，16（2）：234-239.

[24] HAN H， WANG W Y， MAO B H. Borderline-SMOTE： a new over-sampling method in imbalanced data sets learning［C］∥Proceedings of the Advances in Intelligent Computing. Cham， Switzerland： Springer， 2005：878-887.

[25] HE H B， BAI Y， GARCIA E A， et al. ADASYN： adaptive synthetic sampling approach for imbalanced learning［C］∥Proceedings of the 2008 IEEE International Joint Conference on Neural Networks. Piscataway， USA： IEEE， 2008：1322-1328.