基于流量映射矩阵的加密流量分类模型

刘保全 ,  顾纯祥 ,  陈熹 ,  李德刚

信息工程大学学报 ›› 2025, Vol. 26 ›› Issue (03) : 352 -358.

PDF (2668KB)
信息工程大学学报 ›› 2025, Vol. 26 ›› Issue (03) : 352 -358. DOI: 10.3969/j.issn.1671-0673.2025.03.014
网络空间安全

基于流量映射矩阵的加密流量分类模型

作者信息 +

Encrypted Traffic Classification Model Based on Traffic Mapping Matrix

Author information +
文章历史 +
PDF (2731K)

摘要

针对现有加密流量分类方法因流量特征表示单一和细粒度分析不足导致关键业务流量处理效果不佳的问题,提出一种基于流量映射矩阵(TMM)的细粒度分类方法。通过构建融合报文序列特征、统计特征及拓扑结构特征的TMM,形成包含时空关联信息的复合特征表征。基于Vision Transformer架构设计自监督分类器,采用预训练范式对TMM进行特征学习,建立应用行为分类模型(ABC-Model)。在公开数据集和私有数据集上的实验表明,该方法可实现细粒度的应用行为分类,最高准确率达96.73%。研究证实多维特征融合的TMM能有效表征加密流量行为特性,为关键业务流量识别提供了新的解决方案。

Abstract

To address the limitations of existing encrypted traffic classification methods, which suffer from insufficient feature representation and fine-grained analysis for critical business traffic, a Traffic mapping matrix (TMM)-based method is proposed. The TMM, integrating packet sequence features, statistical features, and topological structure features, is construct to create a composite representation with spatiotemporal correlations. A self-supervised classifier is designed based on the Vision Transformer architecture, and a pre-training framework is adopted to learn features from the TMM, thereby establishing the application behavior classification model (ABC-Model). Experimental results on both public and private datasets demonstrate that the proposed method achieves the highest accuracy of 96.73% in fine-grained application behavior classification. This study confirms that the multidimensional feature fusion of TMM effectively characterizes encrypted traffic behavior, providing a novel solution for critical business traffic identification.

Graphical abstract

关键词

加密流量分类 / 流量特征融合 / 流量映射矩阵 / 预训练模型 / 应用行为分类

Key words

encrypted traffic classification / traffic feature fusion / traffic mapping matrix / pre-trained model / application behavior classification

引用本文

引用格式 ▾
刘保全,顾纯祥,陈熹,李德刚. 基于流量映射矩阵的加密流量分类模型[J]. 信息工程大学学报, 2025, 26(03): 352-358 DOI:10.3969/j.issn.1671-0673.2025.03.014

登录浏览全文

4963

注册一个新账户 忘记密码

流量分类作为解决网络管理问题的重要方式,受到越来越多管理人员的重视。通过了解流量的内容特征,网络运营商能够快速响应需求,支持不同的业务目标、提高服务质量和用户体验[1-4]。然而,越来越多加密技术的使用,使得流量内容变得不可见,难以直接通过检查数据包来区分不同类型的应用行为。为了准确识别相同应用的不同行为,有必要对流量表示进行创新,使它能够准确表示不同的应用行为。
应用行为分类是流量分类中更细粒度且更深层次的分类,对于每种应用,用户都有多种不同的操作行为。然而,同一种应用流量的相似性很高,很难正确区分同一种应用的不同行为。为解决上述问题,构建了一种新的流量表示方式,即流量映射矩阵(Traffic Mapping Matrix, TMM)。在TMM表示框架下,每条流量都可以被看作一个包含多维特征的灰度图。其中每行代表一个数据包,每个数据包中选取了它的序列特征、统计特征以及流内结构特征。受计算机视觉(Computer Vision, CV)[5-8]和自然语言处理(Natural Language Processing, NLP)[9]领域预训练方法的启发,本文采用基于Vision Transformer(ViT)的自监督分类器对未标记的TMM进行预训练,然后使用预训练模型对带有应用行为标记的TMM进行针对性训练,得到能区分应用行为的细粒度分类模型。为检测TMM矩阵的有效性,在公开数据集、私有数据集以及开集环境下进行对比试验,结果表明提出的TMM流量表示能够有效区分相同应用的不同行为,相比于基线模型,应用行为分类模型(Application Behavior Classification Model, ABC-Model)有明显的优势。
本文通过设计的TMM,提取了流量的序列特征、统计特征和结构特征,全方面表示应用行为流量。使用基于ViT的自监督分类器构造分类模型。在公开数据集和私有数据集上进行了对比试验,验证了TMM的有效性。

1 流量分类相关方法

应用行为分类是一种更细粒度且更精准的流量分类,不仅能够识别流量所属的应用类型,还能进一步分析确定应用内部的具体操作行为。如何准确地识别相同应用的不同行为已成为网络管理的技术趋势。现有的分类技术主要包括基于规则的方法、基于机器学习的方法和基于深度学习的方法。

基于规则的方法依赖专家设计的规则集,利用流量数据的通信协议等基本属性,发现违反安全策略的行为[10]。但是,网络环境的日益复杂,这些基本特征不足以满足当前环境下的应用行为分类。为应对复杂流量分析,研究者引入机器学习(Machine Learning, ML)来探索流量的高位统计特征。文献[11]通过准确性评估选择104个最优统计特征,将其作为支持向量机的输入来识别网站流量;文献[12]采用随机森林(Random Forest, RF)对不同应用流量产生的统计特征进行分析;文献[13]利用机器学习(Machine Larning, ML)算法通过使用紧凑的内存图来检测加密恶意流量中的未知模式。尽管基于ML的方法能结合高维统计特征分析复杂流量,但严重依赖于专家设计的统计特征,对不同场景需要确定不同的特征。

与传统的基于规则和机器学习的方法不同,基于深度学习(Deep Learning, DL)已经成为流量分类的主流技术。Fs-net[14]采用包长序列结合双向门控循环单元(Gate Recurrent Unit, GRU)和重构自编码器实现加密流量分类。MIMETIC[15]是一种使用卷积神经网络(Convolutional Neural Network, CNN)和GRU进行移动加密流量分析的多模态深度学习模型。App-net[16]采用长短期记忆网络(Long Short-Term Memory, LSTM)和CNN来分析数据包长度和有效载荷序列。这些深度学习方法能够有效的分析网络流量,但是这些方法一般直接使用统计特征或原始字节来表示网络流量,流量表示方法单一,特征提取的不够全面,难以对流量的应用行为进行分类。

2 模型方法

2.1 TMM设计

为实现应用行为分类,设计了一种能表征流量全局特征的TMM矩阵。该矩阵中列向量代表了数据包的序号,行向量代表了该数据包的特征字节表示,图1为该矩阵转换为灰度图的形式。

在构建TMM之前需要完成数据预处理步骤,将原始数据包捕获文件按照共享同一五元组(源IP地址、目的IP地址、源端口、目的端口和协议)的原则划分为独立的流。然后对流中每个数据包提取其序列特征、统计特征以及结构特征,将这些特征存储在对应的JavaScript对象表示法(JavaScript Object Notation, JSON)文件中,然后将其文件中该流的前40个数据包特征按照向量的方式进行重组。每个数据包向量的设计如图2所示。

对数据包的序列特征、统计特征和结构特征进行向量设计,将每个特征转换为1字节或多字节的字节表示。另外,在之前的工作中,提出了一种流量映射图(Flow Mapping Graph, FMG)[17]构造方法,该方法通过设计流量的拓扑结构图来聚合各个数据包节点的特征,这里采用了FMG中数据包的连接方式作为TMM中表示节点连接的结构特征。

根据上述描述,可以得到每个数据包的表示向量,然后将所有向量整合得到一个40×40的TMM矩阵。其中:序列特征捕获了数据包的时间顺序和时间间隔,识别出特定的通信行为,对流量进行动态分析;统计特征通过提供数据包大小、平均包间隔等信息,概括了流量的整体特性,同时通过归一化一些统计特征达到简化流量表示的作用,可以减少数据复杂性,提高处理速度和效率;结构特征考虑了数据包之间的相互关系,通过映射几点连接和交互模式,可以解释网络中的潜在结构和动态变化。整体来说,TMM使用序列特征、统计特征和结构特征,不仅可以增强对网络流量的全面理解,还能提升数据处理和分析的效率和效果。

2.2 ABC-Model模型架构

ABC-Model分为预训练阶段和针对训练阶段,如图3右图所示。训练过程包含了嵌入模块和注意力模块。嵌入模块是通过线性层将TMM矩阵中单个字节大小的块xiRN映射为D维向量作为块嵌入,然后将位置编码嵌入到块嵌入中作为编码器的输入,如式(1)所示

X=x1E;x2E;;xnE+Epos

式中:E是一个1×D维的转换矩阵,用于将每个块映射到D维嵌入向量中;Epos是位置嵌入,保留了原始矩阵中块的空间位置;最终得到的X是嵌入模块的输出。

注意力模块中,使用由多头自注意力(Multi-Head Self-Attention, MSA)机制和前馈层交替组成的基于ViT的流量编码器来学习数据包向量中特征的依赖关系,只在同一行的块之间进行多头自关注。如式(2)式(3)所示:

Q=xiWQ,K=xiWK,V=xiWV
Attn(Q,K,V)=softmaxQKTDkV

式中:WQ,WK,WVRD×Dk为可学习参数;Attn()为注意力函数;1/Dk为比例因子;嵌入模块的输出被分别映射到QKV这3个向量:查询向量(Query)、键向量(Key)和值向量(Value)。

通过注意力模块可以获取数据包中信息的交互和结构特征中不同数据包之间的依赖关系,输出一个有效的包级表示。然后对TMM矩阵进行逐行池化,如式(4)所示:

Xr'=P(xi')

式中:P()表示池化操作;xi'表示第i个嵌入位置编码的行向量,得到TMM矩阵的行块特征Xr'RN×D,通过捕获所有行块特征,最终输出一列的行特征XrRN×D,对这些特征进行列池化,得到整个TMM矩阵的最终表示XTMM,如式(5)所示:

XTMM=P(Xr)

1)预训练阶段。在此阶段,输入的数据是大量未标记的TMM矩阵,使用掩码自动编码器(Masked Autoencoder, MAE)[10]和非对称的编码器—解码器架构重构TMM矩阵中的字节,按字节进行随机掩码,只将未被掩码的部分输入到模型中。之后使用流量编码器提取尽可能多的特征,输出编码器标记和掩码标记,然后使用一个小型解码器来恢复TMM矩阵中被掩码的区域。MAE使用重建损失进行训练,真实块yrec 和预测块yreal 之间的均方误差(Mean Squared Error, MSE),如式(6)所示:

Lpre=EMSEyrec , yreal 

式中,Lpre表示预训练阶段的损失函教。

2) 针对训练阶段。在此阶段,使用预训阶段编码器的参数加载到针对训练阶段的注意力模块中,对输入数据进行行池化和列池化后得到XTMM,使用TMM矩阵的最终表示XTMM作为分类特征,经过一个线性层后,得到预测分布y^RCC是应用行为的类别数。据预测分布y^和真实标签y计算交叉熵(Cross Entropy, CE)损失作为分类损失,如式(7)所示:

L=ECE(y^,y)

式中,L表示针对训练阶段的交叉熵损失函数。

3 实验分析

在本节中,比较了模型与其他加密流量分类模型针对细粒度的应用行为分类的性能,通过设计消融实验评估了TMM的有效性,最后测试了基于TMM的分类模型在开集条件下的有效性。

3.1 实验设置

本文在公开数据集ISCXVPN2016[18]、ISCXTor2016[19]和私有数据集上进行闭集测试,同时根据私有数据集训练的模型,在开集条件下测试模型的性能。

本文采用的比较模型如下。

1)CNN+D[20]:利用报文方向信息构建CNN,对来自不同网站的加密流量进行分类。

2)Appscanner[12]:使用双向流特性(即传出和传入)从流中提取有关数据包长度和间隔时间的特征。

3)MIMITIC[15]:是一种利用深度学习的多模式方法,使用CNN和GRU分别学习有效载荷和消息协议字段的前576字节。

4)Fs-net[14]:以数据包长度序列为输入,采用双向GRU进行特征编码,并在Auto Encoder中引入重构机制,保证学习到的特征的有效性。

5)App-net[16]:使用LSTM学习报文长度,使用CNN学习初始报文的有效载荷字节序列。

对于ISCXVPN2016数据集和ISCXTor2016数据集来说,只考虑了其中NonVPN和NonTor的良性流量。这些流量数据集描述如下。

1)ISCXVPN2016数据集:该数据集通过模拟用户Alice和Bob的网络活动,使用多种应用和服务(如Skype、Facebook、YouTube)生成数据,这里将不同应用行为作为分类标签,比如Facebook_chat,Facebook_video等共计34个行为类别。

2)ISCXTor2016数据集:该数据集通过创建3个用户来收集浏览器流量,对于NonTor部分流量,使用了大部分来自VPN项目的良性流量[19],将该流量扩充致ISCXVPN2016数据集划分的34个类别中。

3)私有数据集:通过Wireshark收集不同应用的不同行为流量,使用Wireshark进行过滤,此期间只开启单个应用进行单个行为的操作,以此收集了Bilibili、QQ、Wechat和Tiktok等4个应用的共计5 000条流、10类应用行为的流量。

3.2 性能测试

本节探讨模型的性能和TMM的有效性。首先测试模型在公开数据集上和私有数据集上的性能,这里使用准确率(Accuracy)、精确率(Precision)、F1值、召回率(Recall)、真阳性率(True Positive Rate, TPR)和假阳性率(False Positive Rate, FPR)。计算方法如式(8)~(12)所示:

TTPR=NTPNTP+NFN=Rrecall              
FFPR=NFPNFP+NTN                             
Rprecision=NTPNTP+NFP                        
Raccuracy=NTP+NTNNTP+NFP+NFN+NTN
F1=2×Rprecision×RrecallRprecision+Rrecall               

式中:NTP表示正确预测为该类别的个数;NFN表示实际属于该类别但预测为其他类别或未知类的个数;NFP表示实际不属于该类别但错误预测为该类别的个数;NTN表示实际不属于该类别且正确预测为其他类别或未知类的个数。

3.2.1 模型在闭集上的性能

本模型在ISCXVPN2016、ISCXTor2016和私有数据集上的性能优于其他模型,其中将ISCXVPN 2016和ISCXTor2016中的NonVPN和NonTor部分整合为一个数据集,即综合数据集。结果如表1所示,在综合数据集上,对34个应用行为skype_chat、skype_video、skype_filetransfer、facebook_audio、facebook_chat、facebook_video等的分类效果ABC-Model远高于其他基线模型。在私有数据集上,由于构建此数据集时将噪音过滤了,所以相比于综合数据集,每个模型的性能都有提升,但是ABC-Model的性能还是明显优于其他模型。

图4显示了ABC-Model在综合数据集和私有数据集上的TPR和FPR结果。在私有数据集上,TPR值普遍非常高,范围在0.94到0.99之间,FPR值普遍非常低,大多数值低于0.005。这意味着ABC-Model在几乎所有的类别上都能很好地识别正类,说明模型在没有噪声的情况下对于不同应用行为的识别能力较强。在综合数据集上,大多数类别的TPR在0.9以上,且只有个别FPR大于0.08,这表明即便在具有噪声的综合数据集上模型仍能实现应用行为分类。

3.2.2 模型在开集上的性能

对私有数据集中bilibili_chat、bilibili_video、qq_ audio、qq_chat、qq_video、tiktok_chat、tiktok_video、wechat_audio、wechat_chat和wechat_video等10类应用行为进行训练,然后在开集条件下识别这些应用行为。对收集到的实际流量先进行预处理,使每个类别的测试样本中包含500条噪声流量(负样本),需要从这个开集中识别出上述的10个应用行为。结果如表2所示,由于噪声的影响,在开集条件下模型的性能比闭集条件下的性能稍差一些,但是还在可接受范围内。其中:大部分类别的TPR都超过了0.9,特别是qq_chat类别高达0.941 6,这表明模型在识别真实的行为类别方面表现出色;大部分类别的FPR都控制在0.15以下,这显示了模型在避免误分类方面的有效性;大部分类别上的F1值都超过了0.85,尤其bilibili_video和qq_audio的F1值超过了0.9,表明模型在保持精确率和召回率之间良好平衡的同时,还能保持较高的整体性能。

3.3 消融实验

为了验证TMM矩阵的可解释性,在私有数据集上设计消融实验测试3种不同特征(序列特征、统计特征和结构特征)对于模型性能的影响,结果如图5所示,图5(a)是基线模型结果,图5(b)是去掉序列特征的结果,图5(c)是去掉统计持征的结果,图5(d)是去掉结构持征的结果。

基线模型的混淆矩阵如图5(a)所示,显示了当所有特征都被使用时的性能。对角线上的数值普遍较高,表明大多数类别都被准确地分类。去除序列特征后如图5(b)所示,虽然对角线上的数值有所下降,但下降幅度较小。如第4类从435下降到314,下降显著但不如无统计特征模型。去除统计特征后如图5(c)所示,对角线上的数值普遍下降,说明统计特征对于模型准确性非常关键。特别是在某些类别中,如第4类从435下降到36,这表明统计特征对于此类别的识别尤为重要。去除结构特征后如图5(d)所示,对角线上的数值显著下降,如第3类从506下降到48。由此可以得出结论,序列特征中包含的时间或顺序相关的信息、统计特征中数据包的统计信息以及结构特征中记录的数据整体结构的信息都对应用行为分类具有重要作用。通过引入这些特征,TMM能够精确地表示应用的不同行为,从而提高模型整体的分类精度。

4 结束语

提出一种用于应用行为分类的流量表示方法,即流量映射矩阵。该方法通过结合每条流中数据包的序列特征、统计特征和流的结构特征来构造矩阵。其中:序列特征可以识别特定的通信行为,对流量进行动态分析;统计特征通过提供数据包大小、平均包间隔等信息,概括了流量的整体特性;结构特征数据包之间的相互关系解释了网络中的潜在结构和动态变化。通过将TMM矩阵转化成灰度图,应用行为分类问题被转化成图分类问题,实现应用的行为分类。此外,根据流量映射矩阵的特性,使用了基于Vision Transformer的自监督分类器对TMM进行预训练,使用预训练模型对不同的应用行为进行针对训练。在公开数据集和私有数据集上的实验结果表明,TMM可以有效的表示应用的不同行为,且模型性能优于5种基线模型,证明了本文方法的有效性。在开集条件下仍能取得较好的结果,证明了本文方法的实用性。下一步工作,将继续优化TMM的设计方法,使用更多维数的特征,同时通过型剪枝去除不必要的参数,以及通过量化减少计算的精度需求,从而减轻模型的计算负担,构建分层或多尺度Transformer结构,更有效地捕捉长期依赖关系。

参考文献

[1]

PAPADOGIANNAKI EIOANNIDIS S. A survey on encrypted network traffic analysis applications, techniques, and countermeasures[J]. ACM Computing Surveys202154(6):1-35.

[2]

ZHAO R JDENG X WYAN Z C, et al. Mt-flowformer: a semi-supervised flow transformer for encrypted traffic classification[C]∥Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York, USA: ACM,2022:2576-2584.

[3]

XIE KXIE R TWANG X, et al. NMMF-stream: a fast and accurate stream-processing scheme for network monitoring data recovery[C]∥Proceedings of the IEEE INFOCOM 2022-IEEE Conference on Computer Communications. Piscataway, USA: IEEE, 2022:2218-2227.

[4]

FAN J YGUAN C WREN K, et al. Middlebox-based packet-level redundancy elimination over encrypted network traffic[J]. IEEE/ACM Transactions on Networking201826(4):1742-1753.

[5]

HE K MCHEN X LXIE S N, et al. Masked autoencoders are scalable vision learners[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway, USA: IEEE, 2022:16000-16009.

[6]

CARON MTOUVRON HMISRA I, et al. Emerging properties in self-supervised vision transformers[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway, USA: IEEE, 2021:9650-9660.

[7]

CHEN X LXIE S NHE K M. An empirical study of training self-supervised vision transformers[C]∥Proceedings of the IEEE/CVF International Conference on Computer Vision. Piscataway, USA: IEEE, 2021:9640-9649.

[8]

ZHAO R JDENG X WWANG Y H, et al. GeeSolver: a generic, efficient, and effortless solver with self-supervised learning for breaking text captchas[C]∥Proceedings of the 2023 IEEE Symposium on Security and Privacy. Piscataway, USA: IEEE, 2023:1649-1666.

[9]

DEVLIN JCHANG M WLEE K, et al. BERT: pre-training of deep bidirectional transformers for language understanding[C]∥Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers). Stroudsburg, USA: ACL, 2019:4171-4186.

[10]

ZHAO R JZHAN M WDENG X W, et al. A novel self-supervised framework based on masked autoencoder for traffic classification[J]. IEEE/ACM Transactions on Networking202432(3):2012-2025.

[11]

PANCHENKO ALANZE FPENNEKAMP J, et al. Website fingerprinting at internet scale[C]∥Proceedings of Network and Distributed System Security Symposium. San Diego, USA: ISOC, 2016. DOI:10.14722/ndss.2016.23477 .

[12]

TAYLOR V FSPOLAOR RCONTI M, et al. Appscanner: automatic fingerprinting of smartphone apps from encrypted network traffic[C]∥Proceedings of the 2016 IEEE European Symposium on Security and Privacy. Piscataway, USA: IEEE, 2016:439-454.

[13]

FU C PLI QXU K. Detecting unknown encrypted malicious traffic in real time via flow interaction graph analysis[DB/OL]. (2023-01-31)[2025-03-19].

[14]

LIU CHE L TXIONG G, et al. Fs-net: a flow sequence network for encrypted traffic classification[C]∥Proceedings of the IEEE INFO-COM 2019-IEEE Conference on Computer Communications. Piscataway, USA: IEEE, 2019:1171-1179.

[15]

ACETO GCIUONZO DMONTIERI A, et al. MIMETIC: mobile encrypted traffic classification using multimodal deep learning[J]. Computer Networks2019,165:No.106944.

[16]

WANG XCHEN SSU J. App-net: a hybrid neural network for encrypted mobile traffic classification[C]∥Proceedings of the IEEE INFOCOM 2020-IEEE Conference on Computer Communications Workshops. Piscataway, USA: IEEE, 2020:424-429.

[17]

LIU B QCHEN XYUAN Q J, et al. TMC-GCN: encrypted traffic mapping classification method based on graph convolutional networks[J]. Computers, Materials & Continua, 202582(2):3179-3201.

[18]

DRAPER-GIL GLASHKARI A HMAMUN M S I, et al. Characterization of encrypted and VPN traffic using time-related features[C]∥Proceedings of the 2nd International Conference on Information Systems Security and Privacy. Setúbal, Portugal: SciTePress, 2016:407-414.

[19]

LASHKARI A HDRAPER-GIL GMAMUN M S I, et al. Characterization of tor traffic using time based features[C]∥Proceedings of the 2nd International Conference on Information Systems Security and Privacy. Setúbal, Portugal: SciTePress, 20172:253-262.

[20]

SIRINAM PIMANI MJUAREZ M, et al. Deep fingerprinting: undermining website fingerprinting defenses with deep learning[C]∥Proceedings of the 2018 ACM SIGSAC Conference on Computer and Communications Security. New York, USA: ACM, 2018:1928-1943.

[21]

SHAPIRA TSHAVITT Y. FlowPic: a generic representation for encrypted traffic classification and applications identification[J]. IEEE Transactions on Network and Service Management202118(2):1218-1232.

基金资助

国家重点研发计划(2023YFA1009500)

AI Summary AI Mindmap
PDF (2668KB)

437

访问

0

被引

详细

导航
相关文章

AI思维导图

/