动态时间窗口约束下流式多层网络异常数据深度挖掘算法设计

高云 ,  周建慧 ,  郭艳萍

吉林大学学报(工学版) ›› 2026, Vol. 56 ›› Issue (7) : 2041 -2047.

PDF (841KB)
吉林大学学报(工学版) ›› 2026, Vol. 56 ›› Issue (7) : 2041 -2047. DOI: 10.13229/j.cnki.jdxbgxb.20250362
计算机科学与技术

动态时间窗口约束下流式多层网络异常数据深度挖掘算法设计

作者信息 +

Design of deep mining algorithm for anomalous data in streaming multi-layer networks under dynamic time window constraints

Author information +
文章历史 +
PDF (860K)

摘要

流式多层网络由多个动态交互的网络层(如物理层、协议层、应用层)构成,其数据存在时序跨层耦合性,而采用非滑动窗口方法会无法捕捉多层网络间数据的动态时空耦合效应,导致据挖掘中的DBI数值较高。为此,提出动态时间窗口约束下流式多层网络异常数据深度挖掘算法。利用滑动窗口将流式多层网络数据流划分成多个时间窗口,在各时间窗口内,结合局部异常因子(LOF)挖掘疑似异常数据;针对多层网络数据异常模式的跨层耦合特性,引入马尔科夫链模型,构建时间维度的状态转移概率矩阵和空间维度的交叉状态转移概率矩阵,有效捕捉异常数据的动态时空耦合效应特征,将该特征输入至C-LSTM混合模型,实现异常数据深度挖掘。实验结果显示:该算法可以利用动态时间窗口挖掘疑似异常数据,异常数据深度挖掘结果可匹配实际标签结果;在多种异常类型数据挖掘中的DBI数值低于0.2,能更精准地实现多种类别异常数据与正常数据的区分。

Abstract

A streaming multi-layer network consists of multiple dynamically interacting network layers (such as physical layer, protocol layer, and application layer), and its data exhibits temporal cross layer coupling. However, using non sliding window methods will not be able to capture the dynamic spatiotemporal coupling effect of data between multi-layer networks, resulting in high DBI values in data mining. Therefore, a deep mining algorithm for anomalous data in downstream multi-layer networks with dynamic time window constraints is proposed. Using sliding windows to divide the streaming multi-layer network data stream into multiple time windows, and within each time window, combining local anomaly factors (LOFs) to mine suspected anomalous data; In response to the cross layer coupling characteristics of abnormal patterns in multi-layer network data, a Markov chain model is introduced to construct a temporal state transition probability matrix and a spatial cross state transition probability matrix, effectively capturing the dynamic spatiotemporal coupling effect characteristics of abnormal data. This feature is input into a C-LSTM hybrid model to achieve deep mining of abnormal data. The experimental results show that the algorithm can use dynamic time windows to mine suspected abnormal data, and the deep mining results of abnormal data can match the actual label results; DBI values below 0.2 in various types of abnormal data mining can more accurately distinguish between various categories of abnormal data and normal data.

Graphical abstract

关键词

动态时间窗口 / 流式多层网络 / 异常数据 / 深度挖掘 / 马尔科夫链 / LSTM

Key words

dynamic time window / streaming multi-layer network / abnormal data / deep excavation / Markov chain / LSTM

引用本文

引用格式 ▾
高云,周建慧,郭艳萍. 动态时间窗口约束下流式多层网络异常数据深度挖掘算法设计[J]. 吉林大学学报(工学版), 2026, 56(7): 2041-2047 DOI:10.13229/j.cnki.jdxbgxb.20250362

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

流式多层网络中各个网络层之间不仅存在结构上的层次关系,还通过数据流进行动态交互。数据流在多层网络中的传输和处理过程中,会表现出时序跨层耦合性,即不同网络层之间的数据在时间和空间上存在着紧密的关联和相互影响12。在流式多层网络环境中,非滑动窗口方法通常只能处理静态或相对固定的数据集,难以适应流式数据的动态变化。由于流式多层网络中的数据是连续不断生成的,且存在时序跨层耦合性,导致在数据挖掘过程中,无法准确识别异常数据模式,进而使得数据挖掘中的数据偏差指数数值较高,即挖掘结果与实际情况存在较大偏差34。为此,如何有效地挖掘流式多层网络中的异常数据,成为了当前研究领域的热点和难点。

郑俊华等5补全了不完整或错误的数据特征,并从补全后数据流中提取关键特征,将其作为支持向量机分类器的输入,通过有效区分正常数据与异常数据,实现异常数据流挖掘。该方法会忽略数据在不同时空网络层之间的动态变化,导致无法准确捕捉数据的时空耦合效应,进而影响异常检测的准确性。康耀龙等6通过属性权值量化和信息熵技术降低网络数据流维度,利用谱聚类结合亲和矩阵距离计算,有效提取离群点特征;结合滑动窗口和距离阈值判断,精准挖掘出异常数据。该方法采用的滑动窗口技术主要目的是降低数据维度和提取离群点特征。对于流式多层网络数据的时序跨层耦合性,该方法无法全面捕捉数据在不同网络层之间的复杂关联和动态变化。徐成桂等7利用神经网络与布谷鸟算法优化特征融合,据此构建异常挖掘模型以强化流式多层网络中的异常检测能力。如果模型训练过程中未充分考虑数据在不同时间窗口和网络层之间的动态变化,会导致模型对异常数据的识别能力受限。胡天柱等8采用双层内存增强自编码器集成架构设计轻量级数据流异常检测模型,通过数据包缓存和复合统计特征计算,结合层次聚类与多自编码器独立训练,实现了对流式多层网络异常数据的有效挖掘。如果模型在训练过程中未充分考虑数据在不同网络层之间的动态关联和时序变化,会导致对异常数据的误判或漏判。

动态时间窗口技术作为一种有效的数据处理手段,能在数据流不断变化的情况下,通过设定一个可变大小的时间窗口,对窗口内的数据进行实时处理和分析,从而捕捉到数据流的局部特征和异常模式。为此,本文设计一种动态时间窗口约束下的流式多层网络异常数据深度挖掘算法,有效结合动态时间窗口与深度学习网络共同实现流式多层网络异常数据的深度挖掘,为流式多层网络在多种领域的应用提供有力的技术支持和决策依据。

1 流式多层网络异常数据挖掘算法

1.1 疑似异常数据动态时间窗口挖掘

由于流式多层网络由物理层、协议层、应用层等动态交互的网络层构成,各层数据存在紧密的时空关联,采用非滑动窗口方法会因窗口边界固定而割裂层间动态耦合效应,降低异常检测精度。为此,通过动态时间窗口挖掘疑似异常数据,可自适应对齐各层数据的时变特征,为后续深度分析提供高质量的时空一致性数据基础。

设定一动态时间滑动窗口长度为l的流式多层网络时间序列S=(x1,x2,,xm),其中m为时间序列长度。将窗口包含一段长度为l的子序列放置于流式多层网络时间序列初始端,经窗口向后滑动后10,生成新子序列。依此操作,每次都将序列的下一个点视为新的起点,最终获取长度为l、数量为m - l + 1个的时间子序列S1,S2,,Sm-l+1,其中Sj=(xj,,xj+l-1),将生成的子序列集合描述为W(S)={Sj|j=1,2,,m-l+1} 

通过计算滑动时间窗口获取的每个时间子序列中数据流的局部异常因子(LOF)值,实现疑似异常数据挖掘。对于某滑动窗口内的子序列数据流[xi,xi+1,xi+2,,xi+l],记录LOF(xi+l)数值。当LOF(xi+l)大于阈值d时,判定xi+l为疑似异常数据11。若xi+l为疑似异常数据,其位于窗口内对象数轴位置边缘。疑似异常数据的判断便可以比较其与窗口内剩余数据流均值实现,大于均值且符合条件LOF(xi+l)>d,则将其设为正疑似异常数据流;小于均值且符合条件LOF(xi+l)>d,则将其设为负疑似异常数据。相关公式如下:

Sn=x1+x2++xnn
f(xi)=1,if (xi>Sn)-1,if (xi<Sn)f(xi-1),if (xi=Sn)
PLOF(xi)=LOF(xi)×f(xi),if (LOF(xi)>d)0,if (LOF(xi)<d)

式中:Snf(xi)分别用于描述窗口内数据的均值、趋势判断函数,前者用于衡量数据平均水平12,后者确定当前点与均值的大小关系以判断趋势方向;LOF(xi+l)为局部异常因子,反映点xi的疑似异常程度;PLOF(xi)为带趋势的局部异常因子;d为异常阈值。

将动态时间窗口约束下的滑动窗口子序列作为原始时间序列;对其内末尾数据的LOF(xi+l)数值进行求解;并对满足LOF(xi+l)>d条件的数值进行趋势评估,具体流程为:

以流式多层网络时间序列S、滑动窗口长度l、异常阈值d为输入,输出疑似异常数据挖掘结果。

(1)划分流式多层网络时间序列Sm-l+1个长度为l个的子序列。

(2)计算每个子序列中数据的LOF数值。

(3)筛选大于d的LOF。

(4)计算各子序列的数据均值。

(5)对比均值与子序列最后一个数据,计算f(xi)

(6)计算PLOF(xi)值,并输出流式多层网络疑似异常数据挖掘结果。

1.2 流式多层网络数据动态时空耦合效应捕捉

由于流式多层网络其异常模式往往隐藏在跨层时空耦合关系中(如物理层丢包与应用层响应延迟的关联),单纯的疑似异常数据挖掘仅能识别单层局部异常,而无法揭示跨层传播的复合型异常。若忽略数据动态时空耦合效应,会导致异常数据与正常数据分离度不足。为此,引入马尔科夫(Markov)链在动态时间窗之间,提取挖掘到的疑似异常数据动态时空耦合效应特征(时间与空间特征),并结合C-LSTM 实现异常数据的深度挖掘。

将挖掘到的各动态时间窗内的疑似异常时间序列数据构建成Markov链的形式13,计算链上数据的状态转移概率P,实现流式多层网络跨时间窗异常数据时间特征提取,具体过程为:

(1)将疑似异常数据挖掘结果组建的一阶马尔可夫链模型描述为X={X1,X2,,Xt},覆盖流式多层网络中数据流的各类状态模式的状态空间用S={s1,s2,,sn}描述,对于任意si1,si2,,sitSt{1,2,},符合下式:

{Xt=sit|X0=si0,X1=si1,,Xt-1=si(t-1)}=P{Xt=sit|Xt-1=si(t-1)}

(2)设定si用于描述模型Xt-1时刻的异常状态,pij用于描述t时刻其转移至异常状态sj的概率,计算方式为:

pij=P(sj|si)=P(si,sj)N(si,sj)PLOF(xi)P(si)N(si)

式中:N(si)为描述数据异常状态si出现的总次数;N(si,sj)为从状态si转移到sj的次数。

(3)在状态空间S内形成状态转移概率矩阵P。若状态空间S包含n种状态,则Pn×n矩阵,表达式为:

P=p11p12p1np21p22p2npn1pn2pnn

通过该矩阵,量化表征流式多层网络中相邻时间窗间疑似异常数据流的状态转移规律,为后续结合C-LSTM实现异常数据深度挖掘提供时间维度的特征基础。

将流式多层网络中各动态时间窗内的疑似异常时间序列数据以及邻域动态时间窗内疑似异常时间序列数据分别建立Markov链,并将交叉状态转移概率定义为前者向后者的转移概率,将该概率视为流式多层网络中异常数据的空间依赖程度,据此实现流式多层网络异常数据空间特征提取。

设动态时间窗内异常数据目标节点为A,其邻域动态时间窗内节点为B,基于A、B节点状态序列建立的马尔可夫链模型分别为XA={XnA,nT}XB={XnB,nT},对应的数据异常状态空间为SASB。设置模型XAXBt-1t时刻的状态分别用siAsjB描述,那么将siA发生状态转移时sjB的交叉状态转移概率pijAB表示为:

pijAB=P(sjB|siA)=P(sjB,siA)P(siA)=N(siAsjB)N(siA)

式中:N为状态组合出现的总频次。

构成的交叉状态转移概率矩阵PAB表达式为:

PAB=paaABpabABpahABpaiABpbaABpbbABpbhABpbiABpiaABpibABpihABpiiAB

式中:pijAB0 

通过该矩阵,可有效捕获流式多层网络中多个动态时间窗口之间的空间依赖特征,为后续结合C-LSTM进行异常数据深度挖掘提供空间维度的特征支撑。

采用结合卷积神经网络(CNN)和长短期记忆网络)(LSTM)的C-LSTM模型在动态时间窗口约束下的流式多层网络中进行异常数据深度挖掘。将提取的疑似异常数据动态时空耦合效应特征,即时间特征与空间特征,以时序数据形式输入C-LSTM模型14。利用CNN的卷积层对空间特征进行二次提取,充分捕捉流式多层网络中多个动态时间窗口之间的空间关联模式;在CNN末端最大池化作用下进行显著特征筛选;将获取的时间特征作为LSTM的输入,挖掘动态时间窗口下异常数据的时序演变规律。经全连接层(FC)进行时空特征整合后,在Softmax作用下获取最终的异常数据深度挖掘结果。

模型的卷积层对输入空间特征进行二次提取。卷积层中的卷积核在输入数据上滑动,捕捉流式多层网络中动态时间窗口间复杂的空间特征。通过卷积操作,将输入的高维特征映射到低维特征空间,减少数据的冗余信息,同时增强对空间特征的描述。

最大池化层用于提取空间特征进行筛选,保留特征中最显著的信息,降低特征的维度,减少计算量。

LSTM层以获取动态时空耦合效应特征为输入,通过门控机制控制信息的流动和记忆。具体过程下:

it=σWpiPABP+Whiht-1+Wcict-1+bi
ft=σWpfPABP+Whfht-1+Wcfct-1+bf
ot=σWpoPABP+Whoht-1+Wcoct-1+bo
ct=ftct-1+itσWpcPABP+Whcht-1+bc
ht=otσ(ct)

式中:itftot分别为描述LSTM的输入、遗忘、输出门;ctht分别为描述LSTM网络单元、细胞状态;σt时刻LSTM的激活函数;Wb分别为描述权值矩阵、偏置向量、矩阵Hadamard乘积。

通过上述过程,LSTM层能有效处理时间序列数据,捕捉数据在时间维度上的长短期依赖关系,进一步深化对前面提取的时间特征的理解。

全连接层将CNN层和LSTM层输出的特征进行整合,将不同维度的特征信息进行融合,并利用Softmax函数对全连接层输出的特征进行分类计算15。Softmax函数会计算每个类别的概率H,通过比较这些概率,输出最终的分类结果。具体公式如下:

H=argmaxhtexp(dL-1Wc)

式中:dL-1Wc分别为描述FC层前一层输出的特征向量、与类别c对应权重矩阵,其中,输出结果为0表示正常数据,1表示异常数据。

通过这种方式,C-LSTM模型能根据前面提取和处理的时空特征,准确地判断流式多层网络中的数据是否为异常数据,实现对异常数据的深度挖掘。

2 实验分析

实验以某电力企业的流式多层网络为研究对象,应用本文设计的动态时间窗口约束下的异常数据挖掘算法进行该网络的异常数据深层挖掘。构建的C-LSTM模型结构见图1

流式多层网络详细参数如表1所示。

随机选取该流式多层网络的一组数据采集结果,应用本文算法对其进行动态时间窗口约束,将挖掘到的某一动态时间窗口内的疑似异常数据结果通过图2呈现。

分析图2数据可知,本文算法能通过计算数据点的局部异常因子(LOF)值,定位动态时间窗口内超过LOF异常阈值的数据点,实现在单一动态时间窗口约束下初步挖掘出网络数据在时间窗口内的疑似异常数据。

将在多个动态时间窗口的网络疑似异常数据挖掘结果进行汇总。

图3为本文算法利用动态时间窗口约束获取的疑似异常时间序列数据的挖掘结果汇总结果。其中,数据在时间窗口数量维度上的波动,展现出了流式多层网络异常数据在连续时间序列中的变化趋势。因此,本文算法能够在不同时间窗口均稳定输出疑似异常数据挖掘结果,既体现了其在多窗口持续监测场景下的稳定性,也为后续流式多层网络异常数据深度挖掘提供数据基础。

随机选取10条该网络数据的采集结果,按照上述的动态时间窗口约束方式,对网络的疑似异常数据进行挖掘,并结合马尔科夫链和C-LSTM模型从疑似数据挖掘结果中深度挖掘异常数据,将最终得到的网络异常数据深度挖掘结果呈现于表2中。

分析表2数据可知,本文算法对10条网络数据的深度挖掘结果能够与实际标签进行匹配,实验充分验证了本文算法在电力流式多层网络场景下的异常数据深度挖掘有效性,精准的数据深度挖掘结果一方面取决于动态时间约束下获取的疑似异常挖掘结果,另一方面归功于马尔科夫链与C-LSTM模型的协同作用,可以精准地从疑似异常数据中深度挖掘数据的时间与空间特征,实现对电力企业流式多层网络中电压异常、过载、设备故障等多种类型异常数据的深度挖掘。

为衡量本文算法在面向流式多层网络的异常数据深度挖掘优势,选取文献[5]提出的支持向量机分类器方法、文献[6]提出的谱聚类结合亲和矩阵距离计算方法为对比,以DBI(戴维斯-布尔丁)指数为评价标准,DBI能通过衡量3种算法挖掘异常数据正常数据之间的分离性,间接评估3种算法的异常数据深度挖掘效果。分析3种算法的异常数据深度挖掘效果,结果如图4所示。

分析图4数据可知,本文算法进行正常运行、过载、欠载、电压异常等不同类型网络异常数据挖掘的DBI数值均显著高于两种对比算法,由此证明,本文算法综合利用动态时间窗口约束、马尔科夫链时空特征提取及C-LSTM模型深度分析,能更精准地实现多种类别异常数据与正常数据的区分,充分展现了其在异常数据深度挖掘任务中的有效性与优越性。

3 结束语

本文设计动态时间窗口约束下的流式多层网络异常数据深度挖掘算法,利用动态时间滑动窗口从流式多层网络中初步挖掘出了疑似异常数据,结合时空特征提取与C-LSTM模型实现了异常数据的深层次挖掘。通过实验验证了本文算法相比现有研究具有优势,本文算法的应用可以为流式多层网络在多个领域的应用提供可靠的方法,保障网络在多个领域的安全运行。

参考文献

[1]

付建平, 赵海燕, 曹健, .面向业务过程异常检测的深度学习模型BPAD-LS[J]. 小型微型计算机系统, 2022, 43(5): 902-912.

[2]

Fu Jian-ping, Zhao Hai-yan, Cao Jian,et al. Deep learning model BPAD-LS for business process anomaly detection[J]. Journal of Chinese Computer Systems,2022,43(5): 902-912.

[3]

项秋艳, 訾玲玲, 丛鑫.改进自适应模型池的在线异常检测算法[J].电子学报, 2024, 52(7): 2503-2514.

[4]

Xiang Qiu-yan, Zi Ling-ling, Cong Xin. Improved Adaptive model pools for online anomaly detection algorithms[J]. Acta Electronica Sinica,2024,52(7): 2503-2514.

[5]

张兵, 卞利. 基于FW-PSO的大区域无线传感网络流量异常检测算法[J]. 传感技术学报, 2023, 36(7): 1116-1121.

[6]

Zhang Bing, Bian Li. Traffic anomaly detection algorithm for large area wireless sensor network based on FW-PSO[J]. Chinese Journal of Sensors and Actuators,2023, 36(7): 1116-1121.

[7]

高杨, 马贺男, 刘晓菲. 大数据流序列异常PSO-PFCM聚类检测算法仿真[J].计算机仿真, 2023, 40(11): 437-441.

[8]

Gao Yang, Ma He-nan, Liu Xiao-fei. Simulation of PSO-PFCM clustering detection algorithm for large data stream sequence anomaly[J]. Computer Simulation,2023, 40(11): 437-441.

[9]

郑俊华, 魏晋宏. 基于特征补全的无线传感器网络异常数据流检测[J]. 传感技术学报, 2024, 37(6): 1061-1066.

[10]

Zheng Jun-hua, Wei Jin-hong. Anomaly data flow detection in wireless sensor networks based on feature completion[J]. Chinese Journal of Sensors and Actuators, 2024, 37(6): 1061-1066.

[11]

康耀龙, 冯丽露, 张景安, .基于谱聚类的高维类别属性数据流离群点挖掘算法[J].吉林大学学报: 工学版, 2022, 52(6): 1422-1427.

[12]

Kang Yao-long, Feng Li-lu, Zhang Jing-an,et al. Outlier mining algorithm for high dimensional categorical data streams based on spectral clustering[J]. Journal of Jilin University(Engineering and Technology Edition),2022,52(6):1422-1427.

[13]

徐成桂, 徐广顺. 云端大数据流序列异常挖掘数学建模仿真[J]. 计算机仿真, 2022, 39(8): 514-518.

[14]

Xu Cheng-gui, Xu Guang-shun. Mathematical modeling and simulation of cloud big data stream sequence anomaly mining[J]. Computer Simulation,2022,39(8):514-518.

[15]

胡天柱, 沈玉龙, 任保全, . 基于内存增强自编码器的轻量级无人机网络异常检测模型[J]. 通信学报, 2024, 45(4): 13-26.

[16]

Hu Tian-zhu, Shen Yu-log, Ren Bao-quan,et al. Lightweight anomaly detection model for UAV networks based on memory-enhanced autoencoders[J]. Journal on Communications,2024,45(4): 13-26.

[17]

王翔. 基于滑动窗口的流式RDF数据的模式匹配方法[J].计算机工程与设计,2024, 45(5): 1458-1464.

[18]

Wang Xiang. Pattern matching for streaming RDF graph over sliding windows[J]. Computer Engineering and Design,2024,45(5):1458-1464.

[19]

单芝慧, 韩萌, 韩强. 基于滑动窗口的数据流高效用模糊项集挖掘[J].南京师大学报:自然科学版,2023, 46(1): 120-129.

[20]

Shan Zhi-hui, Han Meng, Han Qiang. High utility fuzzy itemsets mining over data stream based on sliding window model[J]. Journal of Nanjing Normal University(Natural Science Edition),2023,46(1):120-129.

[21]

张妮, 韩萌, 王乐, .基于滑动窗口的含负项高效用模式挖掘方法[J].郑州大学学报: 理学版,2022, 54(4): 55-63.

[22]

Zhang Ni, Han Meng, Wang Le,et al. Mining high utility patterns with negative utility over data stream[J]. Journal of Zhengzhou University(Natural Science Edition),2022, 54(4): 55-63.

[23]

武培成, 赵旭俊, 靳黎忠. 基于网格密度积叠的流数据异常检测[J]. 计算机工程与科学, 2025, 47(1): 75-85.

[24]

Wu Pei-cheng, Zhao Xu-jun, Jin Li-zhong. Anomaly detection of stream data based on grid density stacking [J]. Computer Engineering and Science, 2025, 47(1): 75-85.

[25]

车丽娜, 任秀丽. 基于滑动窗口和置信度的无线传感器网络异常检测算法[J]. 传感技术学报, 2023, 36(11): 1801-1807.

[26]

Che Li-na, Ren Xiu-li. Anomaly detection algorithm based on sliding windows and confidence for WSN[J]. Chinese Journal of Sensors and Actuators,2023,36(11):1801-1807.

[27]

王晓湘, 刘洞天, 刘南江, .基于LSTM的震后通信数据异常检测分析[J].中国地震, 2022, 38(2): 270-279.

[28]

Wang Xiao-xiang, Liu Dong-tian, Liu Nan-jiang,et al. LSTM-based anomaly detection and analysis of post-earthquake communication data[J]. Earthquake Research in China,2022,38(2): 270-279.

[29]

邓春华, 周勇. 基于LSTM-SVM模型的ES多变量时序异常检测[J]. 计算机仿真, 2023, 40(3): 471-475.

[30]

Deng Chun-hua, Zhou Yong. Multi-variable timing anomaly detection of embedded software based on LSTM-SVM model[J]. Computer Simulation,2023,40(3): 471-475.

基金资助

山西省哲学社会科学规划项目(2023YJ125)

山西省软科学研究计划项目(2019041023-5)

山西大同大学基础青年科研基金项目(2022Q4)

国家自然科学基金青年基金项目(11605107)

AI Summary AI Mindmap
PDF (841KB)

2

访问

0

被引

详细

导航
相关文章

AI思维导图

/