基于分类和回归树决策树的网络大数据集离群点动态检测算法

傅丽芳; 陈卓; 敖长林

doi:10.13229/j.cnki.jdxbgxb.20220434

吉林大学学报(工学版) ›› 2023, Vol. 53 ›› Issue (09) : 2620 -2625. DOI: 10.13229/j.cnki.jdxbgxb.20220434

计算机科学与技术

基于分类和回归树决策树的网络大数据集离群点动态检测算法

傅丽芳 ¹ ,
陈卓 ² ,
敖长林 ²

作者信息 +

Dynamic outlier detection algorithm for network large data set based on classification and regression trees decision tree

Author information +

文章历史 +

PDF (897K)

摘要

针对大数据集中存在海量数据，当数据规模扩大到一定程度时，离散点检测处理效率受到限制的问题，提出了一种基于分类和回归树（CART）决策树的网络大数据集离群点动态检测算法。首先，划分大数据集异常数据标准，利用方差衡量数据离散程度，使用支持向量机建立异常数据样本关联规则矩阵，明确大数据集异常数据范围，并通过动态网格划分策略降低离群点检测计算量；然后，运用CART决策树方法在分支节点采取布尔检测，将待检测数据统一拟作连续数据，升序排列训练数据集，计算数据最高信息增益，剪枝决策树直到没有非叶子节点可被替换，得到离群点动态检测结果。仿真结果证明，本文算法离群点检测准确率高、检测耗时短，具备显著的计算优势，能为大数据集的可靠应用提供积极帮助。