一种基于动态融合局部异常因子的时序数据快速清洗方法

A fast cleaning method of temporal data based on dynamic fusion of local abnormal factors

摘要

针对现有数据清洗方法存在清洗不彻底、效率较低的问题,提出一种基于动态融合局部异常因子的时序数据快速清洗方法。设置多个不同的k值分别计算各数据点的局部异常因子,通过归一化处理消除量纲影响,并结合比值加权计算得到综合局部异常因子,采用动态融合策略对数据点异常程度进行综合评估,实现异常数据的精准识别。利用布谷鸟算法对K-means聚类算法的初始聚类中心进行优化,避免传统K-means易陷入局部最优的问题。将异常数据删除后形成缺失数据集,利用优化后的K-means算法对数据进行聚类,找出包含缺失位置的簇,计算该簇内数据的均值作为原始真实值的估算,并以此替代异常数据,完成数据修复与清洗任务。测试结果表明,该方法清洗全面指数更高、清洗数据均方误差更小、清洗时间开销更少,表明该方法能够快速、全面、准确地完成时序数据中的异常数据清洗任务。

Abstract

A research method for rapid cleaning of time-series data based on dynamic fusion of local abnormal factors is proposed to address the problems of incomplete cleaning and low efficiency in existing data cleaning methods. Set multiple different k values to calculate the local anomaly factors of each data point, eliminate the influence of dimensionality through normalization, and combine ratio weighting to calculate the comprehensive local anomaly factors. Use dynamic fusion strategy to comprehensively evaluate the degree of anomaly of data points and achieve accurate identification of anomalous data. Optimize the initial cluster centers of K-means clustering algorithm using cuckoo algorithm to avoid the problem of traditional K-means falling into local optima. After deleting abnormal data, a missing dataset is formed. The optimized K-means algorithm is used to cluster the data, identify clusters containing missing positions, calculate the mean of the data within the cluster as an estimate of the original true value, and use it as a substitute for abnormal data to complete data repair and cleaning tasks. The test results show that this method has a higher comprehensive cleaning index, smaller mean square error in cleaning data, and less cleaning time cost, indicating that the proposed method can quickly, comprehensively, and accurately complete the task of cleaning abnormal data in time-series data.

关键词

动态融合局部异常因子 / 时序数据 / 改进K-means 聚类算法 / 快速清洗方法 / 异常检测 / 参数优化

Key words

dynamic fusion local anomaly factor / time series data / improved K-means clustering algorithm / quick cleaning method / abnormal detection / parameter optimization

[1] 陈高超, 曾学文, 付名江, 等. 基于条件深度卷积生成对抗的汽轮机数据清洗[J]. 自动化技术与应用, 2025, 44(11):17-21+69.
[2] 刘宇璐, 张雅洁, 王罗, 等. 基于分段图像识别的风电场异常运行数据清洗方法[J]. 可再生能源, 2023, 41(4):500-506.
[3] 李阳, 沈小军, 张扬帆, 等. 基于速度-关联约束的风电机组风速感知异常数据识别方法[J]. 电工技术学报, 2023, 38(7):1793-1807.
[4] 梅玉杰, 李勇, 周王峰, 等. 基于机器学习的配电网异常缺失数据动态清洗方法[J]. 电力系统保护与控制, 2023, 51(7):158-169.
[5] 李琳, 董博, 郑玉巧. 大型风力机异常功率数据清洗方法[J]. 兰州理工大学学报, 2022, 48(3):65-70.
[6] Ding X, Wang H, Li G, et al. IoT data cleaning techniques: A survey[J]. Intelligent and Converged Networks, 2022, 3(4):325-339.
[7] 匡俊搴, 赵畅, 杨柳, 等. 一种基于深度学习的异常数据清洗算法[J]. 电子与信息学报, 2022, 44(2):507-513.
[8] 唐艺灵. 改进型加权实时融合算法在提高遥测数据质量中的应用[J]. 探测与控制学报, 2022, 44(4):81-86.
[9] 黄光球, 赵羲轩, 陆秋琴. 基于KPCA-IF-WRF模型的多源VOCs数据清洗方法研究[J]. 安全与环境学报, 2022, 22(6):3412-3423.
[10] 武晓冬, 王麟斌, 牛天聪, 等. 基于数据清洗及LSTM神经网络的CVT故障诊断[J]. 自动化技术与应用, 2025, 44(12):173-176.
[11] 汪海宁, 陈昱明, 樊涛, 等. 光伏系统采集数据在线清洗与修复方法研究[J]. 太阳能学报, 2022, 43(6):57-65.
[12] 郭蕊, 李奕霏, 高育栋. 基于人工智能技术的电力信息运维数据整合平台[J]. 自动化技术与应用, 2025, 44(06):76-79.
[13] 杨军, 刘洋, 杨玉奇. K-means聚类算法在网络安全检测中的应用研究[J]. 信息与电脑, 2023, 35(10):209-211.
[14] 金兰, 陈荆亮. 一种用于异常数据流挖掘的改进Apriori算法研究[J]. 计算机仿真, 2025, 42(1):480-484.
[15] 匡伟祥. 基于数据挖掘技术的拖拉机发动机故障诊断[J]. 农机化研究, 2025, 47(2): 244-248.
[16] 张明泽, 栾文鹏, 艾欣, 等. 基于边缘计算的台区短期负荷预测方法[J]. 电测与仪表, 2024, 61(4): 93-99.
[17] 马晓琴, 薛峪峰, 杨媛. 考虑时序数据缺失的配电网线损率动态预测方法[J]. 电子设计工程, 2023, 31(17):132-136.

基金资助

国网河南省电力科技项目,河南公司数据管理应用体系及实施管控研究(5217Q0220005)