基于注意力机制的不平衡数据的非侵入式负荷分解

周求湛 ,  李新萌 ,  沈皓庆子 ,  武慧南 ,  李媛媛 ,  荣静 ,  胡春华 ,  刘萍萍

吉林大学学报(工学版) ›› 2026, Vol. 56 ›› Issue (01) : 239 -246.

PDF (918KB)
吉林大学学报(工学版) ›› 2026, Vol. 56 ›› Issue (01) : 239 -246. DOI: 10.13229/j.cnki.jdxbgxb.20240618
通信与控制工程

基于注意力机制的不平衡数据的非侵入式负荷分解

作者信息 +

Non-intrusive load decomposition of unbalanced data based on attention mechanism

Author information +
文章历史 +
PDF (940K)

摘要

智能电表低频采样非侵入式负荷分解任务中存在负荷启停事件稀疏、样本类别分布失衡的问题,少数类及边界样本匮乏易导致模型在负荷开启与过渡阶段出现漏检、误判,而现有过采样方法在合成样本数量精确控制、近邻筛选及边界界定上存在不足,随机插值策略还容易引入重复或跨类混叠样本。为解决上述问题,本文提出了结合K-means聚类与Borderline-SMOTE的改进算法(KB-SMOTE):先提取少数类边界样本并聚类分簇,再以簇心引导簇内插值生成新样本,减少冗余并增强边界可分性。模型层面,针对传统时序网络对关键瞬态与局部特征捕捉不足的问题,设计了基于卷积块注意力模块改进混合注意力机制的Bi-LSTM负荷分解模型,通过通道与空间注意力协同实现特征自适应重加权,强化负荷运行相关关键信息。UK-DALE数据集仿真实验表明:相较于DAE、Seq2point及基础Bi-LSTM等基线模型,本文方法在多项评价指标上性能更优,验证了其在不平衡负荷数据场景的有效性。

Abstract

In smart-meter based non-intrusive load disaggregation with low-frequency sampling, load switching events are sparse and the class distribution is imbalanced. The shortage of minority-class and boundary samples tends to cause missed detections and misclassifications during load ON states and transition stages. Existing oversampling methods still have limitations in precisely controlling the number of synthesized samples, selecting nearest neighbors, and defining boundary samples, and random interpolation strategies may further introduce redundant samples or cross-class mixed samples. To address these issues, this paper proposes an improved algorithm that combines K-means clustering with Borderline-SMOTE (KB-SMOTE): minority boundary samples are first extracted and clustered, and then centroid-guided within-cluster interpolation is performed to generate new samples, thereby reducing redundancy and enhancing boundary separability. At the model level, to overcome the limited capability of conventional sequence networks in capturing key transient and local features, a Bi-LSTM based load disaggregation model embedded with a convolutional block attention module is designed. By jointly leveraging channel and spatial attention, the model adaptively reweights features and strengthens key information relevant to load operating states. Experiments on the UK-DALE dataset show that, compared with baseline models including DAE, Seq2point, and the basic Bi-LSTM, the proposed method achieves better performance on multiple evaluation metrics, validating its effectiveness in imbalanced-load scenarios.

Graphical abstract

关键词

非侵入式负荷监测 / 不平衡数据 / 过采样 / 注意力机制 / K-means聚类

Key words

non-intrusive load monitoring(NILM) / imbalanced data / oversampling / attention mechanism / K-means clustering

引用本文

引用格式 ▾
周求湛,李新萌,沈皓庆子,武慧南,李媛媛,荣静,胡春华,刘萍萍. 基于注意力机制的不平衡数据的非侵入式负荷分解[J]. 吉林大学学报(工学版), 2026, 56(01): 239-246 DOI:10.13229/j.cnki.jdxbgxb.20240618

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

Hart1于20世纪80年代首次提出非侵入式负荷监测(Non-intrusive load monitoring,NILM),该技术通过在住宅供电入口总线处部署一个传感器,收集住宅总体用电信息,再通过对用电信息进行分析,确定住宅内每个负荷的使用时长与消耗功率。

随着住宅中负荷数量和种类的增加,NILM技术的研究和应用越来越受到重视。然而,由于负荷数据往往呈现出不平衡性,其中大部分信息可能集中在少数类中,这对NILM领域的研究提出了新的挑战。Chawla等2提出了少数类过采样技术(Synthetic minority oversampling technique,SMOTE),该技术旨在通过有效处理数据集以提高分类准确率,进而改善数据的不平衡分布问题。但SMOTE算法仍存在局限性:其一,仅能将合成样本数量控制在大致范围,难以实现对合成样本数量的精确调控;其二,由于缺乏可靠的近邻筛选标准,即便采用该算法处理数据集,结果仍不尽如人意。若未采取有效措施缓解上述影响,即便后续对数据集进行分类,也难以达到预期效果。为此,Han等3提出了SMOTE的改进算法Borderline-SMOTE。本文在分析SMOTE与Borderline-SMOTE局限性的基础上,为解决其弊端引入K-means聚类算法,将K-means与Borderline-SMOTE相结合,提出了KB-SMOTE算法,并在UK-DALE 数据集上展开实验对比,最终完成了算法性能分析。

当把组合优化(Combinatorial optimization,CO)4应用于负荷分解领域时,负荷分解的核心目标是使总线输出功率与各个负荷的功率总和尽量相同,其约束条件是某个完整工作循环中各负荷事件的功率和为零。而随着生活水平以及科技水平的提高,负荷的种类以及数量都在不断增加,导致组合优化的复杂性相应提高。

隐马尔可夫模型(Hidden Markov model,HMM)作为一种机器学习算法,已在语音识别5、模式识别6等领域得到广泛应用。由于其在处理离散序列问题上的优异表现,HMM及其改进模型也被研究者用于非侵入式负荷分解。2011年,Kim等7提出利用条件阶乘隐半马尔可夫模型实现无监督负荷分解;2012年,Pattem8基于 HMM 技术构建了高效、可靠且可复用的Viterbi算法,旨在实现序列解码;2013年,Zoha等9提出了因子隐马尔可夫模型(Factorial hidden Markov model,FHMM)技术,用于构建可有效实现低频负荷信号分析的模型;2018年,Wang等10结合负荷运行持续时间,对传统FHMM模型进行了大幅改进,显著提升了分解准确度。然而,该模型的主要不足在于易受局部最优解影响。为此,Kolter等11于2015年提出了加性因子隐马尔可夫模型(Additive factorial hidden Markov model,AFHMM),以更好地解决这一问题。AFHMM是一种基于加性因子HMM与后验推理算法实现数值模拟与求导的技术,能够在保证整体性能稳定的前提下,精准模拟各隐藏状态,同时可规避局部性能等问题。

2015 年,Kelly等12首次将深度学习技术引入NILM领域,为该领域的发展提供了新方向。2018 年,Zhang等13提出的Sequence-to-Point(简称“Seq2point”)深度学习模型相比传统方法有显著改进:其分解准确度不仅优于传统的 Sequence-to-Sequence(简称“Seq2seq”)技术,还优于CO与FHMM这两种传统基准算法;2019年,Wu等14提出的新型串联卷积神经网络,可显著减小由长期低效背景负荷引发的分析误差,进而大幅提升负荷分解准确度;2020 年,Gomes等15采用PB损失函数改进NILM深度学习模型,取得了优于传统均方误差损失函数的效果;2024年,De Aguiar等16在负荷分解任务中提出了一种基于散射变换的新型集成架构,该架构性能良好,尤其在单个负荷场景下有更突出的表现,同时具有内存消耗更低、GPU负载更低、计算量大幅减少的一系列优势。

当前,负荷监测研究面临的主要挑战在于缺乏带标注的数据集与高效的数据处理方法。在负荷分解任务中,负荷级别的用电数据往往呈现稀疏性与类别不平衡性;此外,许多现有负荷分解方法虽能实现分解功能,但计算复杂度较高,尤其在处理大型数据集时,模型训练与预测的时间成本显著增加。

综上所述,本文提出的KB-SMOTE算法用于处理不平衡数据集,以增加少数类样本数量;同时提出一种引入注意力机制的模型,将双向LSTM与注意力机制相结合。本文在UK-DALE数据集上开展验证实验,采用多个评价指标,对不同负荷在不同模型下的分解效果进行对比分析,验证了本文模型的有效性,其分解性能指标得到显著提升。

1 算法设计

1.1  KB-SMOTE算法

本节提出一种基于聚类的过采样方法,主要包括样本划分、K-means聚类、更新插值公式及生成新样本4个步骤。通过Borderline-SMOTE算法可从少数类样本集中提取边界样本集,对噪声样本集与安全样本集不做处理;随后利用K-means算法对边界样本集进行聚类,聚类完成后仅在边界样本簇内部生成新样本,即以簇心为核心,结合簇内其他样本点生成新样本点。

(1)样本划分

首先计算少数类样本点的k近邻,再根据k近邻的类别分布将少数类样本点划分为三类:若某少数类样本点的K近邻均为多数类,则定义为噪声点;若K近邻中半数以上为多数类且不完全为多数类,则定义为边界点;若K近邻中半数以上为少数类,则定义为安全点。其中,安全点与噪声点不做处理,仅对边界点应用后续插值公式。

(2)K-means聚类

对由所有边界样本点构成的边界样本集采用K-means聚类算法,最终得到K个簇。K-means 算法的核心思想为:先为待聚类数据集选择合适的K值,选取K个样本点作为初始簇心;随后计算数据集中每个样本点到各初始簇心的距离,将每个样本点分配至距离最近的初始簇心所属的簇中,形成初始K个簇;接着重新计算每个簇的新簇心(选择簇内所有样本点距离最近的点),重复样本分配与簇心更新步骤;持续迭代直至所有簇的簇心不再变化,聚类过程结束。

(3)更新插值公式

该算法不再以随机选择样本点作为基点,因为此举易导致新生成样本点重复,而是将簇心作为插值公式的新基点,结合簇内少数类样本点生成新样本点。KB-SMOTE算法生成新样本点的插值公式如式(1)所示:

pt=pct+rand0,1p0t-pct

式中:pct为边界样本簇内的簇心;rand0,1为在区间0,1内的任意一个随机值;p0t为边界簇内最开始的少数类样本点。

(4)生成新的样本点

以簇的簇心为核心,结合簇内少数类样本点生成新样本点。经分析,KB-SMOTE 算法优势显著:可克服传统算法中K值设定的盲目性与新样本点重复的问题;针对样本边界模糊问题,通过边界样本集中各簇独立生成新样本点,能有效改善该问题。

KB-SMOTE的算法流程如图1所示,具体步骤如下:

步骤1:计算少数类样本集中每个样本点p0tk近邻。

步骤2:统计K近邻中所包含的多数类样本的数量,记为u

步骤3:对样本点进行划分:

①若u=k,则p0t为噪声样本点;②若0u<k2,则p0t为安全样本点;③若k2u<k,则p0t为边界样本点,由所有的边界样本点构成边界样本集𝒟

步骤4:对边界样本集𝒟进行K-means聚类,聚类完成后形成K个簇。

步骤5:对每个簇应用上述插值公式计算并生成新样本点。

KB-SMOTE过采样方法生成的新样本示意图见图2。通过Borderline-SMOTE算法从少数类样本集中提取边界样本集,不处理噪声与安全样本集;再利用k-means对边界样本集聚类,最终在边界样本簇内部以簇心为核心、结合簇内其他样本点生成新样本点。

1.2 网络结构

卷积块注意力模块(Convolutional block attention module,CBAM)17由通道注意力机制18与空间注意力机制19两部分组成。混合注意力机制指将空间注意力与通道注意力结合,通过选择性关注输入特征图的不同维度信息,最大限度提升与任务相关特征的权重。作为混合注意力机制的典型实现,CBAM着重研究如何有效整合两种注意力机制,以优化模型性能,其结构细节如图3所示。

CBAM对传统卷积神经网络注意力机制的改进具有重要意义:它同时考量空间注意力与通道注意力,使模型能高效处理特征信息;通过空间与通道双重注意力补充模型对局部特征的关注度,扩大局部特征影响力,提升模型整体特征表达能力,进而优化模型性能。

CBAM模块由两个独立部分构成:通道注意力模块(Channel attention module,CAM)与空间注意力模块(Spatial attention module,SAM),二者共同实现注意力加权功能。其中,CAM通过采用多种池化方式,在计算特征图注意力权重时可获得更优结果,其激励过程通过全连接网络实现,并利用Sigmoid 函数将结果映射为权重系数;SAM以CAM的输出为输入,通过不同池化操作计算空间注意力权重。

1.3 模型结构

通过引入CBAM模块,模型结构得以优化,具体如图4所示。实际操作中,通过添加CBAM模块,利用注意力机制优化LSTM的输出结果:在CBAM的通道注意力机制中,卷积核尺寸设为7×7、数量调整为1,以此对输入特征图进行压缩并计算各通道权重;在空间注意力模块中,设置全连接网络的输出尺寸与输入尺寸一致,确保空间注意力权重与特征图尺寸匹配,从而实现加权求和操作。该方法通过对特征加权,使模型在每个时间步能更精准地捕捉信息重点,提升特征提取准确度。

图4可知,模型结构从输入层开始,接收一维序列数据;随后通过两个一维卷积层完成数据的初步特征提取;经卷积层处理后,数据流入两个双向LSTM层(Bi-LSTM模型的核心部分);接着数据通过CBAM注意力模块,进一步提升模型对关键特征的关注度;最后,模型包含两个全连接层:第一个全连接层综合前层所有特征,最终通过输出维度N=1的全连接层输出负荷分解结果。

2 数据集及数据处理

2.1 数据集

本文选取英国UK-DALE数据集作为负荷分解任务的核心数据集。UK-DALE(英国家庭负荷级别电力数据集)由英国研究者Kelly等20于2014年发布,包含每秒采集的有功功率与视在功率数据。为便于分析负荷特性,在1/6 Hz低频数据中添加了对应的时间戳信息。

图5为基于数据集中某家庭1/6 Hz各负荷功率绘制的功率曲线图。本文选取电视、洗衣机、微波炉、冰箱、热水壶5种家用负荷开展实验分析。这些负荷的功率密度较高,在家庭总能耗中占比较高。此外,图中还绘制了其他负荷的功率总和曲线。

2.2 数据处理

确定负荷分解的训练集与测试集后,需先进行数据预处理,剔除异常数据,以保证模型训练与负荷分解的准确性。数据采集过程较为复杂,传感器损坏、设备故障或其他不可预见的因素均可能导致数据异常;若使用此类异常数据训练负荷分解模型,会显著增加分解误差。因此,需先清理数据集中的异常值,具体流程如下:遍历负荷的功率值,若某功率值大于设定阈值或小于0,则同时删除该负荷及总线对应时刻的功率值;否则继续判断下一个功率值。

对比多种家用负荷功率可知,不同类型负荷的功率差异显著;且总线功耗与各负荷功耗差距较大。为提升模型性能,需对模型输入数据进行标准化处理,该操作的优势如下:

(1)通过严格控制数据范围,减小因数值差异导致的误差,保障结果准确性。

(2)数据标准化可使最优解的搜索过程更顺畅,显著提升梯度下降的收敛速度,进而提高求解的准确性与效率。

(3)数据标准化处理可大幅提升本文负荷分解模型的准确度。

本文采用了一种基于均值和标准差的方法来进行数据标准化:

p*t=pt-p¯σ

式中:p¯为数据的均值;σ为数据的标准差。

3 算法分析

3.1 实验环境配置

本文运行算法仿真实验的软硬件运行环境中,操作系统为Ubuntu 20.04.3,深度学习框架为PyTorch 1.9.0,GPU版本为NVIDIA GTX 1080Ti,编程语言为 Python 3.7,CUDA版本为 11.1 并且使用 GPU 训练。

3.2 负荷分解性能指标

为获得准确可靠的评估结果,本文采用多个代表性指标评估各模型的负荷分解效果21,具体如下:

(1)平均绝对误差(Mean absolute error,MAE):用于衡量目标负荷功率实际值与模型预测值之间绝对误差的平均值,计算公式如式(3)所示:

MAE=1Tt=1Tp^t-pt

式中:pt为负荷真实功率值;p^t为模型预测结果;T为负荷数据长度。

(2)归一化误差(Normalized absolute error,NAE):表示预测误差在信号中所占的比例,见式(4)

NAE=t=1Tp^t-ptt=1Tpt

(3)准确率(Precision):计算时所用的真阳性TP、假阳性FP表示模型预测的功率值与负荷实际的功率值对应的工作状态是否一致。当预测功率小于20 W时,认为负荷的工作状态为关闭,否则工作状态为开启,计算公式见式(5)

Precesion=TPTP+FP

(4)召回率(Recall):计算公式见式(6)

Recall=TPTP+FN

(5)F1分数(F1score):计算公式见式(7)

F1score=2×Precesion×RecallPrecesion+Recall

式中:P和N分别为实际正类样本数量和负类样本数量;TP为预测正确的正类样本数量;FP和FN分别为预测错误的正类与负类样本数量。

3.3 训练过程

本节将从以下关键步骤介绍深度学习模型的训练过程:一是参数初始化;二是损失函数确定与训练停止条件设定,具体如下:

(1)需先设定权重、学习率等参数,确保其能正确应用于模型训练。

(2)损失函数是重要的学习准则,用于衡量网络性能,且与优化目标密切相关。本文研究的负荷分解问题属于一维信号回归任务,涉及单负荷实际采集功率序列与模型预测各负荷功率序列的匹配。为衡量两者差异并优化网络性能、提升预测准确度,本文采用均方差损失函数计算二者的均方差,公式如下所示:

Loss=1Tt=1Tp^t-pt2

通过均方差损失函数,能够使模型的输出不断逼近真实的负荷功率曲线。

(3)采用Adam优化器对负荷分解模型的权重与偏置参数进行优化,以实现损失最小化。本文所构建的深度学习负荷分解模型,通过反向传播与梯度下降技术实现参数优化。Adam优化器可自动调整学习率,是深度学习领域的常用优化器。

(4)通过合理调整参数与损失函数,可构建有效的网络训练流程:根据预设训练轮次,持续迭代调整模型参数。训练过程中采用早停法调控训练进程:预设patience阈值为3个训练轮次(epoch),同时定义损失函数显著改善的最小幅度阈值;若连续3个epoch内损失函数未达到该优化幅度,则触发早停条件,模型提前终止训练。该机制的核心价值在于:若连续3个epoch内损失函数无显著改善,表明训练已无有效增益,继续训练仅会消耗时间与算力资源,而早停可精准规避此类无效消耗,同时防止模型过拟合。

通过训练负荷分解模型,可获得性能有效的模型,进而评估其分解能力,并与其他模型进行对比。

3.4 实验结果及分析

在UK-DALE数据集上,分别采用去噪自编码器(Denoising autoencoders,DAE)、基于卷积神经网络的Seq2point模型、双向长短时记忆网络(Bi-LSTM)以及本文所提的注意力机制增强 Bi-LSTM模型(简称“本文模型”)进行训练与测试,各模型的负荷分解性能指标如表1所示。

表1可知,在UK-DALE数据集实验中,本文选取电视、洗衣机、微波炉、冰箱、热水壶5种常见家用负荷作为分析对象,其中电视与热水壶为开关型负荷,洗衣机与微波炉为有限状态型负荷,冰箱为连续变化型负荷。对比结果显示,本文所提的注意力机制增强双向LSTM模型在多项指标上均优于未引入注意力机制的Bi-LSTM模型、Seq2point模型及DAE模型。

4 结束语

本文围绕不平衡数据处理与负荷分解两大核心任务展开了研究。首先,通过融合K-means聚类与Borderline-SMOTE算法,提出了KB-SMOTE算法。该算法可有效处理复杂数据集,既能够解决样本边缘模糊问题,又能克服K值选择的盲目性。然后,通过在UK-DALE数据集上的实验证实了该算法的可靠性与实用价值。鉴于深度学习技术在非侵入式负荷监测中的重要作用,本文提出了基于CBAM注意力模块的双向LSTM模型,研究结果表明:该模型的负荷分解性能优于其他对比方法。通过使用预处理后的数据,并结合多项评估指标从多维度评估模型性能,有效验证了本文算法的可行性。

参考文献

[1]

Hart G W. Nonintrusive appliance load monitoring[J]. Proceedings of the IEEE, 1992, 80(12):1870-1891.

[2]

Chawla N V, Bowyer K W, Hall L O, et al. SMOTE: synthetic minority over-sampling technique[J]. Journal of Artificial Intelligence Research, 2002, 16(1):321-357.

[3]

Han H, Wang W Y, Mao B H. Borderline-SMOTE: a new over-sampling method in imbalanced data sets learning[C]∥International Conference on Intelligent Computing, Hefei,China, 2005: 878-887.

[4]

Guo Y, Xiong X, Fu Q, et al. Research on non-intrusive load disaggregation method based on multi-model combination[J]. Electric Power Systems Research, 2021, 200: No.107472.

[5]

Gales M, Young S. The application of hidden Markov models in speech recognition[J]. Foundations and Trends in Signal Processing, 2008, 1(3): 195-304.

[6]

Upadhyay A, Sharma S K, Upadhyay S. Face identification and verification using hidden Markov model with maximum score approach[J]. Indian Journal of Science and Technology, 2017, 10(47): 671-677.

[7]

Kim H, Marwah M, Arlitt M, et al. Unsupervised disaggregation of low frequency power measurements[C]∥Proceedings of the SIAM International Conference on Data, Mining, Mesa,USA, 2011: 747-758.

[8]

Pattem S. Unsupervised disaggregation for non-intrusive load monitoring[C]∥The 11th International Conference on Machine Learning and Applications(ICMLA), Boca Raton,USA, 2012: 515-520.

[9]

Zoha A, Gluhak A, Nati M, et al. Low-power appliance monitoring using factorial hidden Markov models[C]∥IEEE 8th International Conference on Intelligent Sensors, Sensor Networks and Information Processing,Melbourne,Australia, 2013: 527-532.

[10]

Wang X N, Wang J H, Shi D, et al. A factorial hidden Markov model for energy disaggregation based on human behavior analysis[C]∥Proceedings of the IEEE Power & Energy Society General Meeting (PESGM), Portland, USA,2018: 1-5.

[11]

Kolter J Z, Jaakkola T. Approximate inference in additive factorial HMMs with application to energy disaggregation[C]∥Proceedings of the 5th International Conference on Artificial Intelligence and Statistics, La Palma,Spain, 2012: 1472-1482.

[12]

Kelly J, Knottenbelt W. Neural NILM: deep neural networks applied to energy disaggregation[C]∥Proceedings of the 2nd ACM International Conference on Embedded Systems for Energy-Efficient Built Enviroments, New York,USA, 2015: 55-64.

[13]

Zhang C, Zhong M, Wang Z, et al. Sequence-to-point learning with neural networks for non-intrusive load monitoring[C]∥The 32nd AAAI Conference on Artificial Intelligence, New Orleans, USA, 2018: 2604-2611.

[14]

Wu Q, Wang F. Concatenate convolutional neural networks for non-intrusive load monitoring across complex background[J]. Energies, 2019, 12(8): 1572-1576.

[15]

Gomes E, Pereira L. PB-NILM: pinball guided deep non-intrusive load monitoring[J]. IEEE Access, 2020, 8: 48386-48398.

[16]

De Aguiar E L, Da Silva Nolasco L, Lazzaretti A E, et al. St-nilm: a wavelet scattering-based architecture for feature extraction and multilabel classification in nilm signals[J]. IEEE Sensors Journal, 2024, 24(7): 10540-10550.

[17]

Woo S, Park J, Lee J Y, et al. CBAM: convolutional block attention module[C]∥Proceedings of the European Conference on Computer Vision (ECCV),Munich,Germany, 2018: 3-19.

[18]

Hu J, Shen L, Sun G,et al. Squeeze-and-excitation networks[C]∥IEEE/CVF Confernece on Computer Vision and Pattern Recognition,Salt Lake City, USA,2018:7132-7141.

[19]

Simonsen J, Jensen O S. Contact quality in participation: a "sensethic" perspective[C]∥Proceedings of the 14th Participatory Design Conference: Short Papers, Interactive Exhibitions, Workshops,Aarhus,Denmark, 2016: 45-48.

[20]

Kelly J, Knottenbelt W. The UK-DALE dataset, domestic appliance-level electricity demand and whole-house demand from five UK homes[J]. Scientific Data, 2015, 2(1): 1-14.

[21]

Nalmpantis C, Vrakas D. Machine learning approaches for non-intrusive load monitoring: from qualitative to quantitative comparation[J]. Artificial Intelligence Review, 2019, 52(1): 217-243.

基金资助

中央引导地方科技发展资金项目(YDZX2023075)

AI Summary AI Mindmap
PDF (918KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/