基于CT-GAN的半监督学习窃电检测方法研究

Research on Semi-supervised Learning Detection Method of Electricity Theft Based on CT-GAN

摘要

针对电网公司获取有标签数据成本高、难度大，而获取的无标签数据难以训练有效窃电检测模型的问题，提出了在少量有窃电标签数据场景下基于联合训练生成对抗网络（Co-training Generative Adversarial Networks， CT-GAN）的半监督窃电检测方法.首先，探究了生成对抗网络及半监督生成对抗网络的原理与结构.其次，提出了采用Wasserstein距离取代JS（Jensen-Shannon）散度和KL（Kullback-Leibler）散度距离以解决生成对抗网络因梯度消失和模式崩溃原因导致的模型训练不稳定和生成数据质量低的问题，并构建了多判别器联合训练模型，避免了单个判别器分布误差高的问题，同时增强了GAN生成标签样本数据的能力，通过扩充标签样本数据集，提升了模型检测准确度和泛化能力.最后，采用爱尔兰电网数据集验证了该方法的准确性和有效性.

Abstract

Aiming at the high cost and difficulty of obtaining labeled data for power grid companies， and the difficulty of training an effective electricity theft detection model with unlabeled data， this paper proposes a method based on CT-GAN （Co-training Generative Adversarial Networks） semi-supervised electricity theft detection method. Firstly， the principles and structures of generative adversarial networks and semi-supervised generative adversarial networks are explored. Secondly， it is proposed to replace the JS （Jensen-Shannon） divergence and KL （Kullback-Leibler） divergence distance with the Wasserstein distance to solve the problem of unstable model training and low quality of generated data caused by the gradient disappearance and mode collapse of the generative confrontation network problem， and built a multi-discriminator Co-training model to avoid the problem of high distribution error of a single discriminator. At the same time， it enhanced the ability of GAN to generate label sample data. By expanding the label sample data set， the model detection accuracy and generalization ability were improved. Finally， the accuracy and effectiveness of the method are verified using the Irish power grid dataset.

Graphical abstract

关键词

窃电检测 / 生成对抗网络 / 半监督学习 / Wasserstein距离 / 判别器

Key words

electricity theft detection / generative adversarial network / semi-supervised learning / Wasserstein distance / discriminator

窃电指以蓄意绕开电费缴纳为目的，通过非法手段来最小化用电量的行为，不仅会极大损害电网公司的经济利益、严重扰乱电力市场的正常秩序，而且危及电力设备的安全，给电能稳定供给带来巨大挑战^［1］.据国家电力部门不完全统计，我国因窃电造成的年均亏损约为两百亿元人民币^［2］.近年来，随着虚拟货币狂潮席卷世界，因“挖矿”导致的窃电现象日益猖獗，2019年安徽和江苏警方先后破获两起“比特币挖矿”窃电案件^［3-4］，累计窃电价值分别为10万元和2 000万元.而在世界范围内，2014年因偷电造成的经济损失约为893亿美元^［5］，2017年增至960亿美元^［6］.图1所示为部分窃电较为严重国家的窃电数据统计饼状图，由图1可知，发展中国家因窃电导致的经济损失远超发达国家^［7］.因此对于窃电用户准确检测，对于维护电力市场的正常运转、保障供电企业的经济利益具有重要的现实意义和社会价值.

传统窃电检测主要依赖于人工排查，该方式不仅效率低下，且难以精准定位到台区下的窃电用户^［8］.同时，物理手段仍然无法应对网络攻击等高级手段对电表实施的人为干预.因此，近年来众多研究者提出多种窃电检测方法自动识别疑似窃电用户.

检测窃电方法主要分为三类：面向网络方法、面向网络混合方法以及面向数据方法^［9-10］.面向网络方法主要由状态估计方法^［11-12］和传感器网络方法组成^［13］，通过分析电网中物理规则或利用传感器数据进行窃电检测.然而，面向网络方法因强烈依赖于电网的拓扑信息^［14］，且通常需特定的传感器，部署成本较高，难以在电网公司全面展开.

相比之下，面向数据方法仅利用与用户用电相关数据（如电量、用电类型、电压电流等），该类方法具有开发成本小、可开发程度高的优点^［15］，随着电网公司大面积全面推广高级量测体系（Advanced Metering Infrastructure， AMI） ^［16］，用电数据的利用率和分辨率得到极大提升^［17］，有力地推动了面向数据窃电检测技术的发展.

目前，基于AMI的面向数据窃电检测方法研究主要分为无监督学习方法和有监督学习方法.无监督学习方法无需标签信息，设窃电用户与正常用户的用电习惯上存在显著差异，通过密度、距离、近邻度、相似性等方法筛选出与多数用户相异的用户为疑似窃电用户^［18-19］.文献［20］提出基于模糊聚类的方法，利用高斯核函数改进局部离群因子对用户窃电行为进行检测，但检测模型存在解耦问题.文献［21］为解决模型解耦问题，提出将估计网络和高斯混合模型进行联合优化以避免模型解耦.文献［22］构建台区线损和与用电量之间的向量自回归模型，进一步提高检测的识别精度.然而，无监督学习检测模型对参数比较敏感，难以训练出最佳模型.

有监督学习方法需包含标签数据，通常比无监督学习方法具有更好的检测性能^［23］.文献［24-25］分别采用支持向量机和决策树对窃电用户进行识别，文献［26-27］为解决单分类算法难以全面学习数据的不同特征，分别采用AdaBoost和Bagging的集成学习方法进一步提高检测精度.但上述有监督学习未进行特征工程提取用电数据的时间序列特征，为此，文献［28］利用卷积神经网络提取用电负荷特征，随机森林作为分类器；文献［29］利用卷积神经网络提取用电高维特征，LSTM用于提取用电负荷间的实际关联特征.文献［30］提出了宽度和深度CNN模型，宽度部分利用线性模型强记忆能力挖掘提取特征间的相关性，深度部分从二维的用电数据中提取周期性特征，再将两部分模型进行联合训练得出最终分类结果.文献［31］提出在CNN基础上引入注意力机制，优化CNN的特征提取过程，以提高检测精度并提升效率.

在实际情况中，电网公司所面临的主要挑战是获取有标签的数据成本高、难度大，而实际采集到的数据包含大量未标记的数据难以训练有效窃电检测模型.为此，本文提出了在少量有窃电标签数据场景下基于联合训练生成对抗网络（Co-Training Generative Adversarial Networks，CT-GAN）的半监督窃电检测方法.首先探究半监督生成对抗网络的原理与结构；其次提出采用最优传输距离（Wasserstein Distance）取代JS散度（Jenson’s Shannon，JS）和KL散度（Kullback- Leibler Divergence，KL）距离，并构建多判别器联合训练模型；最后，采用爱尔兰电网数据集进行实验验证.

1 数据预处理与数据准备

1.1 数据预处理

在进行用电负荷数据采集时，由于各种因素如软硬件故障或特殊事件等，数据中可能存在错误值或缺失值，会影响用电记录的连续性，因此需对原始数据集进行预处理.本文选择3σ定律对错误值进行修复^［30］，计算式为：

f(x_i)=\left\{\begin{array}{l}\frac{x_{i-\mathrm{1}}+x_{i+\mathrm{1}}}{\mathrm{2}},\mathrm{若}{x}_i>\mathrm{3}\cdot \sigma ({\mathit{X}}_i)\mathrm{且}{x}_{i-\mathrm{1}},x_{i+\mathrm{1}}\ne \mathrm{N}\mathrm{a}\mathrm{N}\\ x_i,\mathrm{其他}\mathrm{情况}\end{array}\right.（1）

式中：x_i 表示客户一天的用电量值，σ（ X_i）表示向量X_i 的标准差，NaN表示x_i 不是一个数字符号.

此外，对于数据集中的缺失值，采用如下计算方式进行恢复：

f(x_i)=\left\{\begin{array}{l}\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}({\mathit{X}}_i),\mathrm{若}{x}_i\in \mathrm{N}\mathrm{a}\mathrm{N}\\ x_i,\mathrm{其他}\mathrm{情况}\end{array}\right.（2）

式中：mean（ X_i ）表示向量 X_i 的平均值.

电力负荷包括基荷和变动负荷，对负荷数据进行标准化处理，有利于模型训练和收敛，本文采用min-max标准化方法可去除基荷并突出变动负荷走势，同时避免数量级相差较大的影响，也有助于降低异常天气、错误数据以及季节性波动的影响，其计算式为：

x_{i,j}^k=\frac{x_{i,j}^k-x_{i\mathrm{m}\mathrm{i}\mathrm{n}}^k}{x_{i\mathrm{m}\mathrm{a}\mathrm{x}}^k-x_{i\mathrm{m}\mathrm{i}\mathrm{n}}^k}（3）

式中：x_{i\mathrm{m}\mathrm{i}\mathrm{n}}^k为第i个用户在第k天用电负荷的最小值，x_{i\mathrm{m}\mathrm{a}\mathrm{x}}^k为第i个用户在第k天用电负荷的最大值.

1.2 数据准备

本文通过为爱尔兰ISET公开数据集^［32］验证提出算法的有效性和准确性，该数据集均为正常用户数据集（即不包含窃电用户）.因此对窃电检测模型进行训练，需人为通过公式针对正常数据集进行篡改以模拟窃电行为，来构造出包含窃电用户与正常用户的数据集.表1为通过6种篡改公式针对ISET正常数据集篡改以模拟窃电行为^［33］，其中涉及随机数生成的部分，使用均匀分布的随机数.

ISET数据集中用户的用电量记录频率为每半小时记录一次，因此可以使用向量X=［x₁，x₂，…，x₄₈］来表示某用户一天内的用电量时间序列.其中，类型1表示一天内所有时刻采集的用电量乘以时不变随机因子（0.2~0.8）；类型2表示用电量乘以时变随机因子α_t；类型3表示将t₁-t₂以外的用电量置0， t₁-t₂是随机选取的一天内某个大于6 h的时间段；类型5表示将一天内所用电量篡改为平均值的形式；类型4是将类型5中的用电量平均值乘以时变随机因子α_t；类型6表示将一天内的用电量颠倒，以达到将用电量高峰转移到低电价时段的目的.如图2所示为正常日常用电量模式与六种篡改公式生成的用电曲线图.

2 基于CT-GAN的窃电检测方法

2.1 半监督生成对抗网络

Wang等学者提出了一种基于半监督学习的生成对抗网络（Semi-supervised Learning with Generative Adversarial Networks， SGAN）^［34］，该方法以GAN为基础结构搭建半监督学习模型，并利用少量的有标签样本和大量的无标签样本来训练判别器D，网络的输出结果为K+1维含类别信息的分类标签，如［Class_1，Class_2，Class_3，…，Class_K，Fake］，SGAN网络结构如图3所示.

SGAN中判别器D的训练数据包括生成器G生成的伪样本G（z）、真实有标签样本x_l和真实无标签样本x_u组成的K维样本集合，判别器的最后一层采用softmax非线性函数作为分类器.该分类器的输出是一个K+1维的向量［l₁，l₂，…，l_K+1］，该向量的前K维表示对应类别的置信概率，而第K+1维表示判定样本为“伪”的置信概率.

尽管SGAN采用基于GAN的半监督学习模型，并在某些数据集下取得较好的分类准确性，但仍存在较为严重的训练不稳定问题.主要原因是SGAN在模型训练中，如果单个判别器的分布误差明显，这意味着判别器的预测与实际样本类别之间存在明显的差异，即判别器无法准确地预测样本所属的类别概率分布，会出现梯度消失现象，进而导致判别器网络不收敛.为解决半监督生成对抗网络训练不稳定的弊端，同时进一步提高窃电行为检测分类的准确性，本文提出一种基于联合训练生成对抗网络（CT-GAN）的半监督窃电检测方法，该方法采用如图4所示的网络结构.

由图4可知，判别器D₁和判别器D₂均加入了网络的训练之中，即进行联合训练，该网络可在有效增强网络训练的稳定性同时提高窃电检测的准确性.D₁、D₂判别器共用同一生成器G，且它们的网络结构和初始参数设置完全相同.值得注意的是，为保证CT-GAN网络在训练过程中D₁、D₂判别器处于动态平衡变化，需将真实标签数据x_l 和真实无标签数据x_u顺序随机调整再分别输入D₁、D₂判别器中.为消除前述半监督学习的生成对抗网络中单个判别器分布误差较大带来的影响，CT-GAN在训练过程中取D₁、D₂判别器损失的平均值计算其网络的损失函数，而网络的最终输出为K+1维分类结果，即［l₁，l₂，…，l_K+1］.为进一步优化网络结构，提高网络收敛速度，在图4所示的CT-GAN网络结构中，针对D₁、D₂判别器，采用相同的置信度阈值策略：若生成样本数据G（z）的置信度高于该阈值，将其视为高质量生成样本，并将其标记为“伪标签”.随后，将这些伪标签的生成样本数据重新融合到初始的真实标签数据集中，以丰富数据集的多样性和扩大其规模.这个策略旨在进一步提高生成模型的性能，确保生成的样本质量较高，同时扩展可用于训练的数据集规模.

在CT-GAN网络中，生成器G的主要作用是生成具有高度逼真性质的合成数据，以模糊判别器D对待真实数据和生成数据的能力，从而实现数据分布的伪装，增加判别器D的难度，使其难以区分输入数据的真实性，即D［G（z）］无限接近于1，判别器D每次输出的概率为1/2，而此时V（D，G）取得极小值，生成器损失函数定义为：

\mathrm{m}\mathrm{i}\mathrm{n}{E}_{z~P_z}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}log\left[\mathrm{1}-D_j(G(z))\right]\right)（4）

式中：G（z）是生成器生成的数据，其目的是使得这些数据在统计上尽量与真实数据分布相符合；D（·）是判别器判断给定输入样本数据来自真实分布的概率［0≤D（·）≤1］，当D（x）越接近1时，D［G（z）］越接近0，此时V（D，G）取得极大值.

对于模型的生成器损失函数，本节采用特征匹配的方法对其损失进行约束，以使生成器生成的数据分布尽可能逼近真实数据分布，其特征匹配的损失定义为：

{‖E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j(x)-E_{z~P_z}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j\left[G(z)\right]‖}_{\mathrm{2}}^{\mathrm{2}}（5）

式中：f_j （·）代表判别器D_j 在其神经网络中，接近全连接层的一层输出的特征值.结合公式（4）和公式（5）可得出CT-GAN生成器G的总损失为：

\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_G=\mathrm{m}\mathrm{i}\mathrm{n}{E}_{z~P_z}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}log\left\{\mathrm{1}-D_j\left[G(z)\right]\right\}\right)+

{‖E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j(x)-E_{z~P_z}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j\left[G(z)\right]‖}_{\mathrm{2}}^{\mathrm{2}}（6）

本文判别器的损失值由有监督损失和无监督损失两部分组成，旨在综合考虑有监督学习和无监督学习的优势，以更好地优化判别器的性能.首先介绍有监督损失函数，该方式需将包含标签信息的数据作为输入，采用交叉熵（Cross Entropy， CE）作为损失函数的定义：

\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{s}\mathrm{u}\mathrm{p}D}=

E_{x,y~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x,y)}{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i\mathrm{l}\mathrm{o}\mathrm{g}{D}_j(x_i)+(\mathrm{1}-y_i)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j(x_i)\right]\right\}（7）

式中：y_i 为输入样本的第i维标签；D_j （x_i ）为判别器D_j 将输入样本标签判别为第i维的概率.

CT-GAN模型需将D₁、D₂判别器联合训练的情况考虑其中以计算无监督损失，故其函数表达式如式（8）所示：

\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{s}\mathrm{u}\mathrm{p}D}=E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}\left\{\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-P_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}\left[y\left|\left(x,y\right)\right.\right]\right)\right\}+

E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i^{\text{'}}\mathrm{l}\mathrm{o}\mathrm{g}{D}_j\left(x_i\right)+\left(\mathrm{1}-y_i^{\text{'}}\right)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j\left(x_i\right)\right]\right\}+

E_{z~P_z}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\mathrm{l}\mathrm{o}\mathrm{g}\left\{\mathrm{1}-D_j\left[G(z)\right]\right\}\right)（8）

式中：y_i'为判别器前一次迭代中无标签样本第i类别预测置信度；D_j （x_i ）为判别器D_j 预测有标签样本的标签为第i类别的置信度.

联立公式（7）和公式（8）可得，CT-GAN判别器D的总损失函数表达式如式（9）所示：

max\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_D=max\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{s}\mathrm{u}\mathrm{p}D}+max\mathrm{L}\mathrm{o}\mathrm{s}{\mathrm{s}}_{\mathrm{u}\mathrm{n}\mathrm{s}\mathrm{u}\mathrm{p}D}=

E_{x,y~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x,y)}+{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i\mathrm{l}\mathrm{o}\mathrm{g}{D}_j\left(x_i\right)+\left(\mathrm{1}-y_i\right)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j\left(x_i\right)\right]\right\}+

E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i^{\text{'}}\mathrm{l}\mathrm{o}\mathrm{g}{D}_j\left(x_i\right)+\left(\mathrm{1}-y_i^{\text{'}}\right)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j\left(x_i\right)\right]\right\}+

E_{z~P_z}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\mathrm{l}\mathrm{o}\mathrm{g}\left\{\mathrm{1}-D_j\left[G(z)\right]\right\}\right)（9）

为计算CT-GAN整体总损失函数，可将生成其总损失即式（6）和判别器总损失即式（9）联立，其表达式为：

\underset{G}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{D}{\mathrm{m}\mathrm{a}\mathrm{x}}V\left(D,G\right)=E_{x,y~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x,y)}+

{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i\mathrm{l}\mathrm{o}\mathrm{g}{D}_j\left(x_i\right)+\left(\mathrm{1}-y_i\right)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j\left(x_i\right)\right]\right\}+

E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{i=\mathrm{1}}^K}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\left\{y_i^{\text{'}}\mathrm{l}\mathrm{o}\mathrm{g}{D}_j\left(x_i\right)+\left(\mathrm{1}-y_i^{\text{'}}\right)\mathrm{l}\mathrm{o}\mathrm{g}\left[\mathrm{1}-D_j\left(x_i\right)\right]\right\}+

E_{z~P_z}\left({\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}\mathrm{l}\mathrm{o}\mathrm{g}\left\{\mathrm{1}-D_j\left[G(z)\right]\right\}\right)

{‖E_{x~P_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(x)}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j(x)-E_{z~P_z}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}}}{f}_j\left[G(z)\right]‖}_{\mathrm{2}}^{\mathrm{2}}（10）

2.2 半监督生成对抗网络窃电检测模型

CT-GAN模型不仅可解决半监督生成对抗网络训练不稳定的弊端，同时能利用GAN生成标签样本数据的能力，对于电网公司实际存在的获取标签数据难以及获取成本极高的难题提出一种有效的解决方式.而CT-GAN模型能否有效实现的关键是其网络联合训练（Co-training）的合理性.对于判别器D，其主要目的是判断输入数据的真伪性而无需判别其类别属性；对于生成器G生成的伪数据，对其赋予“伪标签”的伪数据已重新作为扩充数据添加到初始真实标签数据集中，因此，在CT-GAN模型中判别器D₁、D₂无需考虑伪数据的输入，只需考虑标签数据及无标签数据的输入.

CT-GAN模型的联合训练示意图如图5所示.为保证CT-GAN网络在训练过程中D₁、D₂判别器处于动态平衡，在进行联合训练前，首先对真实标签数据 x_l和真实无标签数据x_u进行随机顺序调整，然后将它们分别输入判别器D₁和D₂中.

在联合训练网络中，判别器D₁的训练过程包括三个关键操作，如下所示：

1）使用标签样本L₁来训练判别器D₁，以获取L₁分类属性，再根据公式（7）计算判别器的监督损失来训练判别器D₁.

2）通过判别器D₁对无标签样本数据U₁进行分类预测.再使用最近一次迭代获得的U₁分类标签与当前U₁的预测标签一同用于计算公式（8）所示的无监督损失，以便进一步优化U₁的标签属性.

3）在判别器D₁的设置中，引入标签样本数据L₂的扩展.这一扩展包括在D₁侧引入一个置信度阈值，用于评估无标签样本数据U₁的分类预测结果，若其大于设置的置信度阈值，即将该数据贴上“伪标签”并将其放置于对应的标签样本数据L₂中继续用于训练，进而可有效地扩展训练数据集，加快网络收敛速度.

判别器D₂的训练过程与D₁基本相似，如果判别器预测某个样本属于某个类别的概率高于其他所有类别的概率之和，则将此样本分配给该类别标签.若P_max为无标签样本的预测类别的概率，则

P_{\mathrm{m}\mathrm{a}\mathrm{x}}\ge {\displaystyle \sum _{i=\mathrm{1}}^K}{P}_i-P_{\mathrm{m}\mathrm{a}\mathrm{x}}（11）

式中：P_i 为某分类类别的概率，K为类别数.由此可得，置信度阈值设置为0.5最为合理.

在CT-GAN模型中，通过D₁、D₂判别器的网络联合训练能消除生成对抗网络中单个判别器分布误差大的缺陷，进而解决半监督生成对抗网络训练不稳定的弊端.同时利用GAN生成标签样本数据的优势，同样可利用无标签数据在训练过程中对于有标签数据集的扩充，以此在丰富标签数据集后，对网络收敛起到有效的加速作用.

对于CT-GAN网络结构而言，设计合理、高效的生成器网络和判别器网络结构对数据生成质量、数据分类预测结果起到至关重要的作用.本文选用生成数据质量好、网络收敛速度快的U-net全卷积神经网络结构作为生成器网络，如图6所示为U-net结构示意图.

该结构由8个残差块组成，可分为编码（Encoder）和解码（Decoder）两部分.编码部分主要由4次下采样和卷积操作组成；解码部分主要由4次上采样和卷积操作组成.上采样和下采样过程的具体模型参数设置如表2所示.

首先，U-net网络结构的输入尺寸为1×48×48的用电数据矩阵，该数据经过4个残差块的操作后网络输出为一系列尺寸为3×3的特征矩阵，其中残差块1的下采样操作包括1次卷积（Convolution， 简称Conv）操作和1次LeakyReLU操作；残差块2和残差块3的下采样操作分别包括1次卷积操作、1次批归一化操作和1次LeakyReLU操作；残差块4的下采样操作包括1次卷积操作和1次ReLU操作.

其次，经过上述4个残差块的下采样操作后，对获得的特征矩阵采用上采样操作以实现特征融合，其中在上采样过程中，U-net网络结构在残差块6、7和8的上采样操作前选用3次跳层连接操作，而跳层连接操作指的是：将下采样过程中产生的特征数据与此次上采样输入相同尺寸的特征数据根据通道拼接组成新的特征数据，再对其执行反卷积操作，跳层连接操作可有效地将高维输入数据的特征更快地融合至输出数据里.其中残差块5、6及7的上采样操作包括1次反卷积（简称ConvTrans）操作、1次批归一化操作和1次ReLU操作.残差块8的上采样操作包括1次反卷积操作及Tanh激活函数操作.经过上述上采样操作，U-net网络输出与输入相同尺寸的生成矩阵，即1×48×48的生成用电数据矩阵.

CT-GAN结构的判别器网络选用如图7所示的神经网络结构.将输入为1×48×48的数据进行残差块1的操作，包括1次3×3卷积核的卷积操作（Conv1）、 1次LeakyReLU激活函数操作及1次Dropout操作（在神经网络中添加Dropout操作，其目的是在每次训练前随机丢掉一些网络连接，以防止模型过拟合，增加模型的泛化能力）；分别进行残差块2、3、4的操作，分别包括1次3×3卷积核的卷积操作（Conv1）、1次LeakyReLU激活函数操作、1次Dropout操作及1次批归一化（BatchNorm）操作.

最后，将残差块4得到的128×3×3的数据进行ReShape操作，其中通过第1个全连接层（Full connected1）128×3×3卷积核的卷积操作得到1×128的数据；通过第2个全连接层（Full connected2）128×3×3卷积核的卷积操作得到1×128的数据；进一步，将利用两个全连接层提取的特征数据分别通过 Softmax 操作和 Sigmoid 操作进行处理，从而得到分类结果和真伪判别结果.具体而言，判别器网络结构参数已在表3中列出.

3 实验验证与分析

为验证本文所提出的算法的有效性和准确性，选用一台配置为64位、6核心、十二线程的Intel Core i7-8750H CPU@2.20 GHz的计算平台作为实验平台，并采用了深度学习框架 PyTorch 作为实验的基础工具，实验数据为前述的爱尔兰ISET公开数据集.窃电行为检测可视为二元分类任务，算法对用户进行分类识别后，还需要进行准确性评估以验证检测方法的有效性.通常采用如表4所示的混淆矩阵作为依据.

根据表4的混淆矩阵可得准确率（Accuracy， ACC）=（TP+TN）/（TP+TN+FP+FN）和检出率TPR=TP/（TP+FN）及FPR=FP/（TN+FP）.误检率FPR描述正常用户被误判为窃电用户占所有正常用户的比例；TPR描述检测出真实窃电用户占总窃电用户的比例.F1值为TPR和FPR的加权平均，表示为F1=2TP/（2TP+FN+FP）.受试者操作特性（Receiver Operating Characteristic， ROC）曲线分别以FPR和TPR为横轴和纵轴，显示检测器TPR和FPR增长速率的相对关系.AUC（Area Under ROC Curve）为ROC曲线下的面积值，其以数值定量评估检测器性能，AUC数值越高，检测器有越大的概率将窃电用户准确识别同时有越小的概率将正常用户误判为窃电.

本次实验中选择该数据集中从2009年至2010年共528天以半小时为采样间隔5 000个电力用户的用电量数据组成所需的数据集，将每个数据分为11个48天的样本（每一天有48个半小时采样点），即得到11×5 000=55 000个正常样本.本实验将数据集以6∶2∶2的比例拆分为训练集、验证集和测试集，考虑到电网实际情况下窃电用户的比例占总用户比例较小，从数据集中随机选择5%的比例，通过前述篡改公式针对ISET正常数据集篡改以模拟窃电行为.

半监督学习方法为利用少量标签数据训练初始学习器，再对未知类别数据进行检验分类，因此需对数据集进行相应预处理，本次实验中，按照一定的比例删除部分标签数据的标签信息，以此构成一定的无标签数据.针对预处理好的数据集，分别选用含标签比例为0.25%、2.5%、6.25%、12.5%、25%和50%分别进行实验，以研究含不同标签数据比例的数据集在本文所提出的CT-GAN窃电检测方法检测性能.如图8所示为含标签比例为0.25%、2.5%、6.25%、12.5%、25%和50%时CT-GAN窃电检测模型生成器损失变化曲线图.

从图8可知，随着标签数据比例的不断增加，生成器模型的损失趋于稳定所需的迭代次数也不断增加，当含标签比例为0.25%时，损失趋于稳定所需的迭代次数最少，而当含标签比例为50%时，损失趋于稳定所需的迭代次数最多.对于含标签比例的数据，CT-GAN窃电检测模型的损失值随着迭代次数的增加逐渐减少，并收敛至相对较低的水平.

如图9所示为含标签比例为0.25%、2.5%、6.25%、12.5%、25%和50%时CT-GAN窃电检测模型判别器损失变化曲线图，随着标签数据比例从0.25%增加至50%时，判别器模型的损失趋于稳定所需的迭代次数不断增加，当含标签比例为0.25%时，损失趋于稳定所需的迭代次数最少，这是由于标签数据的数量越少，整个数据集所包含的有效信息量越少，进而判别器可有效学习的信息相应减少，从而使得模型的收敛速度加快.

为进一步验证本文所提出方法的准确性和有效性，对通过上述预处理后的数据集进行验证，其中对比了现存6种检测效果较好的半监督学习方法，包括自训练（Self-Training， ST）^［35］、协同训练（Co-Training， CT）^［36］、基于图的方法（Graph-Based Methods， GBM）^［37］、生成式模型（Generative Models， GM）^［38］、半监督支持向量机（S3VM）^［39］和半监督生成对抗网络（SGAN）^［34］.如表5所示在设置60%数据为训练数据集，余下40%数据为验证数据集，且进行20次重复试验下，在不同的标签比例数据样本的各半监督学习方法分类的平均精度，即ACC值.

从表5的分类平均精度结果可知，本文提出的CT-GAN窃电检测模型的分类准确性在不同的标签比例数据下，相比于其他方法更高；随着样本数据数量不断增加，该方法的分类精度均有不同程度的提升，如在标签数据比例仅为0.25%时，CT-GAN窃电检测模型的分类精度值可达56.87%，相比于半监督生成对抗网络提升了17.91%，提升效果明显.从以上的分类结果可以分析出，CT-GAN窃电检测模型可有效提升当标签数据偏少的情况下模型的检测精度和分类准确性，相当程度上解决了传统生成对抗网络在小样本情况下的模型过拟合问题的弊端.

为更有效地评估模型的训练和分类效果，采用AUC值作为重要的参考依据.本文利用标签数据比例为50%的数据进行比较试验，设置60%数据为训练数据集，余下40%数据为验证数据集，如图10所示为各个方法的ROC曲线.

如图10所示，本文提出的基于CT-GAN窃电行为检测方法AUC值高达93.3%，均优于其他方法.本文利用Wasserstein距离解决传统生成对抗网络梯度消失和模式崩溃的问题，提升了模型的训练稳定性，提高了生成数据的质量；而采用的基于半监督学习理论的联合训练网络，通过两个判别器联合训练，不仅解决了半监督生成对抗网络训练不稳定的弊端，同时通过增强GAN生成标签样本方面的能力达到高效扩充标签样本数据集的目的，从而成功提升了半监督分类任务的精确度，并有效增强了模型的泛化性能.因此，本文提出方法相比于现有的几种半监督机器学习方法，在模型训练效率和窃电行为识别准确率方面均表现出显著的优势.

本文通过实验比较不同训练数据比例下模型的性能表现，如表6和图11（a）所示，当使用的训练样本比例降低时，本文所提出模型的性能略有下降，而当训练样本的比例高于40%时，模型的性能几乎保持不变，且在比例为80%时性能较好，该模型的其他评估指标显示出类似趋势.结果表明，当达到一定数量的训练样本，即原始数据集的40%时，模型性能已能达到最佳值.

为分析不平衡程度对模型性能的影响，本文设置不平衡度（窃电数据比例）分别为5%、10%、15%、20%和25%.实验结果如表7所示，ACC和AUC的可视化结果如图11（b）所示，可看出，当窃电样本比例在5%以上时，尽管样本不平衡程度增加，但AUC值基本不变；当比例从25%降至5%时，FPR、TPR及F1均下降约2%，而ACC略有上升，但各指标变化较小.综上所述，随着窃电比例降低，模型的整体性能变化较小，因此，模型具有较好的鲁棒性.

4 结 论

本文提出一种基于联合训练生成对抗网络CT-GAN的半监督窃电检测方法，主要适用于解决电网公司难以获取疑似窃电用户标签数据的现实困难.本文首先介绍了生成对抗网络及半监督生成对抗网络的原理和结构，并阐述它们存在的缺陷；其次针对上述问题，提出采用Wasserstein距离取代JS散度和KL散度以解决生成对抗网络因梯度消失和模式崩溃导致的模型训练不稳定和生成数据质量低的问题，随后提出利用两个判别器联合训练，消除单个判别器分布误差高的问题，提高了半监督生成对抗网络训练的稳定性，达到高效扩充训练数据集的目的，从而提高了模型的窃电检测精度和泛化能力.最后通过不同标签比例数据样本对各半监督学习方法进行比较分析，进一步验证了本文所提CT-GAN半监督窃电检测方法的有效性和准确性，为电网公司提供准确有效的检测手段，以发现当前智能电网中的异常用电行为并稽查潜在的窃电用户，旨在降低企业运营成本，同时保证电网的可靠安全运行，为此提供了重要的技术支持.

参考文献

[1] 卿柏元，陈珏羽，李金瑾，等 ．基于CNN-LG模型的窃电行为检测方法研究［J］．湖南大学学报（自然科学版），2022，49（8）：138-148．

[2] QING B Y， CHEN J Y， LI J J，et al ．Research on detection method of electricity theft behavior based on CNN-LG model［J］．Journal of Hunan University （Natural Sciences），2022，49（8）：138-148．（in Chinese）

[3] 金晟，苏盛，薛阳，等 ．数据驱动窃电检测方法综述与低误报率研究展望［J］．电力系统自动化，2022，46（1）：3-14．

[4] JIN S， SU S， XUE Y，et al ．Review on data-driven based electricity theft detection method and research prospect for low false positive rate［J］．Automation of Electric Power Systems，2022，46（1）：3-14．（in Chinese）

[5] 新华社. 江苏破获特大盗电“挖”比特币案件案值近2000万元. https：//www.163.com/tech/article/EJSLMB6B00097U7R.html.2019-07-12.

[6] Xinhua News Agency. Jiangsu cracked a big stolen “digging” Bitcoin case in the case value of nearly 20 million yuan［EB/OL］. in Chinese）.

[7] 李伟，谭冯忍 ．一起“比特币挖矿机” 窃电案的启示［J］．农村电工，2020，28（6）：18．

[8] LI W， TAN F R ．Enlightenment from a case of “Bitcoin digger” stealing electricity［J］．Rural Electician，2020，28（6）：18．（in Chinese）

[9] JINDAL A，DUA A， KAUR K，et al ．Decision tree and SVM-based data analytics for theft detection in smart grid［J］．IEEE Transactions on Industrial Informatics，2016，12（3）：1005-1016．

[10] CHAUHAN A A ．Non-technical losses in power system and monitoring of electricity theft over low-tension poles［C］//2015 Second International Conference on Advances in Computing and Communication Engineering．Dehradun，India． IEEE，2015：280-284．

[11] GAO Y P， FOGGO B， YU N.A physically inspired data-driven model for electricity theft detection with smart meter data［J］.IEEE Transactions on Industrial Informatics， 2019， 15（9）： 5076-5088.

[12] HUANG S C， LO Y L， LU C N ．Non-technical loss detection using state estimation and analysis of variance［J］．IEEE Transactions on Power Systems，2013，28（3）：2959-2966．

[13] MESSINIS G M， HATZIARGYRIOU N D ．Review of non-technical loss detection methods［J］．Electric Power Systems Research，2018，158：250-266．

[14] 王方雨，刘文颖，陈鑫鑫，等 ．基于“秩和” 近似相等特性的同期线损异常数据辨识方法［J］．电工技术学报，2020，35（22）：4771-4783．

[15] WANG F Y， LIU W Y， CHEN X X，et al ．Abnormal data identification of synchronous line loss based on the approximate equality of rank sum［J］．Transactions of China Electrotechnical Society，2020，35（22）：4771-4783．（in Chinese）

[16] SALINAS S A， LI P ．Privacy-preserving energy theft detection in microgrids：a state estimation approach［J］．IEEE Transactions on Power Systems，2016，31（2）：883-894．

[17] RAGGI L M R， TRINDADE F C L， CUNHA V C，et al ．Non-technical loss identification by using data analytics and customer smart meters［J］．IEEE Transactions on Power Delivery，2020， 35（6）：2700-2710．

[18] GUO Y H， TEN C W， JIRUTITIJAROEN P ．Online data validation for distribution operations against cybertampering［J］．IEEE Transactions on Power Systems，2014，29（2）：550-560．

[19] 陈厚合，丛前，姜涛，等 ．多能协同的配电网供电恢复策略［J］．电工技术学报，2022，37（3）：610-622．

[20] CHEN H H， CONG Q， JIANG T，et al ．Distribution systems restoration with multi-energy synergy［J］．Transactions of China Electrotechnical Society，2022，37（3）：610-622．（in Chinese）

[21] 王毅，张宁，康重庆，等 ．电力用户行为模型：基本概念与研究框架［J］．电工技术学报，2019，34（10）：2056-2068．

[22] WANG Y， ZHANG N， KANG C Q，et al ．Electrical consumer behavior model：basic concept and research framework［J］．Transactions of China Electrotechnical Society，2019，34（10）：2056-2068．（in Chinese）

[23] RAZAVI R， GHARIPOUR A， FLEURY M，et al ．A practical feature-engineering framework for electricity theft detection in smart grids［J］．Applied Energy，2019，238：481-494．

[24] 郭庆来，王博弘，田年丰，等 ．能源互联网数据交易：架构与关键技术［J］．电工技术学报，2020，35（11）：2285-2295．

[25] GUO Q L， WANG B H， TIAN N F，et al ．Data transactions in energy internet：architecture and key technologies［J］．Transactions of China Electrotechnical Society，2020，35（11）：2285-2295．（in Chinese）

[26] BISWAS P P， CAI H Y， ZHOU B，et al ．Electricity theft pinpointing through correlation analysis of master and individual meter readings［J］．IEEE Transactions on Smart Grid，2020， 11（4）：3031-3042．

[27] ZHENG K D， CHEN Q X， WANG Y，et al ．A novel combined data-driven approach for electricity theft detection［J］．IEEE Transactions on Industrial Informatics，2019，15（3）：1809-1819．

[28] 孙毅，李世豪，崔灿，等 ．基于高斯核函数改进的电力用户用电数据离群点检测方法［J］．电网技术，2018，42（5）：1595-1606．

[29] SUN Y， LI S H， CUI C，et al ．Improved outlier detection method of power consumer data based on Gaussian kernel function［J］．Power System Technology，2018，42（5）：1595-1606．（in Chinese）

[30] 刘钊瑞，高云鹏，郭建波，等 ．基于深度自编码器高斯混合模型的窃电行为检测［J］．电力系统保护与控制，2022，50（18）：92-102．

[31] LIU Z R， GAO Y P， GUO J B，et al ．Abnormal detection of electricity theft using a deep auto-encoder Gaussian mixture model［J］．Power System Protection and Control，2022，50（18）：92-102．（in Chinese）

[32] 殷涛，薛阳，杨艺宁，等 ．基于向量自回归模型的高损线路窃电检测［J］．中国电机工程学报，2022，42（3）：1015-1023．

[33] YIN T， XUE Y， YANG Y N，et al ．Electricity theft detection of high-loss line with vector autoregression［J］．Proceedings of the CSEE，2022，42（3）：1015-1023．（in Chinese）

[34] XIA X F， XIAO Y， LIANG W，et al ．Detection methods in smart meters for electricity thefts：a survey［J］. Proceedings of the IEEE，2022， 110（2）： 273-319．

[35] PEREIRA D R， PAZOTI M A， PEREIRA L A M，et al ．Social-spider optimization-based support vector machines applied for energy theft detection［J］．Computers & Electrical Engineering，2016，49：25-38．

[36] JINDAL A，DUA A， KAUR K，et al ．Decision tree and SVM-based data analytics for theft detection in smart grid［J］．IEEE Transactions on Industrial Informatics，2016，12（3）：1005-1016．

[37] 游文霞，申坤，杨楠，等 ．基于AdaBoost集成学习的窃电检测研究［J］．电力系统保护与控制，2020，48（19）：151-159．

[38] YOU W X， SHEN K， YANG N，et al ．Research on electricity theft detection based on AdaBoost ensemble learning［J］．Power System Protection and Control，2020，48（19）：151-159．（in Chinese）

[39] 游文霞，申坤，杨楠，等 ．基于Bagging异质集成学习的窃电检测［J］．电力系统自动化，2021，45（2）：105-113．

[40] YOU W X， SHEN K， YANG N，et al ．Electricity theft detection based on Bagging heterogeneous ensemble learning［J］．Automation of Electric Power Systems，2021，45（2）：105-113．（in Chinese）

[41] LI S， HAN Y H， YAO X，et al ．Electricity theft detection in power grids with deep learning and random forests［J］．Journal of Electrical and Computer Engineering，2019，2019：4136874．

[42] BUZAU M M， TEJEDOR-AGUILERA J， CRUZ-ROMERO P， et al ．Hybrid deep neural networks for detection of non-technical losses in electricity smart meters［J］．IEEE Transactions on Power Systems，2020，35（2）：1254-1263．

[43] ZHENG Z B， YANG Y T， NIU X D，et al ．Wide and deep convolutional neural networks for electricity-theft detection to secure smart grids［J］．IEEE Transactions on Industrial Informatics，2018，14（4）：1606-1615．

[44] 夏睿，高云鹏，朱彦卿，等 ．基于SE-CNN模型的窃电检测方法研究［J］．电力系统保护与控制，2022，50（20）：117-126．

[45] XIA R， GAO Y P， ZHU Y Q，et al ．A detection method of electricity theft behavior based on an SE-CNN model［J］．Power System Protection and Control，2022，50（20）：117-126．（in Chinese）

[46] ISSDA. Data from the Commission for Energy Regulation （CER）—smart metering project［EB/OL］.2016.

[47] VIEGAS J L， ESTEVES P R， MELÍCIO R， et al. Solutions for detection of non-technical losses in the electricity grid：a review［J］. Renewable and Sustainable Energy Reviews，2017，80：1256-1268．

[48] WANG S W， WANG Q Y， JIANG Z W，et al ．A weak coupling of semi-supervised learning with generative adversarial networks for malware classification［C］//2020 25th International Conference on Pattern Recognition （ICPR）．Milan，Italy． IEEE，2021：3775-3782．

[49] NARTEY O T， YANG G W， WU J Z，et al ．Semi-supervised learning for fine-grained classification with self-training［J］．IEEE Access，2019，8：2109-2121．

[50] VALE K M O， GORGÔNIO A C， GORGÔNIO F DA LUZ E，et al ．An efficient approach to select instances in self-training and co-training semi-supervised methods［J］．IEEE Access，2021，10：7254-7276．

[51] MA J L， WANG X L， XIAO B ．An image segmentation method based on simple linear iterative clustering and graph-based semi-supervised learning［C］//2015 International Conference on Orange Technologies （ICOT）. Hong Kong， China： IEEE， 2015：10-13．

[52] BOND-TAYLOR S， LEACH A， LONG Y，et al ．Deep generative modelling：a comparative review of VAEs，GANs，normalizing flows，energy-based and autoregressive models［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2022，44（11）：7327-7347．

[53] PAN D W， NIE L Q， KANG W X，et al ．UAV anomaly detection using active learning and improved S3VM model［C］//2020 International Conference on Sensing，Measurement & Data Analytics in the Era of Artificial Intelligence （ICSMD）．Xi’an，China． IEEE，2020：253-258．

基金资助

中国电力科学研究院研究开发项目(JL8422-003)

Research and Development Project of China Electric Power Research Institute(JL8422-003)