基于DNN⁃SVM的无线专网设备故障识别与定位系统研究

Research on Fault Detection and Localization System for Wireless Private Network Devices Based on DNN⁃SVM

摘要

针对电力无线专网系统中故障识别与定位问题， 提出了一种基于DNN-SVM的解决方案。电力无线专网系统在面临故障时往往难以及时、 准确地进行故障识别和定位， 给运维和维修工作带来了困难。本文通过专用设备对电力无线专网系统的实时数据进行采集， 包括信号强度、 信号质量、 CPE运行状态等信息， 构建一个DNN-SVM算法， 以同时实现无线专网故障识别与故障定位， 通过DNN判别故障状态， 多层二分类SVM判别故障类型。通过在实际电力无线专网数据集上进行实验和验证， 对于单组数据的判别时间在毫秒级， 而综合平均准确率为80%。

Abstract

A solution based on DNN-SVM is proposed for fault detection and localization in the electric power wireless mesh network system. The timely and accurate identification and localization of faults in the electric power wireless mesh network system pose challenges for maintenance and repair work. In this paper， real-time data from the electric power wireless mesh network system， including signal strength， signal quality， and PCE operating status， is collected using dedicated devices. A DNN-SVM algorithm is constructed to achieve simultaneous fault detection and localization in the wireless mesh network. The DNN is used to discriminate fault states， while the multilayer binary SVM is employed for fault-type classification. Experimental validation is conducted on an actual electric power wireless mesh network dataset. The decision time for a single data sample is in the millisecond range， and the overall average accuracy rate is 80%.

Graphical abstract

关键词

无线专网 / 深度学习 / 支持向量机 / 故障检测

Key words

wireless private network / deep learning / SVM / fault detection

0 引　言

无线专网技术^［1］是一种新兴的通信技术， 具有多种优点。与传统通信系统的传输方式相比， 无线专网技术在降低成本方面具有显著优势， 同时大幅提高了通信传输的利用率与稳定性。相比光纤网络和无线公网技术， 无线专网部署过程简便、 灵活性高， 能够提供较高的服务质量保障， 并具备灵活的组网能力， 同时能够有效管理传输资源^［2］。在电力通信网中， 光纤网络往往无法满足通信覆盖需求， 此时引入无线专网可有效推动智能电力网络的发展， 提升网络的稳定性。与无线公网相比， 无线专网不受容量限制， 当用户数量增加时， 无线公网难以满足需求， 而无线专网能够避免这些问题， 因此应用无线专网可以有效提高电力通信的安全性。

同时， 随着电网现代化和智能化程度不断提升， 电力行业和能源产业正在经历重大的变革^［3］。建设智能电力无线专网的关键目标是智能化管控无线专网设备， 对设备发生的早期故障进行检测并精准定性， 以便及时解决故障， 使无线专网设备能够一直处于安全平稳的运行状态。传统无线专网故障检测以及维护方案通常是在故障发生之后再进行人工现场测量、 定位故障、 消除故障， 整个流程耗时长、 成本高， 由于故障检测缺乏时效性， 还可能造成长时间的通信故障。

深度学习^［4］近年来在各个领域引起了广泛关注。其以人工神经网络为基础， 通过多层次表示学习和特征提取， 能够自发地从大规模数据中学习并解决复杂任务。得益于计算能力的提升、 大数据的可用性以及算法创新^［5］， 深度学习在计算机视觉、 自然语言处理、 语音识别等领域取得了令人瞩目的成果。例如， 在图像识别任务中， 深度卷积神经网络能够准确地识别和分类各种对象。在自然语言处理方面， 深度递归神经网络和注意力机制的应用使得机器能够理解和生成自然语言。

Chen等^［6］开发了一种新颖的图卷积网络（GCN）框架， 用于电力网络中的故障定位。综合考虑了不同节点处的多个测量值以及系统拓扑结构， 能够适应配电网络的拓扑变化。此外， 该方法对测量噪声和数据丢失错误具有鲁棒性； Thomas等^［7］针对电力系统中的故障检测问题， 提出了一种基于深度卷积神经网络（CNN）的方法。研究者通过对电力系统的监测数据进行训练， 使得CNN模型能够准确地检测和分类各种故障类型。实验结果表明， 该方法在故障检测的准确性和鲁棒性方面表现出了显著优势； Veerasa等^［8］通过使用LSTM模型， 实现了在太阳能光伏集成电力系统中对高阻抗故障的检测。通过对3相电流信号进行特征提取和LSTM分类器的训练， 该方法在HIF的识别方面取得了较高的准确率和成功率。与其他常用分类器相比， 所提出的LSTM网络表现出更好的分类性能； Huang等^［9］将3种算法应用于获取支持向量机（SVM）径向基函数（RBF）核的参数， 这3种算法分别是： 粒子群优化（PSO）、 遗传算法（GA）和网格搜索（GS）。这3种改进的SVM方法被应用于识别铁路危险品运输系统（RDGTS）的风险。发生的RDGTS事故的每个子风险指标的统计发生频率被用作专家评分的基础， 专家评分以区间数的形式呈现， 并被用作这4种方法的输入。证明了SVM和GA-SVM更适合应用于RDGTS的风险识别。模型的优化时间消耗均不超过5 s， 这意味着可以快速高效地获得RDGTS风险识别结果。

本文针对电力无线专网系统中故障识别与定位问题， 提出一种基于DNN-SVM的解决方案。结合DNN算法与SVM算法的优点， 分别应用于无线专网故障智能排查的两个阶段： 故障检测与故障分类。将DNN算法用于故障检测阶段， SVM算法用于故障分类阶段， 以增加故障分类任务的准确性。综合来看， 两种算法对于单组输入数据的处理时间都在毫秒级， 采用两算法结合的策略并未对检测时间产生过大影响。

1 无线专网故障检测及定位技术

1.1 DNN原理

人工神经网络^［10］由多个神经元组成。这些神经元的结构设计灵感来源于仿生动物神经元， 具备信号的接收、 处理和传递功能。在神经网络中， 神经元接收实数矩阵作为输入信号， 表示不同类型和大小的信号。每个神经元对输入信号进行线性和非线性处理， 线性部分涉及为不同类型的输入信号分配不同权重， 并将加权求和的信号与偏置相加； 非线性部分则依赖于激活函数。单个神经元的结构如图 1 所示。

神经元主要有 5 个组成部分， 分别为输入、 权重和偏置、 求和计算、 激活函数和输出， 神经元的传播可表示为

y=f\left({\displaystyle \sum _{i=\mathrm{1}}^n}{w}_i{x}_i+b\right),（1）

式中： y为输出； f为激活函数； w_i， x_i（i=\mathrm{1,2},\mathrm{3},\dots ,n）分别为输入和权重； b为偏置。激活函数是非线性函数， 模拟仿生动物神经元解决非线性问题的能力。激活函数接收线性处理部分的结果作为输入， 并根据其取值范围输出结果。神经元的输出大小由激活函数的输出决定， 就像动物神经元可以将输出传递给多个后继神经元一样， 人工神经元的输出也会传递给多个后继神经元。

单个神经元能完成的工作和拟合的模型复杂度都是非常小的， 但是， 这样的神经元却可以组建成庞大的神经网络， 可以完成更为复杂的工作。其中BP（Back Propagation）神经网络^［11］是一种最基本的网络结构。BP算法利用梯度下降来最小化神经网络的损失函数， 从而调整网络中的权重和偏差， 以使网络能够产生更接近真实输出的预测结果。BP算法的关键是反向传播误差， 通过计算损失函数对每个权重的梯度， 然后反向传播这些梯度来更新网络中的权重。BP神经网络的结构如图 2 所示。

在 BP 神经网络中， 神经元按层排列， 根据顺序和功能不同， 将这些层分为输入层、 隐藏层和输出层。输入层是网络的第一层， 负责接收原始数据或特征， 并将其传递给下一层隐藏层。每个输入节点对应数据中的一个特征或维度。输入层和输出层之间的网络层叫做隐藏层， 隐藏层的主要功能是提取和表示输入数据的高级特征， 输出层是网络的最后一层， 负责将隐藏层提取的特征映射为最终的输出结果。在BP神经网络中层与层之间的神经元两两相连， 而同一层的神经元之间没有连接， 这种连接方式的网络层也称为全连接层。

BP 神经网络通常指有着浅层神经网络、 其参数和计算单元有限、 针对复杂分类问题的表示能力有限且其泛化能力受到一定的制约。而DNN（Deep Neural Networks）增加了更多的隐藏层并优化了激活函数与算法。深度神经网络具有优异的特征学习能力， 学习得到的特征对数据有更本质的刻画， DNN的深度允许它学习更复杂的特征和模式， 从而在处理大规模、 高维度的数据时表现更出色。从而有利于可视化或分类。

1.2 SVM原理

支持向量机（Support Vector Machine， SVM）是一种常用的机器学习算法， 用于进行模式分类和回归分析。其是一种基于最大间隔原则的分类算法， 通过找到一个最优超平面来最大化支持向量到超平面的距离。它可以处理线性可分和线性不可分问题， 并且通过核函数技巧可以处理非线性分类任务。

在无线专网故障检测场景下， 若数据是线性可分的， 设\left\{x_i,y_i\right\}为线性可分的故障消缺数据样本集， 若样本集的最大数量为n， 则i的范围介于\mathrm{1}~n之间， i为整数。其中， x_i为样本输入， 且x_i\in R^l， l为输入样本空间的维数； y_i为样本输出， 且y_i\in \left\{-\mathrm{1,1}\right\}。

分别用H,H_{\mathrm{1}},H_{\mathrm{2}}表示最优线性分类器， 其中分类器H_{\mathrm{1}}的表达式为

w_{\mathrm{1}}{x}_i+b_{\mathrm{1}}=\mathrm{1}\mathrm{。}（2）

分类器H_{\mathrm{2}}的表达式为

w_{\mathrm{2}}{x}_i+b_{\mathrm{2}}=-\mathrm{1}\mathrm{。}（3）

若下式成立， 则表明分类面H能够对故障消缺数据集中的样本正确分类

y_i\left(\mathit{\omega }{x}_i+b\right)\ge \mathrm{1},i=\mathrm{1,2},\dots ,n，（4）

式中： \mathit{\omega }代表支持向量机的权重矩阵； b为分类阈值。支持向量为分类线上的故障数据， {‖\omega ‖}^{\mathrm{2}}/\mathrm{2}表示权重向量范数； \mathrm{2}/‖\omega ‖表示最大化分类间隔， 也即H_{\mathrm{1}}和H_{\mathrm{2}}之间的距离。将问题转化为最优分类超平面求解问题， 如式（5）所示

\left\{\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{\Phi }\left(\omega \right)=\frac{\mathrm{1}}{\mathrm{2}}{‖\omega ‖}^{\mathrm{2}}=\frac{\mathrm{1}}{\mathrm{2}}\left(\omega \bullet \omega \right),\\ s.t{y}_i\left(\omega x_i+b\right)\ge \mathrm{1},i=\mathrm{1,2},\dots ,n\mathrm{。}\end{array}\right.（5）

该式中， 由于\Phi (\omega )为二次型函数， 易知其包含唯一极小值。要想使该问题转化为其对偶形式， 需要使用拉格朗日优化法实现， 对偶形式如式（6）所示

\left\{\begin{array}{l}\mathrm{m}\mathrm{a}\mathrm{x}L\left(a\right)={\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i-\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{j=\mathrm{1}}^n}{a}_i{a}_j{y}_i{y}_j{x}_i{x}_j,\\ s.t{a}_i\ge \mathrm{0},i=\mathrm{1},\mathrm{2},\dots ,n,\\ {\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i{y}_i=\mathrm{0},\end{array}\right.（6）

式中： a_i为第i个样本的拉格朗日系数， 支持向量为该问题的解中a_i>\mathrm{0}条件下的样本， 通过求解这个对偶问题即能获得最优故障分类决策表达式

f\left(x\right)=sgn\left[{\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i^{*}{y}_i\left(x_i,x\right)+{\omega }_o^{*}\right],（7）

式中： a_i^{*}表示第i个样本的拉格朗日系数； {\omega }_o^{*}表示阈值。通过最优故障分类决策函数输出的正负性进行判定无线专网故障的类别。

若样本集线性不可分， 则需要将松弛项加入式（2）， 此时可将最优化问题转化为式（8）所示形式

\left\{\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}\left(\frac{\mathrm{1}}{\mathrm{2}}{‖\omega ‖}^{\mathrm{2}}+C{\displaystyle \sum _{i=\mathrm{1}}^n}{\xi }_i\right),\\ s.t{y}_i\left(\omega x_i-b\right)\ge \mathrm{1}-{\xi }_i,i=\mathrm{1},\mathrm{2},\dots ,n,\\ {\xi }_i\ge \mathrm{0},\end{array}\right.（8）

式中： C代表正则化参数； {\xi }_i代表松弛变量， 广义最优分类面可通过平衡分类间隔与分类错误样本获得。

若要使非线性分类问题转化为线性分类问题， 则需要替换最优分类面的点积， 则转换后的问题可以表示为

\left\{\begin{array}{l}\mathrm{m}\mathrm{a}\mathrm{x}L\left(a\right)={\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i-\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{j=\mathrm{1}}^n}{a}_i{a}_j{y}_i{y}_{j}K(x_i,y_i),\\ s.t{a}_i\ge \mathrm{0},i=\mathrm{1},\mathrm{2},\dots ,n,\\ {\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i{y}_i=\mathrm{0}\mathrm{。}\end{array}\right.（9）

最优故障决策分类表达式可以变换为

f\left(x\right)=sgn\left[{\displaystyle \sum _{i=\mathrm{1}}^n}{a}_i^{*}{y}_{i}K\left(x_i,x\right)+{\omega }_o^{*}\right]\mathrm{。}（10）

2 DNN⁃SVM模型

本文提出一种基于DNN-SVM的端到端无线专网设备故障检测与分类算法， 能够快速准确地识别并定位无线专网设备发生的故障类别， 系统模型如图 3 所示。

输入数据为无线专网设备与网络环境的实时参数， 通过预处理模块后输入DNN网络， DNN网络主要判别当前时间节点无线专网是否发生故障， 输出为两种状态： 正常或故障。若状态正常， 则将该时间节点的数据移出模型； 若发生故障， 则将该时间节点的数据输入多层二分类SVM模型， 进行无线专网故障类别的判断。DNN-SVM算法判别流程如图 4 所示， 最终实现端到端的无线专网故障检测及故障定位功能。

无线专网的故障识别部分主要由DNN模型承担， 其输出为布尔值0或1； 无线专网故障定位部分主要由多层SVM模型承担， 其输出为故障定位向量。

实验的具体流程为， 采集无线专网设备与网络环境的多维参数作为数据集， 对数据集进行初步的清洗与处理， 筛去无用数据、 归一化， 从无线专网设备是否故障、 故障类别两方面添加标签， 采用one-hot编码。将处理完成的数据集划分为训练集、 验证集、 测试集， 其比例分别为70%， 15%， 15%。搭建DNN-SVM模型， 设置初始训练参数， 通过前向传播与反向传播来对模型的参数进行调整， 直到模型在验证集上的评估达到要求则停止训练。最后使用训练完成的模型在测试集上评估其故障诊断、 故障分类的能力。

3 结果分析

该实验选择某地区无线专网数据终端设备3年内所收集的故障设备的多维参数数据， 以及近3个月所有正常工作设备的多维参数数据作为实验数据集。实验算法编程由Python3.9实现， 使用Keras作为算法实现框架， 模型训练采用Adam优化器， Adam学习率设置为0.001。

在模型训练的过程中， 图 5 展现了准确率和损失函数的变化情况。训练过程中， 损失函数逐渐减小， 同时准确率持续增加， 表明模型正在趋于收敛。实验结果表明， 随着训练迭代次数的增加， 经过200轮迭代后， 模型的准确率稳定在90%左右。此后的训练过程中， 准确率和损失函数的曲线都没有出现明显的波动区间， 表现出稳定的趋势。这种平稳的趋势说明了模型的表现相对稳定， 准确率和损失函数的变化较为平滑。

图 6 为DNN-SVM模型中的DNN网络的故障检测模块对应的混淆矩阵， 反映了无线专网故障识别的性能， 通过图6可以获知无线专网设备故障的误检率为0， 但是对于发生故障的样本， 存在少量漏检； 图 7 为模型中SVM的故障分类模块对应的混淆矩阵， 反映了无线专网故障定位的性能， 通过图 7 可以获知多层SVM模型在弱覆盖与CPE故障样本上的表现良好， 但在质差样本中的表现一般。实验采用分类问题常用的模型评价指标作为模型评估标准。

图 6 混淆矩阵可计算出模型的故障检测模块准确率达到94.7%。模型故障检测模块的整体性能比较突出。图 7 混淆矩阵可计算出模型的故障检测模块准确率达到78%， 故障分类模型中第二类故障（质差）样本数量较少， 影响了模型准确率。第二类故障样本数量少的主要原因在于， 质差可能由天线长度不足引起， 质差问题通常可以通过天线延伸的方法来解决， 而CPE在调试时已确保天线长度达标， 后续产生问题的概率不高， 因而样本数量不足。在训练时， 可以采用一定的数据增强操作来解决此问题。

上述结果分析得知， 本文所提出的基于DNN-SVM的无线专网设备故障识别算法的识别精度均高于82%， 分类精度均高于78%。

4 结　论

本研究针对电力无线专网系统中的故障识别与定位问题， 提出了一种基于DNN-SVM的解决方案。电力无线专网系统在故障发生时常常难以及时、 准确地进行故障识别和定位， 给运维和维修工作带来了困扰。本文通过使用专用设备对电力无线专网系统的实时数据进行采集， 包括信号强度、 信号质量、 PCE运行状态等信息， 构建了一个DNN-SVM算法， 能够同时实现无线专网故障的识别与定位。通过DNN模型对故障状态进行判别， 利用多层二分类SVM对故障类型进行分类。通过在实际电力无线专网数据集上进行实验和验证， 系统在故障识别与定位方面表现出较高的速度和精度。对于单组数据的判别时间仅为毫秒级， 而综合平均准确率为80%。

参考文献

[1] WANG Q， DU B， WANG Y， et al. Delay Analysis of power wireless private network system in 230 mhz band［C］//2021 IEEE 4th Advanced Information Management， Communicates， Electronic and Automation Control Conference （IMCEC）， 2021， 4： 959-962.

[2] ZHANG J Y， BI S Y， GONG L L， et al. Research on network optimization and network security in power wireless private network［C］//Second International Conference on Big Data and Security. Singapore： Springer， 2021： 97-110.

[3] ZHENG Y， NIU S， SHANG Y， et al. Integrating plug-in electric vehicles into power grids： a comprehensive review on power interaction mode， scheduling methodology and mathematical foundation［J］. Renewable and Sustainable Energy Reviews， 2019， 112： 424-439.

[4] GOODFELLOW I， BENGIO Y， COURVILLE A. Deep learning： Adaptive Computation and Machine Leaning Series［M］. MIT Press， 2016.

[5] MITTAL S. A survey on modeling and improving reliability of DNN algorithms and accelerators［J］. Journal of Systems Architecture， 2020， 104： 101689.

[6] CHEN K， HU J， ZHANG Y， et al. Fault location in power distribution systems via deep graph convolutional networks［J］. IEEE Journal on Selected Areas in Communications， 2020， 38（1）： 119-131.

[7] THOMAS J B， CHAUDHARI S G， SHIHABUDHEEN K V S， et al. CNN-based transformer model for fault detection in power system networks［J］. IEEE Transactions on Instrumentation and Measurement， 2023， 72： 2504210.

[8] VEERASAMY V， WAHAB N I A， OTHMAN M L， et al. LSTM recurrent neural network classifier for high impedance fault detection in solar PV integrated power system［J］. IEEE Access， 2021， 9： 32672-32687.

[9] HUANG W， LIU H， ZHANG Y， et al. Railway dangerous goods transportation system risk identification： Comparisons among SVM， PSO-SVM， GA-SVM and GS-SVM［J］. Applied Soft Computing， 2021， 109： 107541.

[10] JAIN A K， MAO J， MOHIUDDIN K M. Artificial neural networks： a tutorial［J］. Computer， 1996， 29（3）： 31-44.

[11] LI J， CHENG J H， SHI J Y， et al. Brief introduction of back propagation （BP） neural network algorithm and its improvement［C］//Advances in Intelligent and Soft Computing， Berlin： Springer， 2012： 553-558.

基金资助

国网江苏省电力有限公司孵化项目(JF2022026)