基于时空图注意力的短期电力负荷预测方法

A Short-term Power Load Forecasting Method Based on Spatiotemporal Graph Attention

摘要

准确的电力负荷预测对现代电力系统的安全经济运行至关重要.电力负荷预测可以表述为一个具有一定潜在空间依赖性的多变量时序预测问题.然而，大多数现有的电力负荷预测工作未能探索这种空间依赖关系.基于此，本文提出了一种基于时空图注意网络的短期电力负荷预测方法 .提出一种基于时空图注意网络模块，该模块使用图注意层实现自适应的捕捉各用户间的潜在空间依赖性，同时使用门控卷积注意力层对各用户用电量在时间维度上进行自适应拟合，以提高网络的预测精度.实际数据实验表明，本文提出的模型整体预测精度提高明显，特别是在一定程度上缓解了长程预测精度恶化的问题，验证了所提方法的有效性与可行性.

Abstract

Accurate power load forecasting is crucial to the safe and economic operation of modern power systems. Power load forecasting can be expressed as a multivariable time series forecasting problem with certain potential spatial dependence. However， most existing power load forecasting work fails to explore this spatial dependency relationship. Based on this， this paper proposes a short-term power load forecasting method based on the spatiotemporal graph attention network. A spatiotemporal graph-based attention network module is proposed， which uses a graph attention layer to adaptively capture potential spatial dependencies between users. At the same time， a gated convolutional attention layer is used to adaptively fit the electricity consumption of each user in the time dimension to improve the prediction accuracy of the network. Actual data experiments show that the overall prediction accuracy of the model proposed is significantly improved， especially in alleviating the problem of deteriorating long-range prediction accuracy to a certain extent， verifying the effectiveness and feasibility of the proposed method.

Graphical abstract

关键词

电力负荷预测 / 小世界网络 / 时空图注意力 / 门控扩张因果卷积

电力系统需要满足负荷需求，不间断地稳定供应电力.通过分析电力负荷的历史行为、趋势及影响因素，预测未来需求，称为电力负荷预测.近年来，电力系统整合了多种电力资源（如可再生能源），其中具有较强波动性的风能和太阳能将负荷预测现象推向了一个更具挑战性的阶段.从电力系统的角度来看，可靠的预测结果可以有效减少风能和太阳能发电不确定性的不利影响，帮助调度部门及时制定和调整调度计划，降低运行成本.负荷预测是实现电力供需平衡的前提，在电力规划中起着至关重要的作用.

电力负荷的预测方法按时间尺度可分为四种：超短期预测^［1］、短期预测^［2-4］、中期预测^［5］和长期预测^［6］.其中，短期负荷预测结果可为电力系统调度方案的制定提供依据.

现有的负荷预测方法可分为两类：经典的基于模型的方法和基于机器学习的方法.基于模型的负荷预测是一种非黑箱模型^［7］.常用的方法有回归分析^［8］、指数平滑^［9］、加权最小二乘^［10］等.负荷预测结果与其驱动因素之间的对应关系是明确的，但在预测前需要了解负荷特性并明确模型类型，要根据场景选择预测方法，保证预测的准确性.基于模型的预测方法在使用时具有极大的局限性，并且模型主要是捕获线性关系，在处理较为复杂的时序数据时达不到理想的预测精度.

除了经典的基于模型的方法外，由于机器学习方法能拟合时序数据各时间戳的非线性关系，基于机器学习的方法近年来也越来越受到关注.该种方法主要使用支持向量回归、基于核的方法和前馈神经网络等，通过特征工程构造对预测结果具有因果的特征集合，最终得到时序预测模型.然而，这些模型中的大多数仅实现了静态建模预测，在单独的时间尺度上考虑信息，而不能挖掘多变量时序数据间的动态依赖关系.

深度神经网络具有较强的非线性拟合能力，能够学习复杂的多变量时序数据表示.目前，学者们已开发出不同的深度神经网络来解决时间序列预测问题，例如使用循环神经网络及其变体，自编码器、时间卷积和Transformer等.

由于同一街区内的住宅可能受到相似因素的影响，各住宅的电力负荷具有一定的潜在空间依赖性.然而，现有的大多数基于机器学习的方法仅利用电力负荷和天气信息等历史时间值，未能探索这种依赖关系，不同单位之间的空间相关性^［11］通常被忽略^［12］.图神经网络（GNN）能够挖掘单元间的潜在依赖关系，目前在交通流预测和风速预测等任务中的应用已经证明了其优越性.与深度神经网络不同，GNN擅长对类似图的数据结构进行建模，这使得它们非常适合捕获电网中不同住宅之间复杂的潜在空间依赖性.然而，基于GNN的时空模型却很少用于电力负荷预测问题研究，主要由于其在使用过程中可能遇到下述问题：

1） GNN需要图结构作为基础，而电力负荷数据并没有显示的图结构.目前一些研究使用k-近邻来创建正则的图结构.然而当使用不恰当的k构建图结构时，会产生过平滑或冗余的问题.使用较小的k构建出来的图结构，为了聚合和更新图结构上的全部节点信息，需要增加后续GNN的层数，然而GNN是一种低通滤波器^［13］，当GNN的层数过多时，会产生过平滑的问题.使用较大的k构建出来的图结构，会将不存在的关系引入图结构，为后续耦合关系的提取带来误差^［14］.

2） 变量之间的耦合关系随着时间的推移而变化，如何动态地捕捉变量之间的关系是一个值得考虑的问题.

3） 用于捕捉时序特征的RNN（循环神经网络）/GRU（门控循环单元）/LSTM（长短时记忆网络）虽然擅长描述非线性关系，但没有考虑到因果时滞效应，对于时序数据的记忆有限，难以捕捉长期依赖关系.

针对上述问题，本文提出了一种基于小世界理论的多变量时间序列预测方法——小世界时空图注意力网络（Small-World Spatio-Temporal Graph Attention Network， SWST-GAT）.在电力负荷预测中自适应的建模与捕捉同一街区内的住宅用电量间的潜在空间依赖性，解决了现有多变量多步负荷预测技术中的问题.主要贡献具体如下：

1） 提出一种基于小世界特性的k-近邻网络构建技术，解决了GNN在多变量时序分析中图建模时存在的过平滑或冗余的问题.

2） 提出了一个基于节点重要性引导的注意力机制，与图注意层相结合，动态地捕捉变量之间的耦合关系.

3） 使用门控扩张因果卷积层提取时间序列数据的因果时滞特征，捕捉长期依赖关系，并提出基于动态系统的复杂性和耗散性质的超参数时间跨度和扩张率估计，帮助门控扩张因果卷积层的超参数选取.

1 小世界时空图卷积网络模型

本文提出的SWST-GAT模型的任务是对多变量时序X∈\mathbb{R}^N×n×d 进行图结构构建后，将图结构与多变量时序数据X∈\mathbb{R}^N×n×d 输入到ST-GCM模块中，使用空间卷积层提取各个变量间的耦合关系，使用时间卷积层提取每一个变量在时间维度的因果时滞关系，时间与空间卷积层交替作用，以同时提取多变量时序数据的时空特征，对变量时序数据X∈\mathbb{R}^N×n×d 进行拟合，预测下一时刻的目标变量y_i，t+TS+1或下一段时间的目标变量Y=［y_i，t+TS+1， y_i，t+TS+2，…， y_i，t+TS+pr］，使用最小正则化L₂损失来训练网络，以构建从X到Y映射f（·）.

1.1 模型介绍

本文提出的多变量时序多步预测模型SWST-GAT的总体框架如图1所示，具体概括如下.

1） 图结构构建模块：提出一种基于小世界特性的k-近邻网络构建技术，构建多变量时间序列的静态图结构 G =（ V， E ），其中 V 为节点集合，每一个节点代表一个变量， E 是边集，每条边表示边两端的节点间存在耦合关系.

2） ST-GCM：ST-GCM为“三明治”结构，由NA、GCN和GDCCN组成.因此，NA将度中心性引导的注意力机制（Degree Centrality Guided Attention， DCGA）和压缩激励模块（Squeeze and Excitation Networks， SENet）相结合来自动学习各个节点和连边的相对重要性，增加重要的节点和连边的权重，抑制无用的节点和连边的权重，同时使用GDCCN捕捉变量的时间维度的因果时滞特征.

3） 为了确定GDCCN层的两个关键超参数的选择，提出了基于动态系统的复杂性和耗散性质的TS估计和dr估计算法.

1.2 图结构构造模块

由于k的选择关系到网络的拓扑结构是否能够反映多变量时间序列的分布，因此，邻近数k在网络构建过程中起着非常重要的作用^［15］.目前讨论如何选择邻近数k的研究成果较少.当选择较小的k时，我们将得到一个极其稀疏的随机网络，此时图结构不连通，产生信息孤岛，多变量间的信息并不能共享.当k逐渐增大时，网络将开始向全连接网络演进，网络连接会逐渐变密，导致网络极度冗余.图结构的传播效率和稀疏性可通过复杂网络的网络平均一致性h和网络平均聚类系数ACC进行描述，h用于衡量复杂网络的全局传输容量；ACC用于量化复杂网络中节点之间的连接程度.其计算公式如下：

\mathrm{G}\mathrm{E}(\mathit{G})=\frac{\mathrm{1}}{N(N-\mathrm{1})}\sum _{i,j\in V,i\ne j}\frac{\mathrm{1}}{\mathrm{d}\mathrm{i}{\mathrm{s}}_{ij}^{\mathrm{m}\mathrm{i}\mathrm{n}}}（1）

h=\frac{\mathrm{1}}{\mathrm{G}\mathrm{E}(\mathit{G})}（2）

其中， h为全局效率（Global Efficiency， GE）的逆，GE与网络中节点之间的距离成反比.\mathrm{d}\mathrm{i}{\mathrm{s}}_{ij}^{\mathrm{m}\mathrm{i}\mathrm{n}}表示节点v_i 到节点v_j 之间的最短距离.

\mathrm{A}\mathrm{C}\mathrm{C}(\mathit{G})=\frac{\mathrm{1}}{N}{\displaystyle \sum _i^N}CC(i)=\frac{\mathrm{1}}{N}{\displaystyle \sum _i^N}\frac{E(i)}{k_i(k_i-\mathrm{1})/\mathrm{2}}（3）

其中，k_i （k_i -1）/2是k_i 相邻节点之间可能的边数，E（i）是节点v_i 的k_i 相邻节点之间的实际边数.

因此，本文拟通过h和ACC对图结构传播效率和稀疏性的定量计算，寻找两者之间的平衡，从而确定邻近数k.基于小世界网络性质的自适应k-近邻选择算法的流程如图2所示.

根据小世界网络生成的过程，提出基于小世界网络的邻接矩阵生成算法，如算法1所示.具体步骤如下：首先，根据多变量时序数据 X 计算任意两个变量间的相似性 S = X · X^T，并进行归一化，得到相似性矩阵 S .随后，将邻近数k设为0，得到一个全断开的图结构；最后，逐渐增大邻近数k至N，在此过程中，图结构会逐渐变得稠密，此时ACC逐渐变大，h逐渐变小，分别计算对应的h（ A ）和ACC（ A ），最终形成如图2右侧所示的h（ A ）和ACC（ A ）曲线。选择h（ A ）和ACC（ A ）曲线的交（ratio， k）作为邻近数k，根据选择到的邻近数k，进行图结构 A 的构建，具体定义公式如下：

\mathit{A}(v_i,v_j)=\left\{\begin{array}{l}\mathrm{1},\mathrm{i}\mathrm{f}{v}_j\in \mathrm{N}\mathrm{e}\mathrm{i}\mathrm{g}{\mathrm{h}}_k(v_i)\\ \mathrm{0},\mathrm{i}\mathrm{f}{v}_j\notin \mathrm{N}\mathrm{e}\mathrm{i}\mathrm{g}{\mathrm{h}}_k(v_i)\end{array}\right.（4）

其中，Neigh _k （v_i ）为距离节点v_i 最近的k个节点的集合.最后针对每一个节点，随机选择两个未与其相连接的节点，以概率p进行连接.

1.3 时空图卷积模块

由于多变量时序数据具有强耦合和大时滞的特点，变量之间的时空关系是复杂且时变的，如图3所示.因此我们提出一种新的ST-GCM针对多变量时序数据的时空特性进行处理.

1.3.1 时间卷积层

GDCCN的架构如图4所示，包含一个扩张因果卷积网络（Dilated Causal Convolution Network， DCCN）^［16］、一个门控线性单元（Gated linear units， GLU）^［17］和一个残差模块^［18］，GDCCN层的计算公式为：

\begin{array}{l}{\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}}=F(\mathit{X})\mathrm{*}\mathrm{\Gamma }=\\ (F(\mathit{X}){\mathrm{*}}_{\mathrm{G}}{\mathit{W}}_{\mathrm{G}}+b_{\mathrm{G}})\otimes \sigma (F(\mathit{X}){\mathrm{*}}_{\mathrm{G}}{\mathit{V}}_{\mathrm{G}}+c_{\mathrm{G}})=\\ ((X{\mathrm{*}}_{\mathrm{D}}f){\mathrm{*}}_{\mathrm{G}}{\mathit{W}}_{\mathrm{G}}+b_{\mathrm{G}})\otimes \sigma ((X{\mathrm{*}}_{\mathrm{D}}f){\mathrm{*}}_{\mathrm{G}}{\mathit{V}}_{\mathrm{G}}+c_G)\end{array}（5）

其中， X 和 X^GDCNN为GDCCN的输入和输出， W_G、 V_G、c_G和b_G为GDCCN层的可学习参数，*_G和*_D为门控卷积和扩展卷积核，σ为ReLU函数， 为哈达马积.

1） 扩张因果卷积网络

不同于传统非线性动态过程系统建模包含较多的历史数据，本文使用DCCN解决了长期预测结果精度降低的问题.在使用CNN（卷积神经网络）或者RNN进行长距离时间序列预测时，不可避免地需要增加CNN的层数或RNN的卷积核大小，此时网络参数和计算量将大大增加.DCCN使用具有空洞的CNN，可以在不增加网络参数的情况下扩大卷积核的视野，如图5所示.扩张卷积的核心思想是将原本紧密相连的卷积核参数按照设定的比值进行扩张.扩张卷积的计算公式为

F(t)=(x{\mathrm{*}}_{D}f)(t)={\displaystyle \sum _{i=\mathrm{0}}^{k-\mathrm{1}}}f(i)x_{t-\mathrm{d}\mathrm{r}\cdot i}（6）

其中，dr为膨胀比，k为卷积核的大小，x_t-dr·i 为历史数据.

2） 门控线性单元

GLU是一种简化的门控机制，可以减少梯度分散问题，保持层的非线性，加速收敛，其结构如图6所示.

GLU利用CNN和并行处理时序数据的门控机制来实现RNN的功能.GLU在处理时序数据时，严格按照时序位置保存信息，以提高性能，并通过并行处理结构加快运算速度.GLU的公式如下：

{\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}}=({\mathit{X}}^{\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}}\mathrm{*}{{\mathit{W}}_{\mathrm{1}}}^{\mathrm{G}\mathrm{L}\mathrm{U}}+{{\beta }_{\mathrm{1}}}^{\mathrm{G}\mathrm{L}\mathrm{U}})\otimes \sigma ({\mathit{X}}^{\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}}\mathrm{*}{{\mathit{W}}_{\mathrm{2}}}^{\mathrm{G}\mathrm{L}\mathrm{U}}+{{\beta }_{\mathrm{2}}}^{\mathrm{G}\mathrm{L}\mathrm{U}})（7）

其中， X^DCCN和 X^GDCCN是GLU的输入和输出矩阵， W₁^GLU、 W₂^GLU、β₁^GLU和β₂^GLU是可学习的参数，σ为ReLU函数， 为哈达马积.

1.3.2 空间卷积层

1） 节点注意力层

NA包含一个DCGA和一个SENet^［19］.NA层的计算公式为：

{\mathit{X}}^{\mathrm{N}\mathrm{A}}=F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}({\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}},\mathrm{A}\mathrm{t}{\mathrm{t}}_{\mathrm{D}\mathrm{C}}\cdot F_{\mathrm{e}\mathrm{x}}(F_{\mathrm{s}\mathrm{q}}({\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}}),{\mathit{W}}^{\mathrm{S}\mathrm{E}\mathrm{N}\mathrm{e}\mathrm{t}}))（8）

其中， X^NA为NA层的输出数据， W^SENet为SENet模块的可学习参数，F_scale，F_ex和F_sq为SENet的缩放、激励和压缩操作，Att_DC∈\mathbb{R}^N×N 是根据节点嵌入计算出的度中心性引导的注意力：

\mathrm{A}\mathrm{t}{\mathrm{t}}_{{}^{\mathrm{D}\mathrm{C}}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{D}\mathrm{C}(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{u}({\mathit{W}}_{\mathrm{1}}^{\mathrm{D}\mathrm{C}}{\mathit{E}}_{\mathrm{1}}({\mathit{W}}_{\mathrm{2}}^{\mathrm{D}\mathrm{C}}{\mathit{E}}_{\mathrm{2}}{)}^{\mathrm{T}}+d^{\mathrm{D}\mathrm{C}})))（9）

其中，DC（∙）为度中心性计算函数，矩阵 E₁和 E₂为随机初始化的节点嵌入，在模型训练期间可以学习， W₁^DC和 W₂^DC为可训练的模型参数.

作为软注意力机制的一种应用，SENet不同于传统的通过添加特征卷积层来细化特征提取任务的方法，而是根据特征响应显式，建模特征图通道之间的相互依赖性，自适应地重新校准通道.由于多变量时序数据是典型的时空数据，因此变量之间的耦合关系会随着时间而改变.因此，本文将使用SENet自动学习不同通道特征的相对重要性，然后可以通过赋予不同的权重来增强或抑制相应的特征，从而提高网络模型的识别精度.SENet的结构如图7所示.

SENet分为挤压和激励两步操作.首先，SENet对输入节点变量执行挤压操作，将特征形状从N×1×TS压缩为N×1×1，得到该层输入节点变量的分布，其数学描述如下：

x_{\mathrm{q}}=F_{\mathrm{s}\mathrm{q}}({\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}})=\frac{\mathrm{1}}{\mathrm{1}\times \mathrm{T}\mathrm{S}}{\displaystyle \sum _{t=\mathrm{1}}^{TS}}x(\mathrm{1},t)（10）

其中，x（1， t）∈\mathbb{R}^N×1是t时刻N个节点的数据，TS为网络输入数据的时间长度.压缩操作通常采用全局最大池化或全局平均池化两种算法，最后将全局空间信息压缩成一个通道维度描述符x_q，本文选择全局平均池化.

激励操作定义如下：

\mathbf{s}\mathbf{c}=F_{\mathrm{e}\mathrm{x}}(x_{\mathrm{q}},{\mathit{W}}^{\mathrm{S}\mathrm{E}\mathrm{N}\mathrm{e}\mathrm{t}})=\sigma ({{\mathit{W}}_{\mathrm{2}}}^{\mathrm{S}\mathrm{E}\mathrm{N}\mathrm{e}\mathrm{t}}\sigma ({{\mathit{W}}_{\mathrm{1}}}^{\mathrm{S}\mathrm{E}\mathrm{N}\mathrm{e}\mathrm{t}}{x}_{\mathrm{q}}))（11）

其中， W₁^SENet∈\mathbb{R}^{（TS/β×TS）}和 W₂^SENet∈\mathbb{R}^{TS×（TS/β）}，σ是ReLU函数，β是维度变换率.

最后将得到的缩放矩阵sc的元素与图数据的通道一一相乘，SENet的输出定义为：

{\mathit{X}}^{\mathrm{S}\mathrm{E}\mathrm{N}\mathrm{e}\mathrm{t}}=F_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}({\mathit{X}}^{\mathrm{G}\mathrm{D}\mathrm{C}\mathrm{C}\mathrm{N}},\mathbf{s}\mathbf{c})=\mathbf{s}{\mathbf{c}}_i\cdot x_i（12）

其中，sc _i 是第i个节点向量x_i 的缩放系数.SENet的运行充分利用了注意力机制，使模型在训练过程中会关注更重要的节点，从而提高模型的整体性能.

2） 图卷积层

使用Chebyshev多项式改进的GCN提取空间特征^［20］，其结构如图8所示.GCN的卷积核为g_{\theta }={\sum }_{i=\mathrm{1}}^K{\mathit{W}}_i{T}_i(\tilde{\Lambda })，其中\tilde{\Lambda }=\mathrm{2}\mathit{\Lambda }/{\lambda }_{\mathrm{m}\mathrm{a}\mathrm{x}}-\mathit{I}，T_i(\tilde{\Lambda })是i阶多项式，\Lambda为邻接矩阵 A 的特征值.Chebyshev多项式T_i(\tilde{\Lambda })通过递归计算得到，其计算公式如下：

T_k(\tilde{\Lambda })=\mathrm{2}\tilde{\Lambda }{T}_{k-\mathrm{1}}(\tilde{\Lambda })-T_{k-\mathrm{2}}(\tilde{\Lambda })（13）

其中，T_{\mathrm{0}}(\tilde{\Lambda })=\mathrm{1}，T_{\mathrm{1}}(\tilde{\Lambda })=\tilde{\Lambda }，k=3.图卷积核的卷积操作的计算式如下：

\begin{array}{l}{\mathit{X}}^{\mathrm{G}\mathrm{C}\mathrm{N}}=\mathit{X}{\mathrm{*}}_{\mathrm{C}}{g}_{\theta }=\mathit{U}({\sum }_{i=\mathrm{1}}^K{\mathit{W}}^{GCN}{T}_k(\tilde{\Lambda })){\mathit{U}}^{\mathrm{T}}{\mathit{X}}^{\mathrm{N}\mathrm{A}}\\ ={\sum }_{i=\mathrm{1}}^K{\mathit{W}}^{GCN}{T}_i(\tilde{L}){\mathit{X}}^{\mathrm{N}\mathrm{A}}\end{array}（14）

其中， X^NA和 X^GCN是GCN层的输入和输出矩阵， W^GCN是可学习的参数，*_G为Chebyshev多项式构造出的卷积核.

1.4 超参数估计

1.4.1 时间跨度估计

时间跨度TS是时间卷积层GDCCN的卷积核的大小.在前期研究准备过程中，我们发现现有文献中对TS的选择是基于经验的.例如，交通流量预测中一般选择24（一天24小时）×7（一周7天），并且这种经验选择仍然用于文献［21］中的所有多变量时序数据集.但是对于不同领域内的数据集，例如工业或金融数据集，使用这个经验值是不合适的.为了解决这个问题，提出了一个时间跨度估计算子以估计GDCCN的卷积核的大小.

考虑到更有效地利用时间序列中包含的信息，使用信息论中的经典指标：CD和LS，估计能够等效包含原始动态信息的时间维数的最小值^［22］，将其作为时间跨度TS.CD反映了动态系统中不规则变化的程度.系统变化越复杂，CD越大，表示系统演化所需的数据维数也越高.此外，任何耗散系统的LS中至少有一个维度应小于0，并且所有维度之和应小于0.因此，当选择的TS不能覆盖时间序列数据的时间动态时，LS各项之和大于零.基于此，本文提出了一种基于动态系统分析的时间跨度估计算法.伪代码如算法2所示.

1.4.2 扩张率估计

时间序列中的每一组收集到的多变量时序数据都是各种影响因素的综合结果，这些影响因素大致可以分为三种：趋势性、周期性和随机性.每一时刻多变量的实际变化通常是由若干影响因素的叠加或组合引起的.因为工业领域的变量具有不同的物理意义，所以每个变量的趋势和周期变化很可能是不同的.本节将变量的趋势和周期变化定义为时间节律.

基于此，本文采用基于动态系统分析的方法对节律时钟进行估计，以指导扩张率的选择.选择互信息（Mutual information， MI）来估计每个变量x_i 的时间节律T（i， i）.T（i， i）的计算公式如下：

I(x_i)=\mathrm{2}H(x_i)-H(x_i,x_i)（15）

H(x_i)=-{\displaystyle \sum _{p=\mathrm{1}}^d}{P}_{x_i}(x_{i,p})\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{P}_{x_i}(x_{i,p})（16）

H(x_i,x_i)=-{\displaystyle \sum _{p=\mathrm{1}}^d}{P}_{x_i,x_i}(x_{i,p},x_{i,p})\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{P}_{x_j,x_i}(x_{i,p},x_{i,p})（17）

T（i， i）是I（x_i ）的第一个局部最小值，表示系统获取信息的时间尺度.同时，我们计算T（i， j）得到变量x_i 和变量x_j 之间的延迟时间，并进行数据对齐.扩张卷积数据对齐流程图如图9所示，右上角的子图是变量之间的对齐过程.x_i 是要预测的变量.x_j 的t+ T（x_i， x_j ）时刻和x_k 的t+T（x_i， x_k ）时刻与 x_i 的t时刻对齐.右下角的子图显示了不同扩张率的扩张卷积对不同变量的处理.

1.5 模型训练与测试

均方误差损失函数用于模型训练优化，损失函数的定义式为：

\mathrm{L}\mathrm{o}\mathrm{s}\mathrm{s}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}{(\mathit{Y}-\widehat{\mathit{Y}})}^{\mathrm{2}}（18）

其中，n是时间序列中训练数据的总数， Y 是真实值，\widehat{\mathit{Y}}是预测值.

根据上述SWST-GAT框架，利用Adam优化算法在反向传播中对每个权重参数求网络误差的梯度，通过参数更新过程得到新的权重.迭代计算模型权重，直到达到预定的小损失，并获得最佳预测值。选择Adam作为优化算法的原因是它可以为不同的参数设计独立的自适应学习率，计算效率较高.训练算法具体细节在算法3中给出.

2 电力负荷预测实验分析

本节将在电力负荷数据EL上验证所提出的网络SWST-GAT的预测性能，EL数据集是新加坡某电站2012~2014年间321个客户的用电量（kWh），采样频率为15 min.数据集存放有26 304个变量数为321的样本，采样率为1 h.数据对应Lyapunov谱如图10（a）所示，根据基于小世界网络性质的自适应k-近邻选择算法，计算得到的h和ACC（ G ）曲线如图10（b）所示，因此，选定数据集时间跨度TS=4、近邻数k=83.本节所有实验均在Windows 系统上编译和测试（CPU：Intel（R） Core （TM） i9-10900K CPU @ 3.70 GHz，GPU：NVIDIA GeForce RTX 3 090）.

针对模型的预测精度，本文使用五个评价指标对预测性能进行评价，包括平均绝对误差（Mean Absolute Error， MAE）、均方根误差（Root Mean Square Error， RMSE）、平均绝对百分比误差（Mean Absolute Percentage Error， MAPE）和相关系数（Correlation Coefficient， CC）.MAE，RMSE，MAPE的值越小，CC的值越大，所评价模型的预测精度越高.

\mathrm{M}\mathrm{A}\mathrm{E}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}|Y_i-{\widehat{Y}}_i|（19）

\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}({\mathit{Y}}_i-{\widehat{\mathit{Y}}}_i{)}^{\mathrm{2}}}（20）

\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}|\frac{{\mathit{Y}}_i-{\widehat{\mathit{Y}}}_i}{\mathit{Y}}|\times \mathrm{100}\mathrm{\%}（21）

\mathrm{C}\mathrm{C}=\frac{\mathrm{C}\mathrm{o}\mathrm{v}({\mathit{Y}}_i,{\widehat{\mathit{Y}}}_i)}{\sqrt[]{\mathrm{V}\mathrm{a}\mathrm{r}(\mathit{Y})\mathrm{V}\mathrm{a}\mathrm{r}(\widehat{\mathit{Y}})}}\times \mathrm{100}\mathrm{\%}（22）

2.1 实验结果

为了证明SWST-GAT的有效性，将SWST-GAT与五个多变量时序预测模型进行比较，模型的简要描述在表1中列出.五个对比模型分别为TPA-LSTM^［23］、LSTNet^［24］、DCGNet^［25］、Graph WaveNet^［26］和MTGNN^［21］.TPA-LSTM使用一组滤波器来提取时不变的时间模式.在此基础上，提出了一种新的注意机制来选择相关的时间序列，进行预测；LSTNet使用CNN来提取变量之间的短期局部依赖模式，并使用RNN发现时间序列趋的长期模式.同时，利用传统的自回归模型来解决神经网络模型的尺度不敏感问题；DCGNet使用深度CNN提取多变量的局部耦合特征和门控循环单元网络提取时间维度的非线性动态特征；Graph WaveNet通过建立一个新的自适应依赖矩阵，对节点嵌入进行学习，捕获数据中隐藏的空间依赖，同时使用一维的CNN进行长序列的特征提取；MTGNN提出一个单向图结构生成算法，并结合DCCN和GCN对多变量数据进行预测.

所有比较的方法都使用滑动窗口输入，表2总结了六种模型的评估结果，最优结果用红色字体加粗显示，次优结果用加粗显示.六种预测方法的真实值与预测值对比如图11所示，对应的预测误差曲线如图12所示.从评估结果可以看出本节提出的SWST-GAT模型预测精度最好，RMSE和MAE最小，CC最大，表明真实值和预测值之间变化趋势基本一致.

基于LSTM的TPA-LSTM和LSTNet模型的MAE、RMSE和MAPE明显高于其他模型，预测精度最低，表明这类模型不能轻易地适应实际值的局部趋势.与上述两种模型相比，结合动态RNN的DCGNet模型的预测精度有了显著提高，在部分数据集上取得了次优结果，如表2所示，在混合模型DCGNet模型的短程预测中，预测曲线符合实际趋势.基于GCN的Graph WaveNet和MTGNN与表2中的静态和动态循环网络相比，进一步验证了GNN在考虑变量间耦合关系的后处理多变量时间序列方面的有效性，尤其在长程预测方面.与所提出模型的预测性能相比，这些网络的预测性可以进一步提高.

此外，为了进一步评价不同预测模型的性能，引入了误差概率分布曲线.图13为六种不同预测模型下预测残差的概率分布.与其他模型相比，本文模型得到的预测值的误差分布更接近于0，变化更小，进一步说明了本文方法的可靠性.

2.2 模块有效性分析

为了证明邻接矩阵构建的近邻数k选择和GDCCN的时间跨度选扩张率的选择的有效性，进行了消融实验.首先定义不同的模型如下.

1） our-0.1：选择连接最近的0.1N个邻居.

2） our-0.8：选择连接最近的0.8N个邻居.

3） our-nTS：不使用时间跨度估计模块.

4） our-nDCGA：不使用基于DCGA.

5） our-nSENet：不使用SENet模块.

6） our-ndr：不使用扩张率估计模块.

对于上述模型，评价指标测得的测试结果如表3所示.

从这些实验结果得出的几个结论总结如下.

1）本文提出的基于小世界网络的邻接矩阵生成算法确实可以在保证预测精度的同时减少计算量.通过与our-0.1和our-0.8的结果相对比，可以看出当近邻数k足够大时，即使增大k，也不会提高整体算法的性能，有时反而会造成性能的衰退.造成这种情况的原因可能是大量无关的边相连后导致的图结构的扭曲，与真实的多变量间的耦合情况相去甚远，造成后续利用耦合关系进行预测的GCN的性能的下降.若选择的近邻数k较小，则无法通过图结构详细的表示出多变量间的耦合关系，导致GCN提取的网络耦合关系不足以完成高精度的预测.

2） SENet和NA确实可以增加对预测影响较大的变量的权重，抑制对预测影响较小的变量的权重，提高预测精度；

3） GDCCN的超参数选择十分重要，当沿用经验设定值时，模型的效果大打折扣.造成这种情况的原因可能是时间序列中的每一组收集到的多变量时序数据都是各种影响因素的综合结果.每一时刻多变量的实际变化通常是由若干影响因素的叠加或组合引起的.因为来自不同系统的变量具有不同的物理意义，所以每个变量的趋势和周期变化很可能是不同的.

3 结论

本文针对电力负荷预测中多变量间的非线性耦合特性难建模问题，提出了一种基于小世界理论的模型SWST-GAT，用于多变量时间序列的动态长程预测.针对多变量时序数据没有清晰图结构的问题，设计了权衡网络全局效率和冗余度的图基本结构构建算法；针对多变量时序变量间存在时滞的问题，构建了一个全新的时间卷积层以捕捉较长历史数据内的非线性关联关系；针对网络超参数选取凭经验的问题，提出了一种基于复杂动态系统的超参数估计方法，避免经验值导致长程预测效果的减弱.得到结论如下：

1） 相比于使用CNN捕获多变量间关系的方法，多变量时序预测方法的精度更高；

2） 使用GDCCN能捕捉更加长的历史数据的非线性特征，一定程度上缓解了长程预测精度的下降；

3） GDCCN的超参数选择十分重要，当沿用经典设置值时，模型的效果大打折扣；

4） 使用DCGA与SENet相结合，从图数据的结构和属性两个层面进行动态拟合的效果要比单纯使用GCN的效果好.

参考文献

[1] HSIAO Y H. Household electricity demand forecast based on context information and user daily schedule analysis from meter data ［J］. IEEE Transactions on Industrial Informatics， 2015， 11（1） ： 33-43.

[2] CHEN Y， XU P， CHU Y， et al. Short-term electrical load forecasting using the Support Vector Regression （SVR） model to calculate the demand response baseline for office buildings ［J］. Applied Energy， 2017， 195： 659-670.

[3] CAI M， PIPATTANASOMPORN M， RAHMAN S. Day-ahead building-level load forecasts using deep learning vs. traditional time-series techniques ［J］. Applied Energy， 2019， 236： 1078-1088.

[4] JURADO S， NEBOT À， MUGICA F， et al. Hybrid methodologies for electricity load forecasting： Entropy-based feature selection with machine learning and soft computing techniques ［J］. Energy， 2015， 86： 276-291.

[5] KUSTER C， REZGUI Y， MOURSHED M. Electrical load forecasting models： A critical systematic review ［J］. Sustainable Cities and Society， 2017， 35： 257-270.

[6] ZHANG D， AHMAD T， SHAH W A J I A. Efficient energy planning with decomposition-based evolutionary neural networks［J］. 2020， 8： 134880-134897.

[7] ZHANG N， LI Z， ZOU X， et al. Comparison of three short-term load forecast models in Southern California ［J］. Energy， 2019， 189： 116358.

[8] LEE Y-S， TONG L-I. Forecasting time series using a methodology based on autoregressive integrated moving average and genetic programming ［J］. Knowledge-Based Systems， 2011， 24（1） ： 66-72.

[9] 叶宗斌， 周步祥， 林楠， 等. 基于等维新息指数平滑法模型的中长期负荷预测 ［J］. 电力系统保护与控制， 2012， 40（18） ： 47-51.

[10] YE Z B， ZHOU B X， LIN N，et al. Mid-long term load forecasting based on equal dimension new information exponential smoothing model［J］. Power System Protection and Control，2012， 40（18） ： 47-51.（in Chinese）

[11] 赵超， 戴坤成. 自适应加权最小二乘支持向量机的空调负荷预测 ［J］. 重庆大学学报， 2016， 39（1） ： 55-64.

[12] ZHAO C， DAI K C. Air conditioning load forecasting based on adaptive weighted least squares support vector machine［J］. Journal of Chongqing University，2016， 39（1）： 55-64.（in Chinese）

[13] CORIZZO R， CECI M， FANAEE-T H， et al. Multi-aspect renewable energy forecasting ［J］. Information Sciences， 2021， 546： 701-722.

[14] TASCIKARAOGLU A. Evaluation of spatio-temporal forecasting methods in various smart city applications ［J］. Renewable and Sustainable Energy Reviews， 2018， 82： 424-435.

[15] BO D Y， WANG X， SHI C， et al. Beyond low-frequency information in graph convolutional networks［DB/OL］.

[16] SILVA T C. Machine learning in complex networks： modeling， analysis， and applications［D］.Beijing：Institute of Computing， Chinese Academy of Social Sciences，2012.

[17] MAIER M， LUXBURG U V， HEIN M， et al. Influence of graph construction on graph-based clustering measures［J］. NIPS’08：Proceedings of the 21st International Conference on Neural Information Processing Systems， 2008， 12：1025-1032.

[18] MARIANI S， RENDU Q， URBANI M， et al. Causal dilated convolutional neural networks for automatic inspection of ultrasonic signals in non-destructive evaluation and structural health monitoring ［J］. Mechanical Systems and Signal Processing， 2021， 157： 107748.

[19] DAUPHIN Y N， FAN A， AULI M， et al. Language modeling with gated convolutional networks［C］//Proceedings of the 34th International Conference on Machine Learning. Sydney， NSW， Australia， 2017.

[20] HE K， ZHANG X， REN S， et al. Deep residual learning for image recognition［C］//IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas， NV， USA， 2016.

[21] HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］//Conference on Computer Vision and Pattern Recognition. Salt Lake City， UT， USA， 2018.

[22] DEFFERRARD M， BRESSON X， VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering［C］//Proceedings of the 30th International Conference on Neural Information Processing Systems. Barcelona， Spain， 2016.

[23] WU Z， PAN S， LONG G， et al. Connecting the Dots： multivariate time series forecasting with graph neural networks［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York， NY， USA， 2020.

[24] BROWN R， BRYANT P， ABARBANEL H D I. Computing the Lyapunov spectrum of a dynamical system from an observed time series ［J］. Physical Review A， 1991， 43（6） ： 2787-2806.

[25] SHIH S， SUN F， LEE H. Temporal pattern attention for multivariate time series forecasting ［J］. Machine Learning， 2019， 108（8-9） ： 1421-1441.

[26] LAI G， CHANG W C， YANG Y， et al. Modeling long-and short-term temporal patterns with deep neural networks［C］//The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval. New York， NY， USA， 2018.

[27] ZHANG X， LEI Y， CHEN H， et al. Multivariate time-series modeling for forecasting sintering temperature in rotary kilns using DCGNet ［J］. IEEE Transactions on Industrial Informatics， 2021， 17（7） ： 4635-4645.

[28] WU Z， PAN S， LONG G， et al. Graph wavenet for deep spatial-temporal graph modeling［C］//Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao， China， 2019.

基金资助

国家自然科学基金青年资助项目（62106072）; 能源互联网供需运营湖南省重点实验室（2019TP1053）; 国网湖南省电力有限公司科技项目（5216A221N008）