改进时间序列网络的短期电力负荷预测方法

Improved Short-term Power Load Forecasting Method for Time Series Network

摘要

针对现有短期电力负荷预测方法未充分考虑负荷在不同时间尺度和空间特征的多维度变化，无法有效捕捉负荷变化而导致预测准确度不高的问题，提出一种基于双重注意力融合长短期时间序列网络（dual-attention fusion of long-and short-term time series networks，DALSTNet）的短期电力负荷预测方法. 首先，构建双重注意力模块，分别对不同时间和空间特征进行加权，有效区分电力负荷数据中不同时空特征的重要性；其次，构建多尺度因果卷积神经网络（convolutional neural network，CNN）和两个堆叠的双向长短期记忆（bidirectional long and short-term memory，BiLSTM）模块，用于学习电力负荷数据中存在的短期、长期与超长期重复特征，实现对电力负荷数据多维多尺度特征的联合提取；最后，利用融合层融合上述模块提取到的多维多尺度时空特征，并通过全连接层输出获得最终短期电力负荷预测结果. 基于IEEE Dataport住宅综合能源系统负荷数据集算例分析结果表明，本文提出方法能有效提取负荷数据的多维多尺度时空特征，相比现有方法在短期电力负荷预测中的均方根误差、平均绝对误差、平均绝对百分比误差等指标均表现更好，实现了更高的预测准确度和更优的稳定性.

Abstract

Aiming at the problem that the existing short-term power load forecasting methods do not fully consider the multidimensional changes of loads in different time scales and spatial characteristics， and are unable to effectively capture the load changes， which leads to low forecasting accuracy， a short-term power load forecasting method based on the dual-attention fusion of long and short-term time series networks （DALSTNet） is proposed. First， a dual-attention module is constructed to weight different temporal and spatial features to effectively distinguish the importance of different spatial and temporal features in the power load data. Secondly， a multiscale causal convolutional neural network （CNN） and two stacked bidirectional long and short-term memory （BiLSTM） modules are constructed to learn short-term， long-term and ultra-long-term repetitive features in the power load data， and to realize the joint extraction of multi-dimensional and multi-scale features in the power load data. Finally， the fusion layer is utilized to fuse the extracted multidimensional and multiscale spatio-temporal features from the above modules， and the final short-term power load prediction results are obtained through the output of the fully connected layer. The analysis results based on the IEEE Dataport residential integrated energy system load dataset show that the proposed method can effectively extract the multidimensional and multiscale spatial and temporal features of the load data， and compared with the existing methods， it performs better than the existing methods in short-term power load forecasting in terms of root mean square error， mean absolute error， mean absolute percentage error， and other indexes， and achieves higher forecasting accuracy and better stability.

Graphical abstract

关键词

负荷预测 / 注意力机制 / 时间序列 / 因果卷积 / 长短期记忆网络

Key words

load forecasting / attention mechanism / time series / causal convolutional / long and short-term memory networks

在全球能源转型和智能电网建设背景下，随着电力系统的复杂性和规模不断扩大，电力负荷预测的重要性日益突出^［1］. 短期负荷预测（short time load forecasting， STLF）通常指对未来一小时至几天的电力负荷大小进行预测，是电网运营、实时调度及市场交易决策的重要依据^［2］. 准确的短期负荷预测能为电网调度提供关键数据支撑，从而优化电力负荷分配和发电策略，有力支撑电网的安全、稳定和经济运行^［3］.

近年来，针对短期电力负荷预测准确性，许多学者开展了系列研究. 刘明等^［4］采用K_means++聚类与RF-GRU组合模型，通过聚类算法对数据进行分群，并使用RF-GRU模型针对每一群体进行预测，提高预测的准确性. 张异殊等^［5］通过使用灰狼优化算法优化支持向量回归的参数，有效提升该模型的预测精度. 鲁斌等^［6］提出基于LSTNet-Skip的多元负荷预测模型，结合长短期记忆网络捕捉时间序列数据的长期依赖关系，并通过周期跳跃连接来处理周期性变化. 李丹等^［7］提出基于多维时序信息融合的短期电力负荷预测方法，整合多种时间维度的数据，通过丰富信息源提高预测的准确性. 张昆明等^［8］提出考虑多维时域特征的行业中长期负荷预测方法，采用不同模型分别提取时域上的全局、局部和残差特征，实验结果证明了所提方法的有效性. 然而，上述研究着重考虑负荷存在的多维时序特征并据此构建模型来提升预测的准确度，忽视了对预测结果同样重要的空间信息，未从多特征混合提取的角度进行相关研究.

多特征混合短期负荷预测模型在时空信息综合利用方面具有显著优势，为此孔祥玉等^［9］通过引入经验模态分解（empirical mode decomposition，EMD）技术处理电力负荷数据，提高预测结果精度. 邓带雨等^［10］提出集成经验模态分解（ensemble empirical mode decomposition，EEMD）技术，旨在提高分解结果的稳定性，并减少噪声对预测模型的干扰. Lü等^［11］提出变分模态分解（variational mode decomposition，VMD）方法，该方法能更精确提取负荷数据中的主要模态，从而增强模型的预测能力. Rubasinghe等^［12］、姚程文等^［13］提出结合卷积神经网络（CNN）和循环 神经网络（recurrent neural network，RNN）的卷积神经网络-循环神经网络混合模型（convolutional neural network-recurrent neural network，CNN-RNN）进行短期负荷预测，该模型通过多个CNN层在不同时间窗口下对负荷数据进行卷积操作，从而提取多维时空特征，使得模型的预测精度进一步提高. 然而，上述方法的多特征提取能力有限，且并未对不同时间和空间特征的重要性加以区分，导致其预测准确度仍有待提高.

为此，本文提出一种基于双重注意力融合长短期时间序列网络（DALSTNet）的短期电力负荷预测方法. 首先，通过构建多尺度因果CNN和两个堆叠的BiLSTM模块来学习负荷数据中存在的短期、长期与超长期重复特征，实现多维多尺度特征的联合提取；其次，构建双重注意力机制模块分别对不同时间和空间特征进行加权进行特征重要性区分，进一步提高模型对关键时空特征的学习能力；再次，用融合层融合上述模块提取到的多维多尺度时空特征，并通过全连接层输出获得最终预测结果；最后，基于公开住宅综合能源系统负荷数据集开展对比实验与消融实验. 实验结果表明，本文方法的均方根误差、平均绝对误差和平均绝对百分比误差分别为0.521 2 kW、0.368 8 kW和0.099 7%，均优于现有模型，验证了本文提出方法的有效性和优越性.

1 电力负荷数据分析与处理

在进行短期电力负荷预测时，历史负荷数据所包含的时间特征及待预测负荷所处位置的空间特征都对模型的预测性能有重要影响. 在此基础上，本文以IEEE Dataport的住宅综合能源系统数据集^［14］为例开展相关研究. 该数据集收集了2010年12月1日到2018年11月28日期间该住宅中多个客户各种负载概况汇总的负荷数据，以及该住宅楼所处位置的相关天气变量如气温、气压、相对湿度、太阳辐射和风速等，其采样间隔为1 h.

1.1 电力负荷影响因素分析

电力负荷数据作为常见的时间序列数据，具有短期和长期重复模式，具体表现为：负荷序列与自身的延迟值具有明显的相关性和周期性，且某一时刻的负荷与前若干时间步及前若干天中每天同一时刻的相关性较大，同时，电力负荷存在以1周为周期的超长期重复模式.

时间特征指负荷随时间变化的周期模式（如小时、日、周）；天气特征包括气温、湿度等外部变量，其与负荷变化存在强相关性^［15］. 为充分利用电力负荷数据中存在的短期、长期和超长期重复特征，同时考虑各种因素的影响，本文将预测时刻前一天内每个时间节点与前一天至前一周每天相同时刻的负荷及对应天气数据作为模型的输入特征数据，如图1所示. 图1中，E、P、G、H、W、R分别表示电力负荷、气压、气温、相对湿度、风速和太阳辐射，k-1、k-2、…、k-23分别表示预测时刻k的前1 h、2 h、…、23 h，d-1、d-2、…、d-7表示预测时刻k的前1 d、2 d、…、7 d. 输入特征中前一天内每小时的数据用于学习短期和长期重复模式，前一周每天同一时刻的数据用于学习超长期重复模式.

1.2 预测相关数据预处理

为提升短期电力负荷预测相关数据质量，对缺失数据和不同特征数据的量纲差异进行预处理.

对原始负荷及天气数据中出现的单一缺失数据，使用其相邻两个数据的平均值为填充数据，若出现连续缺失数据，则使用与该时刻相距最近的前后时刻各个非缺失数据的平均值为填充数据.

此外，为消除不同特征之间的量纲差异，对负荷及天气变量数据进行归一化处理，其计算式如下：

x_n=\frac{x-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}{x_{\mathrm{m}\mathrm{a}\mathrm{x}}-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}（1）

式中：x_n 为归一化后的电力负荷及天气变量数据；x为原始电力负荷及天气变量数据；x_max和x_min分别为原始电力负荷及天气变量数据中的最大值和最小值.

2 DALSTNet短期电力负荷预测模型

2.1 多尺度因果CNN模块

短期电力负荷预测问题本质上是多元时间序列预测问题，卷积神经网络（CNN）能自动捕获序列中蕴含的深层次信息及不同特征变量同负荷间的相关性，同时降低预测模型的复杂度，适合捕获时间序列中的短期特征^［6］. 为学习不同尺度的短期特征及序列的时序性，本文构建多尺度因果CNN （multi-scale causal CNN， MSCCNN）模块，其结构如图2所示.

由图2可知，本文使用3层卷积核大小为3、5、7的因果卷积单元，采用串行连接的方式来顺序学习电力负荷数据中多个时间尺度的短期特征. 其中，3、5、7的卷积核Kernel分别用于提取待预测时刻前 3 h、5 h、7 h的特征，从而使得模型能覆盖更全面的短期模式. 每个因果卷积单元由若干个相同尺寸的卷积核组成.以第一层因果卷积单元举例，第一层因果卷积单元的第k个卷积核经过输入特征变量矩阵 X 的计算式如下：

{\mathit{h}}_k=\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(W_{\mathrm{k}}\mathrm{*}\mathit{X}+b_k)（2）

式中： h_k 为电力负荷变量矩阵经过因果卷积后的输出向量；ReLU函数为ReLU（x）=max（0，x），实现对输入数据的非线性变化；*为因果卷积运算，其输出值由前一层与当前位置相同及更早的电力负荷相关数据通过卷积运算获得. 因果卷积通过“causal”填充，确保每个时间步的输出仅依赖当前及历史输入，避免传统CNN因对称填充导致的未来信息泄露问题； W_k 为卷积核的权重矩阵；b_k 为偏置. 所有输出相量拼接得到大小为T×D的输出矩阵 H，其中D为CNN的通道个数，T为输入电力负荷变量矩阵的时间步长数.

2.2 堆叠BiLSTM模块

历史电力负荷数据中蕴含的时序信息为短期电力负荷预测提供了重要支持，长短期记忆（long short-term memory，LSTM）网络通过其独特的结构，可有效解决传统RNN在处理长序列时出现的梯度消失或爆炸问题，使得模型能够在短期电力负荷预测过程中选择性地保留或遗忘信息，这种特性使LSTM非常适合捕捉负荷数据中的长期时间依赖关系，帮助提高短期电力负荷预测的准确性，其具体结构如图3所示.

对于短期电力负荷预测问题，负荷相关时间序列的前向和后向信息都能发挥重要作用^［12］，为使模型能学习到数据中更多的信息和更复杂的模式，本文构建堆叠BiLSTM网络结构图如图4所示.

由图4可知，堆叠BiLSTM模块由多个顺序堆叠的单层BiLSTM网络组成，对于单层BiLSTM网络，计算式分别为：

{\vec{h}}_t=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(x_t,{\vec{h}}_{t-\mathrm{1}})（3）

{\stackrel{⃖}{h}}_t=\mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(x_t,{\stackrel{⃖}{h}}_{t-\mathrm{1}})（4）

H_t=\left[{\vec{h}}_t,{\stackrel{⃖}{h}}_t\right]（5）

式中：LSTM为常规LSTM网络计算过程；{\vec{h}}_{t-\mathrm{1}}、{\vec{h}}_t分别为t-1、t时刻前向LSTM的输出；{\stackrel{⃖}{h}}_{t-\mathrm{1}}、{\stackrel{⃖}{h}}_t分别为t-1、 t时刻后向LSTM的输出；H_t 为t时刻BiLSTM的输出.

本文构建两个堆叠BiLSTM模块，分别为SBiLSTM（stacked BiLSTM）和SUBiLSTM（stacked ultra BiLSTM），分别针对长期和超长期的电力负荷变化趋势进行有效学习，即用来分别学习负荷数据中存在的长期和超长期重复性. 二者的区别是输入不同，SBiLSTM的输入为图3所示的完整特征变量矩阵，SUBiLSTM主要用于捕获超长期特征，其输入仅为待预测时刻前1~7 d每天相同时刻的负荷及相关天气的变量矩阵.

2.3 双重注意力模块

通过对不同时空特征进行加权，模型能够在学习过程中更好地聚焦于对短期电力负荷预测至关重要的因素，从而提升预测的准确性. 因此，本文设计时空双重注意力（dual attention， DA）模块，以进一步优化短期负荷预测精度，其中空间注意力模块的实现过程如图5所示.图5中，L为全连接层， C 为特征矩阵.

由图5可知，设定输入电力负荷变量矩阵 X 中有S个特征、T个时间步长的数据，可表示为：

\mathit{X}=\left[\begin{array}{l}{x}_{\mathrm{1}}^{\mathrm{1}}{x}_{\mathrm{1}}^{\mathrm{2}}\cdots x_{\mathrm{1}}^S\\ x_{\mathrm{2}}^{\mathrm{1}}{x}_{\mathrm{2}}^{\mathrm{2}}\cdots x_{\mathrm{2}}^S\\ ⋮⋮⋮\\ x_T^{\mathrm{1}}{x}_T^{\mathrm{2}}\cdots x_T^S\end{array}\right]\in {\mathbf{R}}^{\mathrm{T}\times \mathrm{S}}（6）

式中： X_t =［x_t¹，x_t²，…， x_t^s ］（1≤t≤T）为时刻t下S个输入特征的向量； X^s =［x₁^s， x₂^s，…， x_T^s ］（1≤s≤S）为输入特征s的T个时间步的向量.

空间注意力模块对输入特征变量矩阵 X 进行空间特征加权的计算式分别如下：

\mathit{Q}={\mathit{W}}^{\mathrm{Q}}\mathit{X}（7）

\mathit{K}={\mathit{W}}^{\mathrm{K}}\mathit{X}（8）

\mathit{V}={\mathit{W}}^{\mathrm{V}}\mathit{X}（9）

A\left(\mathit{Q},\mathit{K},\mathit{V}\right)=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)\mathit{V}（10）

\mathbf{h}\mathbf{e}\mathbf{a}{\mathbf{d}}_i=A\left(\mathit{Q}{\mathit{W}}_i^Q,\mathit{K}{\mathit{W}}_i^K,{\mathit{V}}_i^V\right)（11）

\mathbf{M}\mathbf{H}=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}\left(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{2}},\cdots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_h\right){\mathit{W}}^O（12）

式中： Q 、 K 、 V 分别为查询矩阵、键矩阵和值矩阵； W^Q、W^K、W^V 分别为对应的权重矩阵；A（∙）为缩放点积注意力函数；Softmax（∙）为归一化指数函数；d_k 为K的维度；head_i 为第i个头的自注意力输出矩阵；h为多头自注意力的头数；Concat（∙）表示拼接操作；MH为空间注意力模块最终输出的多头自注意力权重向量； W^O 为转换矩阵.

令 α_s =MH=［α₁， α₂，…， α_s ］，则电力负荷变量矩阵 X 经过空间注意力模块后的空间权重矩阵为 D_s =diag（ α_s ）=diag（α₁，α₂， …，α_s ）∈R^S×S 二者相乘得到特征变量加权矩阵 X_w，其表达式如下：

{\mathit{X}}_{\mathrm{w}}={\mathit{D}}_s\mathit{X}=\left[\begin{array}{l}{\alpha }_{\mathrm{1}}{x}_{\mathrm{1}}^{\mathrm{1}}{\alpha }_{\mathrm{2}}{x}_{\mathrm{1}}^{\mathrm{2}}\cdots {\alpha }_S{x}_{\mathrm{1}}^S\\ {\alpha }_{\mathrm{1}}{x}_{\mathrm{2}}^{\mathrm{1}}{\alpha }_{\mathrm{2}}{x}_{\mathrm{2}}^{\mathrm{2}}\cdots {\alpha }_S{x}_{\mathrm{2}}^S\\ ⋮⋮⋮\\ {\alpha }_{\mathrm{1}}{x}_T^{\mathrm{1}}{\alpha }_{\mathrm{2}}{x}_T^{\mathrm{2}}\cdots {\alpha }_S{x}_T^S\end{array}\right]（13）

空间注意力模块对电力负荷变量矩阵中的不同空间特征进行自适应加权，考虑不同特征间的差别，但并未改变电力负荷变量矩阵的形状. 时间注意力模块的实现过程如图6所示.

由图6可知，若MSCCNN模块最后一层的通道数，或SBiLSTM、SUBiLSTM模块最后一层的BiLSTM单元数为D，则其输出矩阵为：

\mathit{H}=\left[\begin{array}{l}{h}_{\mathrm{1}}^{\mathrm{1}}{h}_{\mathrm{1}}^{\mathrm{2}}\cdots h_{\mathrm{1}}^D\\ h_{\mathrm{2}}^{\mathrm{1}}{h}_{\mathrm{2}}^{\mathrm{2}}\cdots h_{\mathrm{2}}^D\\ ⋮⋮⋮\\ h_T^{\mathrm{1}}{h}_T^{\mathrm{2}}\cdots h_T^D\end{array}\right]\in {\mathbf{R}}^{\mathrm{T}\times \mathrm{D}}（14）

式中： H_t =［h_{\mathrm{t}}^{\mathrm{1}}，h_{\mathrm{t}}^{\mathrm{2}}，…，h_{\mathrm{t}}^{\mathrm{D}}］（1≤t≤T）为时刻t下D个CNN通道或BiLSTM单元的输出向量； H^d =［h_{\mathrm{1}}^{\mathrm{d}}，h_{\mathrm{2}}^{\mathrm{d}}， …， h_{\mathrm{T}}^{\mathrm{d}}］（1≤d≤D）为通道或BiLSTM单元d的T个时间步的输出向量.

时间注意力模块对输出矩阵 H 进行时间特征加权平均的计算式为：

e_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\left(\mathit{W}{\mathit{H}}_t+b_t\right)（15）

{\beta }_t=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(e_t\right)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}\left(e_t\right)}{{\displaystyle \sum _{t=\mathrm{1}}^T}\mathrm{e}\mathrm{x}\mathrm{p}\left(e_t\right)}（16）

{\mathit{H}}_{\mathrm{w}}={\displaystyle \sum _{t=\mathrm{1}}^T}{\beta }_t{\mathit{H}}_t（17）

式中：e_t 为相似度得分，代表历史状态 H_t 对输出状态的影响程度； H_t 为t时刻的输出向量； W_t 为对应的权重矩阵；b_t 为偏置；β_t 为 H_t 的权重系数； H_w为经过时间注意力加权平均后的输出向量.

令输出矩阵 H 的时间权重矩阵为 D_t =β_t =［β₁， β₂， β₃，…，β_T ］，两者相乘得到经过时间注意力加权的输出向量 H_w，其表达式如下：

{\mathit{H}}_{\mathrm{w}}={\mathit{D}}_t\mathit{H}=\left[\begin{array}{l}{\beta }_{\mathrm{1}}{h}_{\mathrm{1}}^{\mathrm{1}}{\beta }_{\mathrm{2}}{h}_{\mathrm{2}}^{\mathrm{1}}\cdots {\beta }_T{h}_T^{\mathrm{1}}\\ {\beta }_{\mathrm{1}}{h}_{\mathrm{1}}^{\mathrm{2}}{\beta }_{\mathrm{2}}{h}_{\mathrm{2}}^{\mathrm{2}}\cdots {\beta }_T{h}_T^{\mathrm{2}}\\ ⋮⋮⋮\\ {\beta }_{\mathrm{1}}{h}_{\mathrm{1}}^D{\beta }_{\mathrm{2}}{h}_{\mathrm{2}}^D\cdots {\beta }_T{h}_T^D\end{array}\right]（18）

时间注意力模块对输出矩阵 H 中的不同时刻的特征进行加权平均，考虑不同时刻间的差异，且改变了输出矩阵的形状.

2.4 DALSTNet短期负荷预测模型结构

本文提出的DALSTNet短期电力负荷预测模型由多个部分组成，旨在通过充分利用时空特征，提升短期电力负荷预测的准确度与稳定性，其整体结构如图7所示. 整个模型的具体实现过程为：首先，利用空间注意力模块对历史电力负荷数据与气象特征（如温度、湿度、风速等）进行加权处理，突出对负荷变化影响较大的空间特征，兼顾不同空间和时间尺度上的影响因素；其次，在特征提取层分别构建MSCCNN、SBiLSTM和SUBiLSTM网络，用于提取电力负荷数据的时序特征，捕捉短期、长期和超长期的周期性波动规律；再次，通过时间注意力模块对不同时刻的电力负荷多维特征进行动态加权，强化关键时间节点的信息并抑制噪声和冗余干扰，与空间注意力模块形成正交互补关系；最后，通过融合层将各网络输出的电力负荷多维特征进行整合，并借助全连接网络产出最终的短期电力负荷预测结果.

3 DALSTNet短期负荷预测实现流程

本文提出的基于DALSTNet短期电力负荷预测方法的实现流程如图8所示，具体实现步骤如下：

1）获取电力负荷数据和气象数据，分析原始数据，对数据进行数据预处理，包括缺失值填充、异常值替换等.

2）将电力负荷与气象数据归一化以统一量纲.

3）使用滑动窗口法对数据进行处理，构建短期负荷预测数据集，并将数据集划分为训练集和测试集.

4）构建DALSTNet短期负荷预测模型，具体包括多尺度因果CNN、两个堆叠的BiLSTM模块、双重注意力机制模块、融合层以及全连接层.

5）设定模型最大迭代次数及能接受的最大误差，本文分别设定最大迭代次数为500次，模型误差为0.1%.

6）使用训练集对模型进行训练，并在每轮训练完成后检查是否达到最大迭代次数或设定的误差，若达到则停止训练并保存最优模型参数，否则继续训练模型.

7）调用已训练的模型进行短期负荷预测，采用均方根误差、平均绝对误差、平均绝对百分比误差等指标来分析模型的预测性能.

8）输出预测值并反归一化，得到待预测电力负荷的最终预测值，实现短期电力负荷预测.

4 算例分析

4.1 试验设置

本文试验均在Python3.8环境下进行，模型采用Tensorflow框架实现. 使用的计算机硬件配置为AMD Ryzen9 3900X CPU，NVIDIA GeForce RTX 2080Ti GPU，32 GB RAM，操作系统为Windows10.

基于IEEE Dataport住宅综合能源系统负荷数据集进行算例分析，采用1.2节方法对原始电力负荷及相关天气变量数据进行数据预处理操作，并采用滑动窗口法构建模型的输入输出，滑动窗口步长为1. 该数据有70 080组，使用滑动窗口法后有69 912组样本可用于仿真试验，按照4∶1的比例将所有样本划分训练集和测试集，用于评估预测模型的性能. 模型采用的预测策略为单步预测，即利用历史数据提前预测下一时刻的电力负荷.

本文构建的模型参数设置：空间注意力模块数分别为［3， 3， 3］；MSCCNN模块3层因果卷积单元的通道个数分别为［64， 64， 64］，卷积核大小依次为［3， 5， 7］，填充方式设置为“causal”；SBiLSTM模块3层BiLSTM层的隐藏单元个数分别为［128， 128， 128］，SUBiLSTM模块3层BiLSTM层的隐藏单元个数分别为［64， 64， 64］；模型训练采用均方差损失，训练轮数为500，采用Adam优化算法进行训练，学习率为0.001. 对比模型超参数设置如表1所示，采用网格搜索法确定模型的最佳超参数组合，后续对比模型的实验结果均处于最佳超参数组合情况得出. 对比模型包括3类：第一类是传统机器学习预测模型，包括支持向量回归（support vector regression，SVR）^［16］、随机森林（random forest，RF）^［17］、极限梯度提升 （extreme gradient boosting，XGBoost）^［18-19］；第二类是单一深度学习预测模型，包括卷积神经网络 （CNN）^［20］、长短时记忆网络（LSTM）^［21-22］、门控循环单元网络 （gated recurrent unit，GRU）^［23-24］、双向长短时记忆网络（bidirectional long short-term memory，BiLSTM）^［25］；第三类是混合深度学习预测模型，包括卷积长短期记忆网络（convolutional neural network-long short-term memory，CNN-LSTM）^［26-27］、编码器-解码器结构改进的长短期记忆网络 （sequence to sequence long short-term memory，Seq2Seq-LSTM）^［28］、注意力机制改进的卷积双向长短期记忆网络 （convolutional neural network-bidirectional long short-term memory-attention，CNN-BiLSTM-A）^［29-30］. 所有对比深度学习模型均采用Adam^［31］优化算法、均方差损失函数进行模型训练，学习率为0.001，批大小为64，训练轮数为500.

4.2 模型评估指标

本文采用均方根误差E_RMSE，平均绝对误差E_MAE，平均绝对百分比误差E_MAPE等指标来评估模型的预测结果. 3个评估指标的计算式分别如下：

E_{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{t=\mathrm{1}}^n}{\left({\tilde{y}}_t-y_t\right)}^{\mathrm{2}}}（19）

E_{\mathrm{M}\mathrm{A}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{t=\mathrm{1}}^n}\left|{\tilde{y}}_t-y_t\right|（20）

E_{\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{t=\mathrm{1}}^n}\left|\frac{{\tilde{y}}_t-y_t}{y_t}\right|\times \mathrm{100}\mathrm{\%}（21）

式中：n为预测样本总数；{\tilde{y}}_t和y_t分别为负荷在时刻t的预测值和实际值.

4.3 不同模型对比分析

为验证本文模型在不同设置下的性能表现，并体现其在处理复杂电力负荷预测任务中的优越性，本节通过与现有机器学习模型和其他深度学习模型的预测结果进行对比分析，不同模型预测结果的比较如表2所示.

由表2可知，由于本文提出的DALSTNet模型在结构设计上充分考虑了负荷数据的多维时空特征，通过引入双重注意力机制，DALSTNet模型在负荷预测任务中展现出显著的精度和稳定性优势. 与现有机器学习模型（如SVR、RF、XGBoost）相比，DALSTNet在E_RMSE、E_MAE和E_MAPE三项指标上均大幅降低，尤其在复杂非线性负荷数据的预测中表现出色. 相较于深度学习模型（如LSTM）和多层复合模型（如CNN-BiLSTM-A），本文DALSTNet预测精度同样更高，E_MAPE仅为0.099 7%，显著优于其他模型，主要得益于DALSTNet独特的双重注意力机制：时间注意力机制动态调整各时间步的权重，增强了对关键时间点的关注，而特征注意力机制则根据各特征的重要性赋予不同权重，有效提升了多维特征提取的精准度，该结构设计使DALSTNet在捕捉负荷数据的多维时空特征和应对复杂负荷变化方面具备更强的适应性和鲁棒性，充分验证了其在短期电力负荷预测中的卓越性能.

为验证本文模型的通用性，选取上述模型中预测效果更优的模型与本文建立模型进行进一步对比分析. 采用负荷波动较大的冬季和夏季数据对模型进行验证，为消除日历因素影响，分别对冬季典型周2018年2月5日至12日、夏季典型周2018年8月1日至8日的负荷数据进行预测，其预测结果分别如图9和图10所示.

由图9可知，本文建立模型的预测值几乎完全拟合了实际值的变化趋势，尤其在负荷快速上升和下降的时刻，表现出较好的动态响应能力，而RF、XGBoost和BiLSTM等模型存在不同程度的偏差，难以准确捕捉到负荷的极值变化. CNN-BiLSTM-A等模型虽然具备一定的动态预测能力，但在负荷波动剧烈的区域仍然存在预测误差.

由图10可知，夏季负荷的变化趋势较冬季更为剧烈，导致高峰负荷区间的预测难度更大. 本文建立模型仍能精确跟踪实际负荷曲线，规避了预测滞后和过度平滑现象. 而LSTM和Seq2Seq-LSTM等深度学习模型难以精准追踪实际曲线.

DALSTNet模型通过以下机制实现跨季节及高峰负荷场景下的高鲁棒性预测：时空双重注意力模块动态调整特征权重，时间注意力在冬季突变时段将关键时间点权重提升187%，精准捕捉瞬时变化；空间注意力在夏季高温时段强化气温特征权重至0.35，降低空调负荷预测误差至0.5%.多尺度因果CNN联合3 h、5 h、7 h卷积核覆盖小时至日级波动，SUBiLSTM模块识别周期规律，保障长期稳定性. 此外，训练阶段对气象数据注入±30%噪声，使模型在含噪多步预测中仍保持E_MAPE≤0.388 4%. 试验表明，该模型在冬季骤升和夏季高峰场景下误差均小于或等于1.2%，较传统模型提升86.2%，为电网极端工况调度提供了可靠技术支撑.

4.4 消融实验

为评估本文模型各个模块的有效性，本节进行模型的消融实验研究. 分别采用主要学习短期依赖关系的MSCCNN，能学习长期依赖关系的SBiLSTM，能学习长期和超长期依赖关系的LTNet（SBiLSTM+SUBiLSTM），能同时学习短期、长期和超长期依赖关系的LSTNet，在LSTNet基础上加入DA模块的DALSTNet作为对比模型. 消融实验结果比较如表3所示.

由表3可知，MSCCNN在短期内具有一定的预测准确性，由于缺乏对长期依赖的学习能力，导致E_RMSE为9.351 4 kW，E_MAE为7.348 6 kW，E_MAPE为1.935 1%. SBiLSTM更注重对长期依赖关系的学习，E_RMSE、E_MAE和E_MAPE分别为1.082 4 kW、0.799 4 kW和0.236 6%，表明SBiLSTM能够更好地捕捉到时间序列数据中的长期依赖特征. LTNet能同时学习长期和超长期依赖关系，E_RMSE、E_MAE和E_MAPE分别为0.789 5 kW、0.564 9 kW 和0.154 9%. LSTNet模型能同时捕捉短期、长期和超长期依赖关系，E_RMSE、E_MAE和E_MAPE分别为0.638 8 kW、0.464 4 kW和0.132 4%. 本文提出的DALSTNet模型在LSTNet的基础上引入DA模块，进一步强化对复杂时间序列中多层次依赖关系的学习和捕捉能力，E_RMSE、E_MAE和E_MAPE分别为0.521 2 kW、0.368 8 kW和0.099 7%. 上述实验结果表明，DALSTNet不仅有更强的捕捉短期、长期和超长期依赖关系能力，且能够更有效地融合不同时间尺度下的信息，显著提升了电力负荷预测的准确性和鲁棒性.

4.5 多步预测对比分析

为进一步验证模型对于不同预测时间尺度的预测效果，本节进行多步预测实验. 考虑数据集中的气象数据均为真实数据，而当前主要使用的短期气象预测方法的精度在70%以上，故在进行多步预测时给气象数据加入±30%的随机误差，以保证预测的合理性. 分别选取上述几类对比模型中预测效果最好的模型，即RF、BiLSTM和CNN-BiLSTM-A与本文模型针对测试集中2017年10月1日至2018年9月30日的负荷数据进行不同预测时间尺度的预测实验，结果如表4所示.

由表4可知，随着预测时间尺度的增加，所有模型的预测误差均有所增加，此符合多步预测的不确定性逐步累积的特点. 然而，本文模型在各个时间尺度下的E_RMSE、E_MAE和E_MAPE指标均显著低于对比模型，显示更为出色的预测精度.在3 h的短时间尺度预测中，本文模型的E_RMSE为0.576 6 kW，远低于其他模型，尤其相比于传统机器学习模型RF的2.461 4 kW，误差大幅减小. 随着时间尺度延长至1 d，本文模型E_RMSE仅为1.700 9 kW，而RF模型的E_RMSE高达45.144 9 kW，BiLSTM和CNN-BiLSTM-A模型分别为5.612 3 kW和4.817 6 kW. 在1 d的预测时间尺度下，本文模型的E_MAPE为0.388 4%，明显低于RF、BiLSTM和CNN-BiLSTM-A模型的7.669 9%、1.367 6%和1.159 4%. 表明本文模型不仅能更准确预测绝对负荷值，还可更好应对负荷波动带来的相对误差，从而为电力系统负荷管理和调度提供了更可靠的预测依据.

从测试集中随机选取一天进行日前负荷预测实验，结果如图11所示.

由图11可知，在电力负荷变化的峰谷时段，传统的RF模型出现明显偏差，尤其在高峰时段的预测精度较差. 而BiLSTM和CNN-BiLSTM-A在整体预测精度显著提升，尤其在负荷较为平稳的时段，能较好地预测负荷趋势. 然而，当负荷出现突变或显著波动时，上述模型仍存在一定的预测误差. 本文提出的模型在不同负荷变化情境下均表现良好的预测性能，尤其在高峰负荷时段能够准确预测负荷的上升和下降趋势，其预测曲线与实际负荷几乎完全重合. 上述结果表明，本文建立模型能有效学习负荷时间序列中的短期和长期依赖关系，同时具备较强的泛化能力，可良好应对电力负荷波动的复杂性.

5 结 论

针对电力负荷预测中多维时空特征的精准捕获和处理问题，本文提出了基于时空双重注意力融合长短期时间序列网络的短期电力负荷预测方法，实验结果表明：

1）本文构建的DALSTNet模型通过融合多尺度因果CNN和堆叠BiLSTM，有效捕捉了电力负荷数据的短期、长期和超长期特征，提高了预测的准确性和稳定性.

2）本文提出的时间注意力机制和特征注意力机制相结合，显著提升了模型对关键特征的选择和学习能力. 双重注意力机制的引入提升了模型的预测精度，相较于传统方法和单一深度学习模型具有明显优势.

3）本文构建模型在消融实验中相较于其他模型，在各项性能指标均有不同程度的提高，验证了本文方法各模块的有效性.

本文提出的基于时空双重注意力融合长短期时间序列网络的短期负荷预测方法展现了显著的性能优势，具有更稳定的预测性能和更高的预测精度，可为电力系统的优化调度和能量管理提供可靠的数据支持，未来该模型可进一步推广至其他时空特征提取需求的预测领域.

参考文献

[1] 朱继忠，董瀚江， 李盛林， 等 ．数据驱动的综合能源系统负荷预测综述［J］．中国电机工程学报，2021，41（23）：7905-7924．

[2] ZHU J Z， DONG H J， LI S L，et al ．Review of data-driven load forecasting for integrated energy system［J］．Proceedings of the CSEE，2021，41（23）：7905-7924．（in Chinese）

[3] QU K， SI G Q， SHAN Z H，et al ．Forwardformer：efficient transformer with multi-scale forward self-attention for day-ahead load forecasting［J］．IEEE Transactions on Power Systems，2024，39（1）：1421-1433．

[4] TALAAT M， FARAHAT M A， MANSOUR N，et al ．Load forecasting based on grasshopper optimization and a multilayer feed-forward neural network using regressive approach［J］．Energy，2020，196：117087．

[5] 刘明，尚尚 ．基于K_means++聚类与RF_GRU组合模型的电力负荷预测方法研究［J］．计算机与数字工程，2024，52（6）：1662-1667．

[6] LIU M， SHANG S ．Research on power load forecasting method based on K-means++ clustering and RF-GRU combined model［J］．Computer & Digital Engineering，2024，52（6）：1662-1667．（in Chinese）

[7] 张异殊，李宜伦，姚志远，等 ．基于VMD-GWO-SVR的短期电力负荷预测方法［J］．东北电力技术，2024，45（7）：27-31．

[8] ZHANG Y S， LI Y L， YAO Z Y，et al ．Short-term power load forecasting method based on VMD-GWO-SVR［J］．Northeast Electric Power Technology，2024，45（7）：27-31．（in Chinese）

[9] 鲁斌，霍泽健，俞敏 ．基于LSTNet-Skip的综合能源系统多元负荷超短期预测［J］．中国电机工程学报，2023，43（6）：2273-2282．

[10] LU B， HUO Z J， YU M ．Multi load ultra short-term forecasting of integrated energy system based on LSTNet-Skip［J］．Proceedings of the CSEE，2023，43（6）： 2273-2282．（in Chinese）

[11] 李丹，孙光帆，缪书唯，等 ．基于多维时序信息融合的短期电力负荷预测方法［J］．中国电机工程学报，2023，43（）：94-106．

[12] LI D， SUN G F， MIAO S W，et al. Short-term power load forecasting method based on multidimensional time series information fusion［J］. Proceedings of the CSEE，2023，43（Sup.1）： 94-106．（in Chinese）

[13] 张昆明，蔡珊珊，章天晗，等 ．考虑多维时域特征的行业中长期负荷预测方法［J］．电力系统自动化， 2023： 47（20）：104-114．

[14] ZHANG K M， CAI S S， ZHANG T H，et al ．Medium and long-term load forecasting method considering multi-dimensional time domain characteristics［J］．Automation of Electric Power Systems，2023：47（20）：104-114．（in Chinese）

[15] 孔祥玉，李闯，郑锋， 等 ．基于经验模态分解与特征相关分析的短期负荷预测方法［J］．电力系统自动化，2019，43（5）：46-52．

[16] KONG X Y， LI C， ZHENG F，et al ．Short-term load forecasting method based on empirical mode decomposition and feature correlation analysis［J］．Automation of Electric Power Systems，2019，43（5）：46-52．（in Chinese）

[17] 邓带雨，李坚，张真源，等 ．基于EEMD-GRU-MLR的短期电力负荷预测［J］．电网技术， 2020，44（2）： 593-602．

[18] DENG D Y， LI J， ZHANG Z Y，et al ．Short-term electric load forecasting based on EEMD-GRU-MLR［J］．Power System Technology，2020，44（2）： 593-602．（in Chinese）

[19] LÜ L L， WU Z Y， ZHANG J H， et al ．A VMD and LSTM based hybrid model of load forecasting for power grid security［J］．IEEE Transactions on Industrial Informatics， 2022， 18（9）：6474-6482．

[20] RUBASINGHE O， ZHANG X N， CHAU T K，et al ．A novel sequence to sequence data modelling based CNN-LSTM algorithm for three years ahead monthly peak load forecasting［J］．IEEE Transactions on Power Systems，2024，39（1）： 1932-1947．

[21] 姚程文， 杨苹， 刘泽健 ．基于CNN-GRU混合神经网络的负荷预测方法［J］．电网技术， 2020， 44（9）： 3416-3424．

[22] YAO C W， YANG P， LIU Z J ．Load forecasting method based on CNN-GRU hybrid neural network［J］．Power System Technology，2020， 44（9）： 3416-3424．（in Chinese）

[23] SAMAN T， MOHAMMAD J， MOEIN M A. 8 years of hourly heat and electricity demand for a residential building［EB/OL］. （2021-06-12）［2025-01-21］.

[24] ZHU K D， LI Y P， MAO W B，et al ．LSTM enhanced by dual-attention-based encoder-decoder for daily peak load forecasting［J］．Electric Power Systems Research，2022，208：107860．

[25] 江岳春， 杨旭琼， 贺飞， 等 ．基于EEMD-IGSA-LSSVM的超短期风电功率预测［J］．湖南大学学报（自然科学版）， 2016， 43（10）： 70-78．

[26] JIANG Y C， YANG X Q， HE F，et al ．Super-short-time wind power forecasting based on EEMD-IGSA-LSSVM［J］．Journal of Hunan University （Natural Sciences），2016，43（10）：70-78．（in Chinese）

[27] 李焱，贾雅君，李磊，等 ．基于随机森林算法的短期电力负荷预测［J］．电力系统保护与控制， 2020， 48（21）： 117-124．

[28] LI Y， JIA Y J， LI L，et al ．Short term power load forecasting based on a stochastic forest algorithm［J］．Power System Protection and Control， 2020， 48（21）： 117-124．（in Chinese）

[29] 孙超， 吕奇， 朱思曈， 等 ．基于双层XGBoost算法考虑多特征影响的超短期电力负荷预测［J］．高电压技术，2021，47（8）：2885-2898．

[30] SUN C， LÜ Q， ZHU S T，et al ．Ultra-short-term power load forecasting based on two-layer XGBoost algorithm considering the influence of multiple features［J］．High Voltage Engineering，2021，47（8）：2885-2898．（in Chinese）

[31] 刘锦涛， 孙玉芹， 郭子涛， 等. 基于Attention-GAT-LSTM的算法模型在新型电力系统中的应用探索［J］. 南方电网技术， 2025， 19（6）： 95-104．

[32] LIU J T， SUN Y Q， GUO Z T， et al. Exploration of the application of Attention-GAT-LSTM algorithm model in new power systems［J］. Southern Power System Technology， 2025， 19（6）： 95-104．（in Chinese）

[33] 王文卿，撖奥洋，于立涛，等 ．自编码器与PSOA-CNN结合的短期负荷预测模型［J］．山东大学学报（理学版），2019，54（7）：50-56．

[34] WANG W Q， HAN A Y， YU L T，et al ．Short-term load forecasting model based on autoencoder and PSOA-CNN［J］．Journal of Shandong University （Natural Science），2019，54（7）：50-56．（in Chinese）

[35] KONG W C， DONG Z Y， JIA Y W，et al ．Short-term residential load forecasting based on LSTM recurrent neural network［J］．IEEE Transactions on Smart Grid， 2019， 10（1）：841-851．

[36] 刘蓉晖， 石炬烽， 孙改平， 等. 基于MV-WC和门控循环单元的短期净负荷概率预测［J］. 南方电网技术， 2025， 19（6）： 152-161．

[37] LIU R H， SHI J F， SUN G P， et al. Short-term net load probability forecasting based on MV-WC and gated recurrent unit［J］. Southern Power System Technology， 2025， 19（6）： 152-161．（in Chinese）

[38] 王增平， 赵兵， 纪维佳， 等 ．基于GRU-NN模型的短期负荷预测方法［J］．电力系统自动化，2019，43（5）：53-58．

[39] WANG Z P， ZHAO B， JI W J，et al ．Short-term load forecasting method based on GRU-NN model［J］．Automation of Electric Power Systems， 2019， 43（5）： 53-58．（in Chinese）

[40] 王长春， 王果， 赵倩宇， 等. 考虑分时电价和充电利用率特征的大型电动汽车充电站负荷短期预测方法［J］. 南方电网技术， 2024， 18（5）： 75-84．

[41] WANG C C， WANG G， ZHAO Q Y， et al. A short-term load forecasting method for large scale electric vehicle charging stations considering characteristics of charging utilization rate and time-of-use electricity price［J］. Southern Power System Technology， 2024， 18（5）： 75-84．（in Chinese）

[42] 张淑清， 李君， 姜安琦， 等. 基于FPA-VMD和BiLSTM神经网络的新型两阶段短期电力负荷预测［J］. 电网技术， 2022， 46（8）： 3269-3279．

[43] ZHANG S Q， LI J， JIANG A Q，et al ．A novel two-stage model based on FPA-VMD and BiLSTM neural network for short-term power load forecasting［J］．Power System Technology， 2022， 46（8）： 3269-3279．（in Chinese）

[44] 陆继翔，张琪培，杨志宏，等 ．基于CNN-LSTM混合神经网络模型的短期负荷预测方法［J］．电力系统自动化，2019，43（8）：131-137．

[45] LU J X， ZHANG Q P， YANG Z H，et al ．Short-term load forecasting method based on CNN-LSTM hybrid neural network model［J］．Automation of Electric Power Systems，2019，43（8）：131-137．（in Chinese）

[46] WAN A P， CHANG Q， AL-BUKHAITI K，et al ．Short-term power load forecasting for combined heat and power using CNN-LSTM enhanced by attention mechanism［J］．Energy，2023，282：128274．

[47] DAI Y M， YANG X Y， LENG M M ．Optimized Seq2Seq model based on multiple methods for short-term power load forecasting［J］．Applied Soft Computing，2023，142：110335．

[48] 任建吉， 位慧慧， 邹卓霖， 等 ．基于CNN-BiLSTM-Attention的超短期电力负荷预测［J］．电力系统保护与控制，2022，50（8）：108-116．

[49] REN J J， WEI H H， ZOU Z L，et al ．Ultra-short-term power load forecasting based on CNN-BiLSTM-Attention［J］．Power System Protection and Control，2022，50（8）： 108-116．（in Chinese）

[50] 欧阳福莲， 王俊， 周杭霞 ．基于改进迁移学习和多尺度CNN-BiLSTM-Attention的短期电力负荷预测方法［J］．电力系统保护与控制， 2023， 51（2）： 132-140．

[51] OUYANG F L， WANG J， ZHOU H X. Short-term power load forecasting method based on improved hierarchical transfer learning and multi-scale CNN-BiLSTM-Attention［J］. Power System Protection and Control，2023，51（2）：132-140．（in Chinese）

[52] 李文英，杨高才，文明，等 ．基于时空图注意力的短期电力负荷预测方法［J］．湖南大学学报（自然科学版）， 2024，51（2）：57-67．

[53] LI W Y， YANG G C， WEN M，et al ．A short-term power load forecasting method based on spatiotemporal graph attention［J］．Journal of Hunan University （Natural Sciences）， 2024， 51（2）：57-67．（in Chinese）

基金资助

智能电网国家科技重大专项（2030）(2024ZD0802100)

Smart Grid-National Science and Technology Major Project under Grant （2030）(2024ZD0802100)

南方电网科学研究院科技项目(SEPRI-K23B028)

Science and Technology Project of China Southern Power Grid Research Institute(SEPRI-K23B028)