基于预训练大语言模型的短期风电预测及其可解释性研究

Short-term Wind Power Forecasting and Interpretability Research Based on Pre-trained Large Language Models

摘要

新型电力系统背景下风电功率预测面临精度与泛化性双重挑战，为应对大语言模型应用于风电预测领域时存在的适应性瓶颈，提升短期风电功率预测的准确性与模型在电力系统决策中的可信度，提出一种基于预训练大语言模型的短期风电预测方法，并基于SHAP（SHapley Additive exPlanations）算法对模型预测结果进行系统归因。首先，分析主流大模型架构，通过数学推导证明Decoder-only（仅解码）架构模型的优异性，以确定基座模型。其次，基于Qwen大模型构建其基本神经网络结构，为形成风电预测架构奠定基础。随后，面向风电预测任务提出基于参数冻结的训练策略，重新设计预训练Qwen模型的输入输出层，并基于特征迁移冻结其主干网络中的注意力与多层感知机（MLP）模块，仅微调部分网络结构的参数，实现日前风电出力预测。最后，为提升预测结果的可解释性，采用基于SHAP值的特征贡献度分析方法，量化了各气象特征对风电功率预测的影响程度，揭示了关键特征对模型预测结果的贡献机制。算例结果表明：在多时间分辨率下的风电出力预测实验中，本文使用的Qwen模型在保留6个Decoder时展现出最优的泛化性能；相较于基准模型，本文方法在训练效率方面表现最优。在全量数据与少样本两种测试场景下，本文方法的预测误差比对比方法平均降低超过11.53%。通过SHAP可解释性分析实验表明，地面100 m处风速特征对模型预测结果具有最强影响。综上，本文方法能够有效捕获风电出力的时序特征，提升短期风电功率预测的精度。

Abstract

Objective With the development of new power systems, wind power forecasting faces dual challenges in forecasting accuracy and model generalization. The inherent volatility, intermittency, and complex uncertainties of wind power output are difficult to characterize effectively using conventional modeling approaches. Meanwhile, the application of large language models (LLMs) to wind power forecasting remains constrained by significant adaptability limitations. To address these issues, a short-term wind power forecasting method based on pre-trained large language models was proposed to improve forecasting accuracy. Furthermore, the SHAP (SHapley Additive exPlanations) algorithm was employed to systematically interpret the model predictions, thereby enhancing the credibility and practical applicability of the forecasting model for power system operation and decision support. Methods First, mainstream LLM architectures were analyzed, and the superiority of decoder-only models was demonstrated through mathematical derivation to determine the base model framework. Subsequently, the neural network architecture of the Qwen series of LLMs and their input-output transformation processes were examined in detail, providing the foundation for the proposed wind power forecasting architecture. In this process, the input representation is first transformed into word vectors through an embedding layer. These word vectors are then processed through multiple stacked Decoder layers with residual connections. Each Decoder consists of RMSNorm (root mean square layer normalization), an attention module, and a multilayer perceptron (MLP). Unlike conventional attention mechanisms, the Qwen attention module incorporates rotary position embedding (RoPE) to encode sequential relationships among tokens. Finally, the intermediate hidden states are mapped through a linear layer to generate the final output representation. Second, a wind power forecasting architecture based on pre-trained large language models was proposed for short-term wind power time-series forecasting. Given the significant differences between wind power numerical sequences and natural language sequences, the original input representation layer of Qwen was redesigned. Specifically, the embedding layer was replaced with a fully connected layer to project time-series data into the input dimensionality required by the pre-trained model. Additionally, reversible instance normalization (RevIN) was applied independently to each variable channel to normalize the data while preserving the integrity of variable features. The input sequence was partitioned into sub-blocks via patching to enhance the extraction of local temporal features. Following the principle of feature transfer, the attention and MLP modules of the pre-trained Qwen Decoder layers were retained, and their parameters were frozen during training because these modules store the primary knowledge acquired during pre-training. Finally, the output representation layer was redesigned to project the hidden states into the output dimensionality required for wind power forecasting. The proposed architecture achieves deterministic day-ahead wind power point forecasting through a joint frozen-fine-tuning training strategy. Third, to improve the interpretability of the deep learning model, a feature contribution analysis method based on SHAP values was employed. Derived from the Shapley value in game theory, SHAP quantifies the marginal contribution of each input feature by considering all possible feature subsets while satisfying the axioms of local accuracy, feature symmetry, and missingness. SHAP values were estimated using Monte Carlo sampling and applied to quantify the contributions of key meteorological features to wind power forecasting, thereby revealing the underlying feature contribution mechanisms. Results and Discussions Two years of data from two wind farms (Oregon and Nevada) provided by the National Renewable Energy Laboratory (NREL) were used for validation, with an 80%‒20% train‒test split and a raw time resolution of 5 min. Autoformer, DLinear, and PatchTST were selected as benchmark models, and the proposed method was implemented using the Qwen2-0.5B model. Experiments on the number of retained Decoder layers showed that the model achieved optimal performance with six Decoder layers (Qwen(6)), whereas retaining more than eight layers led to overfitting. In terms of training efficiency, Qwen(6) outperformed the benchmark models, requiring 0.147 s per training step and converging within 10 epochs, compared with PatchTST (0.552 s/step, 15 epochs) and Autoformer (0.271 s/step, 12 epochs). For forecasting horizons of 24, 96, and 144 time steps, Qwen(6) achieved the lowest mean squared error (MSE) on both wind farms. For example, at the 24-step forecasting horizon, the MSE was reduced by more than 11.53% compared with the benchmark models. In few-shot experiments using only 25% of the training data, Qwen(6) demonstrated superior generalization capability: its MSE increased by 15.9%, whereas the error of PatchTST increased by 25.8%. A comparison between the pre-fine-tuned and fine-tuned models showed that the untuned Qwen model exhibited an MSE more than three times higher than that of the fine-tuned model, demonstrating the effectiveness of the proposed architecture in overcoming the prediction limitations of LLMs. SHAP analysis revealed that the 100 m wind speed feature had the greatest influence on the predictions, with an average absolute SHAP value of 5.112 9 and a contribution ratio exceeding 78%. The 100 m wind direction also had a positive effect, whereas the 40 m wind parameters and temperature had negligible effects, providing a quantitative basis for feature selection and model interpretation. Conclusions This study explored the potential of LLMs for time-series forecasting and proposed a short-term wind power forecasting method integrated with interpretability analysis. The main contributions are threefold: 1) the superiority of the decoder-only architecture was demonstrated through mathematical derivation, leading to the selection of the Qwen model as the base model; 2) a joint frozen-fine-tuning strategy was designed by freezing the attention and MLP modules while fine-tuning the input/output layers and RMSNorm, thereby balancing training efficiency and prediction accuracy; and 3) SHAP was integrated to quantify the contributions of meteorological features, enhancing model transparency. Experimental results demonstrated that the proposed method outperformed the benchmark models in training efficiency, prediction accuracy, and generalization capability while effectively capturing both long- and short-term temporal dependencies in wind power output. Nevertheless, several limitations remain, including reduced stability under extreme weather conditions and the difficulty of estimating dynamic SHAP contributions for multi-step forecasting. Future work will focus on multimodal data fusion and lightweight model adaptation to further improve the engineering applicability of the proposed method.

Graphical abstract

关键词

大语言模型 / 风电预测 / 可解释性 / 深度学习

Key words

large language model / wind power forecasting / interpretability / deep learning

本刊网刊

为应对传统化石能源燃烧造成的全球气候变化，中国正加快构建以非化石能源为主的能源供应体系，推动能源结构转型。其中，风能因其具备清洁性和可持续性而受到广泛关注。高比例风电能源的接入，使能源问题得到了一定程度的缓解，但其不确定性也为电力系统的稳定运行带来了严峻的挑战^[1]。因此，准确地预测风力发电功率，以确保高效可靠地将风电纳入电网，已成为迫切需要解决的关键问题^[2]。

风力发电功率预测通常是研究预测对象在未来一段特定时间点的期望值输出。风电输出功率与环境气象参数呈现显著的强相关性。根据建模方法的不同，风力发电功率的确定性预测可以大致分为传统的物理与统计方法、深度学习方法。

鉴于气候条件的显著影响，早期的研究主要集中在构建基于物理机理的确定性预测模型，建立环境变量与输出功率之间的显示函数关系。这类方法涉及复杂的地理、天气、机组数学建模，且不依赖于历史数据。然而，物理模型存在建模困难、预测偏差较大等问题。统计方法是基于时间序列分析理论，通过探索数据的相关性来预测功率输出。陈昊等^[3]针对风电功率序列中存在的多重离群点效应和厚尾特性，提出使用改进的自回归模型来描述风电功率的复杂波动模式。然而，上述方法无法挖掘多元特征间复杂的非线性关系，且对不断变化的风况表现出较差的适应性。

深度学习技术由于其强大的特征提取能力和非线性关系建模能力，已成为风电功率预测领域的研究热点。盛四清等^[4]利用变分模式分解多个输入变量，并构建共享权值的门控循环单元（GRU）以预测风功率的趋势。吕云龙等^[5]采用时空注意力模块提取多风电机组之间时空特征，并通过时空卷积层聚合输入数据间的关联特征，以实现单步预测和多步预测。符杨等^[6]利用长短时记忆网络（LSTM）建立机组健康评估模型，结合机组状态与天气信息训练时间卷积网络，以实现高精度的海上风电预测。然而，上述传统的深度学习模型在长序列预测中表现较差，难以捕获长程依赖关系^[7]。Transformer^[8]模型的出现，充分展现了其在处理时间序列任务方面的巨大潜能。Huang等^[9]利用Informer的高效建模和多步解码策略，提高了多步风电功率预测的效率和准确性。Wu等^[10]提出Autoformer模型，设计一种深度分解架构对输入序列进行趋势与周期分解，并提出自相关机制实现序列级连接，提高了长时间序列的预测效率。Jiang等^[11]在Autoformer的基础上增加额外的多层感知机，有效提取时间序列更深层次的特征。Transformer架构模型在处理长序列预测任务表现优异，但是，Dlinear模型^[12]的出现对Transformer模型的有效性提出了质疑，Dlinear模型通过将输入序列分解为趋势序列和剩余序列，并使用2个简单的全连接层建模，可以取得更好的预测效果。Nie等^[13]提出PatchTST模型，其核心思想是利用patching增强时间序列的局部特征，这也成为了时序预测领域的一种主流趋势。上述方法可归类于预训练基础模型，这类模型通常参数量较小，但将其迁移到不同数据与任务时，可能会面临泛化性不足的问题。

近年来，以ChatGPT为代表的人工智能生成技术取得了快速突破，大语言模型（LLM）凭借其强大的上下文理解与泛化能力，在语言处理等方面展现出巨大应用价值^[14]。自然语言处理任务本质上是对序列对象进行建模，因此，有不少研究开始探索将其迁移至时间序列预测任务，通过预训练知识激活模型对时序模式的深层理解。例如：Xue等^[15]提出了一项预测范式，基于提示词的时间序列预测即PromptCast，该方法区别于使用数值作为输入输出的预测，而将数值数据转换为自然语言描述的提示词，构建句子到句子的预测任务，提供了一种“无代码”预测思路。另一个类似的研究是LLMTime^[16]，该研究证明了在对时间序列数据进行合适的词元配置时，LLM将是有效的零样本时间序列学习器。Zhou等^[17]提出一个基于部分冻结LLM的统一预测框架，仅微调部分神经网络参数就可实现语言模型在时序任务的迁移，在时间序列分析任务上取得了优异的表现。Jin等^[18]考虑源数据的模态，使用自然语言重新编码时间序列数据，并设计嵌入模块对齐语义和时序模态信息，以实现时序预测。Lai等^[19]将预训练BERT模型迁移到风电功率预测。文献[20]的研究思路与文献[18]类似，通过跨模态对齐数据的方式激活LLM的风电预测能力。但是，跨模态的方式存在语义偏差问题，其预测性能依赖于模型的选择与合理的知识迁移方式。

随着数据驱动的深度学习模型在风电预测中的广泛应用，这类模型虽然在预测精度上表现出色，但缺乏对预测结果的透明性和可解释性，难以满足电力系统运行中对决策依据的严格要求^[21]。近年来，提升模型可解释性已成为人工智能领域的重要研究方向。现有研究主要聚焦于特征重要性分析、注意力机制可视化、基于博弈论的SHAP值计算等方法。然而，注意力权重反映的是模型内部的“关注程度”，不一定对应物理因果关系；特征分析往往忽略时间维度上的动态权重变化；SHAP通常针对单步静态预测设计，难以刻画跨时间步的因果关系。朱莉等^[22]采用SHAP方法对特征贡献度进行量化分析，揭示了不同气象参数（如风速、风向、温度等）对风电功率预测的影响程度。廖胜利等^[23]提出一种基于可解释时间融合Transformer（TFT）网络的模型，引入依赖变量筛选网络，能够根据输入变量的历史表现筛选出对预测结果贡献较大的变量。梁睿等^[24]结合CNN-BiLSTM模型与SHAP方法，构建可解释径流预报框架，通过引入可解释模型，显著增强深度学习模型在预测任务中的可解释性和透明度，有助于模型在实际应用中的部署。

综上所述，当前LLM在时序预测中的有效性仍存在争议^[25]，应用于电力领域中的研究还处于探索阶段。为解决上述问题，本文提出基于预训练大语言模型的短期风电预测方法，并在此基础上开展系统性预测可解释性分析。引入预训练大语言模型进行时序预测，所设计的风电出力预测架构有效克服了LLM在风电序列建模中以概率形式输出、难以直接生成高精度确定性数值的局限；通过迁移学习策略，保留LLM中存储知识的主干神经网络，利用风电出力数据对受数据分布影响最大的部分网络层进行微调，以实现确定性点预测，显著提高了模型的训练效率和泛化性；进一步地，结合SHAP方法，对关键气象变量的贡献度进行量化，揭示模型决策背后的物理关联机制。

1 面向风电场景的预训练大语言模型基座构建

1.1 基座模型架构选择

大语言模型作为一类生成式语言模型，其特点是规模庞大，通常超过数十亿参数，并且在海量语料库上进行训练。残差连接和归一化层的设计令训练过程更加稳定，使大模型能够以堆叠的方式将网络结构做深，从而提高模型容量。大语言模型的通用架构中，以Transformer为代表的Encoder-Decoder（编解码）架构通常用于需要对输入文本准确理解任务，以生成相应的输出任务^[26]，例如文本摘要和机器翻译。以BERT为代表的Encoder-only架构仅选择Transformer中的Encoder模块作为模型基础，该架构使用掩码语言建模的训练方式令其更适合自然语言理解任务。以GPT为代表的生成式Decoder-only模型只保留Transformer中的Decoder模块，不需要进行交叉注意力，灵活性更好，能够同时兼顾理解和生成任务。

从数学角度计算Transformer中Encoder的多头注意力机制将带来低秩问题^[27]。定义距离函数dis(X)为：

dis(X)=X-\mathit{c}{\mathit{x}}^{\mathrm{T}}（1）

式中，X为输入变量，\mathit{c}和\mathit{x}为全1列向量，\mathit{c}{\mathit{x}}^{\mathrm{T}}为一个各行向量的表示均相同且秩为1的矩阵。该距离函数的目标是找到一个\mathit{x}，使得X和\mathit{c}{\mathit{x}}^{\mathrm{T}}之间的距离最小，如果这个距离有上界，则可以判断X能够收敛到\mathit{c}{\mathit{x}}^{\mathrm{T}}。令S(X)表示多头注意力计算的输出，定义混合范数{‖X‖}_{\mathrm{1},\mathrm{\infty }}=\sqrt[]{{‖X‖}_{\mathrm{1}}{‖X‖}_{\mathrm{\infty }}}，则该输出的上界为：

{‖dis(S(X))‖}_{\mathrm{1},\mathrm{\infty }}\le \frac{\mathrm{4}{‖{\mathit{W}}_{\mathit{Q}\mathit{K}}‖}_{\mathrm{1}}{‖{\mathit{W}}_{\mathit{V}}‖}_{\mathrm{1},\mathrm{\infty }}}{\sqrt[]{d_{\mathit{q}\mathit{k}}}}{‖dis(X)‖}_{\mathrm{1},\mathrm{\infty }}^{\mathrm{3}}（2）

式中，{\mathit{W}}_{\mathit{Q}\mathit{K}}为注意力权重矩阵，{\mathit{W}}_{\mathit{V}}为值矩阵的权重矩阵，d_{\mathit{q}\mathit{k}}为注意力特征维度，下标 Q 、 K 、 V 分别为查询、键、值矩阵， q 、 k 分别为查询、键向量。实际注意力计算中，d_{\mathit{q}\mathit{k}}作为特征维度，取值较大，即，因此，{‖dis(S(X))‖}_{\mathrm{1},\mathrm{\infty }}的上界将趋于一个极小值，代表多头注意力计算矩阵是一个低秩矩阵，这将影响模型的实际性能。

与Encoder不同，Decoder-only架构采用的是掩码注意力机制，即序列中每个位置的令牌只能得知在其之前的令牌信息，而其之后的令牌将被掩码。掩码操作是先将令牌的值用一个无穷小的值覆盖，再在计算时通过softmax函数将其转变成无限接近于0的值，因此，其对于注意力权重的贡献可忽略不计，从而达到掩码的目的。由于每个令牌只通过自身和先前的令牌计算注意力得分，最终的注意力权重矩阵将是一个下三角矩阵。此外，softmax函数的性质决定了注意力权重矩阵中所有元素均为正数，则该下三角矩阵的行列式为对角线元素之积，也必然是正数，因此，Decoder-only架构的注意力权重矩阵一定是满秩的，理论上该架构的模型表达能力更强。综上所述，本文将选择Decoder-only架构的预训练大模型作为风电预测任务下的基座模型开展研究。

1.2 大语言模型结构设计

基于当前预训练大语言模型技术发展现状及开源生态的综合考量，本文在众多开源模型中选择通义千问（Qwen）^[28]系列模型，因为该模型具有卓越的综合性能，其基于Decoder-only架构的可扩展性设计，提供从0.5B（10亿参数规模）到72.0B不同量级的模型版本，面向多种计算资源情景实现全量程的覆盖。Qwen模型的架构如图1所示。

图1中，RMSNorm表示均方根层归一化，MLP表示多层感知机，RoPE表示旋转位置编码，\odot代表哈达玛积，⊕表示上下文拼接操作。Qwen模型的工作原理可从输入表示、Decoder层、输出矩阵表示3部分分析。

1）输入表示

自然语言任务中，输入文本经过分词后，将形成一个长度为N的令牌序列，每个令牌经过词汇表规模V_{\mathrm{v}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{b}}的词嵌入层（Embedding）被映射成稠密词向量，因此，输入序列在向量化后将形成一个维度为N\times d的输入矩阵{\mathit{X}}_N，表示为：

{\mathit{X}}_N=[{\mathit{x}}_i{]}_{i=\mathrm{1}}^N（3）

式中，{\mathit{x}}_i为第i个令牌对应的d维词嵌入向量。在风电预测场景中，输入数值型数据与文本令牌的特征差异较大，输入表示需适配风电特性。

2）Decoder层

Qwen架构中，Decoder由多层堆叠，堆叠数量直接影响大模型的参数规模，故以单层Decoder进行分析。输入以隐藏状态进入Decoder，先进行均方根层归一化（RMSNorm），第i个嵌入向量的均方根层归一化{\mathit{x}}_{i,\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}向量为：

{\mathit{x}}_{i,\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}=\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}({\mathit{x}}_i)=\gamma \frac{{\mathit{x}}_i}{\sqrt[]{\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}{\mathit{x}}_i^{\mathrm{2}}}}+\beta（4）

式中，\gamma、\beta分别为可学习的缩放参数和偏移参数。

归一化后，隐藏状态向量{\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}=[{\mathit{x}}_{i,\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}{]}_{i=\mathrm{1}}^N进入注意力模块进行计算。由于注意力计算只根据向量相关性来计算得分，故没有考虑序列的顺序关系。因此，需要对输入序列进行位置编码，使模型能够识别令牌在序列中的位置信息。Qwen架构中，使用旋转位置编码（RoPE）来表达令牌间的顺序关系。令函数F(·)表示位置编码，则集成位置信息的查询向量 q 和键向量 k 分别表示如下：

{\mathit{q}}_m=F_{\mathit{q}}({\mathit{x}}_m,m)（5）

{\mathit{k}}_n=F_{\mathit{k}}({\mathit{x}}_n,n)（6）

式（5）、（6）中，m、n分别为序列中令牌位置，{\mathit{x}}_m、{\mathit{x}}_n分别为{\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}中第m、n个令牌对应的词向量。根据空间向量的几何性质和复数的性质， q 和 k 的旋转位置编码表示为：

\mathrm{R}\mathrm{o}\mathrm{P}{\mathrm{E}}_{\left\{\mathit{q},\mathit{k}\right\}}({\mathit{x}}_m)=F_{\left\{\mathit{q},\mathit{k}\right\}}({\mathit{x}}_m,m)={\mathit{R}}_{\Theta ,m}^d{\mathit{W}}_{\{\mathit{q},\mathit{k}\}}{\mathit{x}}_m（7）

式中：{\mathit{W}}_{\{\mathit{q},\mathit{k}\}}为 q 和 k 的权重矩阵；{\mathit{R}}_{\Theta ,m}^d为d维旋转矩阵，其计算公式如下。

{\mathit{R}}_{\Theta ,m}^d=\left[\begin{array}{ccccccc}\mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{\mathrm{0}}& -\mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{\mathrm{0}}& \mathrm{0}& \mathrm{0}& \cdots & \mathrm{0}& \mathrm{0}\\ \mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{\mathrm{0}}& \mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{\mathrm{0}}& \mathrm{0}& \mathrm{0}& \cdots & \mathrm{0}& \mathrm{0}\\ \mathrm{0}& \mathrm{0}& \mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{\mathrm{1}}& -\mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{\mathrm{1}}& \cdots & \mathrm{0}& \mathrm{0}\\ \mathrm{0}& \mathrm{0}& \mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{\mathrm{1}}& \mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{\mathrm{1}}& \cdots & \mathrm{0}& \mathrm{0}\\ ⋮& ⋮& ⋮& ⋮& & ⋮& ⋮\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \mathrm{0}& \cdots & \mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{d/\mathrm{2}-\mathrm{1}}& -\mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{d/\mathrm{2}-\mathrm{1}}\\ \mathrm{0}& \mathrm{0}& \mathrm{0}& \mathrm{0}& \cdots & \mathrm{s}\mathrm{i}\mathrm{n}m{\theta }_{d/\mathrm{2}-\mathrm{1}}& \mathrm{c}\mathrm{o}\mathrm{s}m{\theta }_{d/\mathrm{2}-\mathrm{1}}\end{array}\right]（8）

式中，\Theta =\left\{{\theta }_i=\mathrm{10}{\mathrm{000}}^{-\mathrm{2}(i-\mathrm{1})/d},i\in [\mathrm{1,2},\cdots ,d/\mathrm{2}]\right\}。

将\mathrm{R}\mathrm{o}\mathrm{P}\mathrm{E}(·)应用于注意力计算，可得输出向量{\mathit{A}}_{\mathrm{a}\mathrm{t}\mathrm{t}}：

\begin{array}{l}{\mathit{A}}_{\mathrm{a}\mathrm{t}\mathrm{t}}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{(\mathrm{R}\mathrm{o}\mathrm{P}{\mathrm{E}}_Q({\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}{))}^{\mathrm{T}}\mathrm{R}\mathrm{o}\mathrm{P}{\mathrm{E}}_K({\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}})}{\sqrt[]{d}}+{\mathit{M}}_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}}\right)\cdot \\ ({\mathit{W}}_V{\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}{)}^{\mathrm{T}}\end{array}（9）

式中，{\mathit{M}}_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}}为相应位置的掩码矩阵。注意力输出经过残差连接会得到新的隐藏状态向量{\mathit{X}}_{h,\mathrm{1}}：

{\mathit{X}}_{h,\mathrm{1}}={\mathit{X}}_{\mathrm{n}\mathrm{o}\mathrm{r}\mathrm{m}}+{\mathit{A}}_{\mathrm{a}\mathrm{t}\mathrm{t}}（10）

随后，{\mathit{X}}_{h,\mathrm{1}}将经过RMSNorm归一化成{\mathit{X}}_{h,\mathrm{r}\mathrm{m}\mathrm{s}}，进入多层感知机（MLP）模块进行特征变换，得到Decoder层的输出向量{\mathit{X}}_{h,\mathrm{2}}：

\begin{array}{l}{\mathit{X}}_{h,\mathrm{2}}={\mathit{X}}_{h,\mathrm{1}}+\mathrm{M}\mathrm{L}\mathrm{P}({\mathit{X}}_{h,\mathrm{r}\mathrm{m}\mathrm{s}})=\\ {\mathit{W}}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}\cdot (\mathrm{S}\mathrm{w}\mathrm{i}\mathrm{G}\mathrm{L}\mathrm{U}({\mathit{W}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}{\mathit{X}}_{h,\mathrm{r}\mathrm{m}\mathrm{s}}+{\mathit{b}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}))\odot \\ ({\mathit{W}}_{\mathrm{u}\mathrm{p}}{\mathit{X}}_{h,\mathrm{r}\mathrm{m}\mathrm{s}}+{\mathit{b}}_{\mathrm{u}\mathrm{p}})+{\mathit{b}}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}+{\mathit{X}}_{h,\mathrm{1}}\end{array}（11）

式中，\mathrm{M}\mathrm{L}\mathrm{P}(\cdot )为多层感知机函数，{\mathit{W}}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}、{\mathit{W}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}、{\mathit{W}}_{\mathrm{u}\mathrm{p}}分别为下投影线性层、门控线性层、上投影线性层的权重矩阵，{\mathit{b}}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}、{\mathit{b}}_{\mathrm{g}\mathrm{a}\mathrm{t}\mathrm{e}}、{\mathit{b}}_{\mathrm{u}\mathrm{p}}分别为相应的偏置项，\mathrm{S}\mathrm{w}\mathrm{i}\mathrm{G}\mathrm{L}\mathrm{U}(·)代表结合Swish激活函数与门控线性单元（GLU）机制的激活函数。

3）输出表示

最后，Decoder层的输出经过RMSNorm和线性层后，被映射到与词汇表规模V_{\mathrm{v}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{b}}相同的维度上，构成大模型的最终输出结果{\mathit{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}\in {\mathbb{R}}^{N\times V_{\mathrm{v}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{b}}}：

{\mathit{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}={\mathit{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}}(\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}({\mathit{X}}_{h,\mathrm{2}}))+{\mathit{b}}_{\mathrm{o}\mathrm{u}\mathrm{t}}（12）

式中，{\mathit{W}}_{\mathrm{o}\mathrm{u}\mathrm{t}}为输出线性层的权重矩阵，{\mathit{b}}_{\mathrm{o}\mathrm{u}\mathrm{t}}为输出线性层的偏置项。{\mathit{X}}_{\mathrm{o}\mathrm{u}\mathrm{t}}可近似视为每个令牌在词汇表中出现的概率分布。本文以Qwen大模型的神经网络结构作为基础骨干网络，构建适用于短期风电出力预测任务的核心模型架构。

2 面向风电出力的大模型时序预测方法及其特征可解释分析

2.1 基于预训练大模型的风电出力预测架构

为了将预训练大语言模型迁移到时序预测任务中，需要对其进行一定的改进。本文基于预训练的Qwen大模型，设计了风电出力时序预测架构，如图2所示。图2中，RevIN表示可逆实例归一化层，Patch表示分块。该架构分为3部分：输入结构、预训练模型结构、输出结构。

1）输入结构

由于本文研究的目标是风电出力的确定性点预测，而输入的数值序列与预训练模型使用的语言序列在物理含义和数据维度方面有很大差异，因此，必须重新设计和训练输入的嵌入层。该层负责将时间序列投影到特定的预训练模型所需的维度中。本文使用一个全连接层来作为输入的嵌入层。

此外，数据归一化对于跨各种模态的预训练模型至关重要。除了Qwen结构本身的RMSNorm，本文为输入数据引入了RevIN，其简单地使用均值和方差对输入时间序列进行归一化，之后，将其添加到输出中以恢复原始值。时间序列的输入可能是多变量序列，每个变量的序列特征是相对独立的，相比于自然语言任务，通常使用RMSNorm和LayerNorm对样本维度进行归一化；RevIN将每个输入变量通道进行独立归一化，保留变量特征的完整性，能够提高训练稳定性和收敛效果。给定长度为N\text{'}的输入序列\{x_i{\}}_{i=\mathrm{1}}^{N\text{'}}，其均值\mu和方差\sigma为：

\left\{\begin{array}{l}\mu =\frac{\mathrm{1}}{N\text{'}}{\displaystyle \sum _{i=\mathrm{1}}^{N\text{'}}}{x}_i,\\ \sigma =\frac{\mathrm{1}}{N\text{'}}{\displaystyle \sum _{i=\mathrm{1}}^N}(x_i{-\mu )}^{\mathrm{2}}\end{array}\right.（13）

经过RevIN归一化可得到{\widehat{x}}_i：

{\widehat{x}}_i=\mathrm{R}\mathrm{e}\mathrm{v}\mathrm{I}\mathrm{N}(x_i)=\gamma \left(\frac{x_i-\mu }{\sqrt[]{\sigma +\epsilon }}\right)+\beta（14）

式中，\epsilon为一个极小的常量，用以避免方差为0的情况。最终的预测值{\widehat{y}}_i将根据RevIN使用相同的参数值对模型输出的序列y_i进行逆归一化，表示如下：

{\widehat{y}}_i=\sqrt[]{\sigma +\epsilon }\left(\frac{y_i-\beta }{\gamma }\right)+\mu（15）

输入序列归一化后，还需要通过Patch对序列进行分块。每个输入的样本序列被划分成多个子序列，将子序列块的长度表示为P，两个连续的子序列之间的间隔表示为S。当间隔时，则代表相邻的序列块之间重叠了S个时间点；当间隔S>\mathrm{0}时，则代表相邻的序列块之间相隔了S个时间点。那么，Patch分块的过程将产生一组序列块x_p\in {\mathbb{R}}^{P\times N″}，其中，N″为序列块的数量，N″=L/(P+S)，需要根据原始样本的序列长度L设计合适的P和S，以实现合理的序列块划分。通过聚合相邻的时间步来形成子序列块，能够增强局部时序信息。

2）预训练模型结构

基于特征迁移的思想，本文保留了预训练Qwen模型中Decoder层的注意力模块和MLP模块，由于预训练语言模型学习到的大部分知识都存储在这两个模块中，在训练时应冻结其参数。此外，Qwen模型中使用的RoPE位置编码是一个绝对位置编码，不具备可学习参数，因此，这部分不需要微调。值得注意的是，如果使用基于可学习位置编码方式实现预训练语言模型，时序数据和语义数据的位置信息可能存在差异，则应考虑将这部分参数也纳入训练范围。

由于Qwen中的RMSNorm层具备\gamma和\beta两个可学习的缩放和偏移参数，因此，预训练后RMSNorm层对于语义数据的归一化分布如图3所示。

图3中，分布曲线仅作为示意，不代表真实的分布曲线。假设时序数据的归一化分布是图3中蓝色曲线，那么，时序数据经过RMSNorm层，会被\gamma和\beta影响，从而向代表语义数据分布的红色曲线对齐。由于这两类数据存在天然的分布差异，如果冻结RMSNorm层将会使训练过程不稳定。因此，本文方法的RMSNorm层在训练过程中将会持续进行参数微调。

3）输出结构

Qwen模型最终的输出是被映射到与词汇表规模V_{\mathrm{v}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{b}}相同的维度上，用于风电出力预测时，需要以新的输出层来替换，并重新训练，以确保输出维度与期望预测的时间尺度一致，因此，该输出层可以用一个全连接层来代替。

综上所述，本文架构中冻结预训练Qwen模型Decoder层的注意力模块和MLP模块需要满足风电预测任务的输入结构和输出结构，训练输入层、输出层和RMSNorm层通过冻结-微调联合训练策略实现风电出力的确定性预测。

2.2 基于SHAP的气象特征可解释方法

针对复杂模型的可解释需求，特征贡献度方法提供了一种以“结果驱动输入归因”的解释路径，具有较强的理论基础和通用适应性。该方法通过量化模型预测输出对各输入变量的响应灵敏度，从而构建输入空间与输出空间之间的解释映射，具备较好的可操作性，且与模型本身无关性。特征贡献度方法可在保持模型结构封闭的前提下，评估模型在具体状态下做出某一动作决策时，各状态量的影响程度，从而实现行为的可解释性重构。

目前，广泛采用的特征贡献度方法主要包括局部可解释模型无关解释（LIME）、SHAP等。其中，由于SHAP方法满足局部准确性、特征对称性与零影响性等博弈论公理，理论基础更为完备，适用于强化学习模型的解释任务，本文亦基于SHAP方法进行分析。

SHAP方法源于博弈论中Shapley值的概念。设输入特征集合为\mathrm{ℱ}=\{x_{\mathrm{1}},x_{\mathrm{2}},\cdots ,x_m\}，对某一个输入样本x\in {\mathbb{R}}^m，其中，m为特征数，模型输出记为f(x)，目标是将该输出表示为每个输入特征的线性加权贡献之和，即：

f(x)={\varphi }_{\mathrm{0}}+{\displaystyle \sum _{i=\mathrm{1}}^m}{\varphi }_i（16）

式中：{\varphi }_{\mathrm{0}}为参考输出（如全样本平均输出）；{\varphi }_i为特征x_i对当前输入样本预测结果的边际贡献，每个{\varphi }_i的计算基于特征子集组合的平均边际增益，表达式如下。

{\varphi }_i=\sum _{S\subseteq \mathrm{ℱ}\setminus \{x_i\}}\frac{|S|!(m-|S|-\mathrm{1})!}{m!}\left[f_{S\bigcup \{x_i\}}(x)-f_S(x)\right]（17）

式中：S为所有不包含x_i的特征子集；f_{S\bigcup \{x_i\}}(x)、f_S(x)分别为使用特征子集S与特征x_i并集、仅使用特征子集S时对样本x的模型预测结果，采用蒙特卡洛采样或拟合近似方法完成估计。式（17）体现了特征x_i在各可能合作子集中对模型输出边际效应的期望贡献，保证了解释结果在特征维度上的一致性和公平性。

3 算例分析

基于NREL的风电数据开展算例验证。首先，探索最优模型结构；其次，对比本文模型与同类模型，说明本文模型的先进性；最后，进行小样本预测实验，以验证本文模型在数据稀缺场景下是否依然保持较高的预测精度。

3.1 实验设置

1）数据描述。采用的数据集为美国国家可再生能源实验室（NREL）提供的风电整合数据集^[29]，原始数据时间分辨率为5 min，实验分别选择位于俄勒冈州的风电场1和内华达州的风电场2共两年的数据进行验证。划分80%数据作为训练集，剩下的20%作为测试集。

2）基准模型。采用3个在时序预测领域取得优异表现的模型作为基准对比模型，包括Autoformer^[7]、Dlinear^[9]、PatchTST^[10]。本文方法选取Qwen2-0.5B预训练大模型进行微调；因为大模型通常由多个Decoder堆叠而成，本文以Qwen(K_{\mathrm{D}})表示具备K_{\mathrm{D}}个Decoder的Qwen模型。

3.2 短期风电出力预测结果对比

采用多步直接预测的形式开展实验。通过考虑相关气象信息与时间戳信息进行日前风电出力的预测，并设置了3种时间分辨率的预测情景，分别为10 min、15 min和1 h，对应1 d中的144、96和24个时间步。

3.2.1 Qwen Decoder堆叠数量效果对比

Qwen2-0.5B模型总共有24个Decoder模块，实际用于风电出力预测时，需要根据预测任务的难度和数据特性选择合适的Decoder数量，以最大化预测效果。

图4对比了3个时间步情景下选择不同Decoder数量对预测均方误差（MSE）的影响，其中，所有模型均重新训练至收敛。

分析图4可知：随着Decoder数量K_{\mathrm{D}}增加，MSE呈现出先下降后上升的趋势。这表明在Decoder数量较少的情况下，模型的总体参数量较少，无法对出力曲线进行准确拟合。随着Decoder数量增加至6时，模型预测误差达到最小值，证明了具备预训练参数的Qwen大模型对于时间序列建模的有效性。然而，随着Decoder数量增加至超过8，模型预测误差存在骤升现象，这表明参数量增大导致模型对训练数据过拟合。因此，本文以具备6个Decoder的Qwen(6)模型为主进行风电确定性点的预测研究。

3.2.2 风电出力预测效果对比

图5将本文模型（Qwen(6)）与Autoformer、PatchTST、Dlinear基准对比模型的预测效果进行可视化，对比了15 min分辨率下（96时间步）各模型的预测值和真实出力值的曲线。

由图5可知，相比于其他模型，本文使用的Qwen(6)模型预测的曲线与真实值最为贴合。然而，对于风力发电功率快速抖动的情况，各模型均无法很好地拟合。

表1对比了本文模型（Qwen(6)）与PatchTST、Autoformer（基准对比模型中Transformer架构模型）的训练效率。由表1可得，通过微调部分参数的方式，本文使用的Qwen(6)模型在训练速度和效率上均优于其他基准对比模型。

表2对比了不同时间分辨率情景下本文使用的Qwen(6)与PatchTST、Dlinear、Autoformer 4类模型的预测性能，其中，MAE为平均绝对误差。

由表2可以知道：基于预训练微调的本文Qwen(6)模型在全部时间分辨率下均保持最优性能。风电场1中，在24时间步（1 h分辨率）情景下，本文Qwen(6)模型的MSE达到了0.087，且较次优Dlinear模型提升15.5%。这表明本文Qwen模型Decoder中结合旋转位置编码的注意力层能够有效融合多变量间的时序相关性，充分挖掘气象波动对发电功率的耦合影响。随着时间步增至144步（10 min分辨率），本文Qwen(6)模型的MSE（0.179）仍显著低于其他模型，较PatchTST、Dlinear与Autoformer模型分别降低了1.6%、8.2%与24.8%，表明本文Qwen(6)模型具备更强的长序列特征提取能力。风电场2中，各模型的预测精度均高于风电场1，通过分析风况数据发现：风电场2的风况表现较为规律，四季风速均值相近；风电场1风况有明显的季节性，表现为冬季风带较强，夏季风力明显减少。可以推测风电场1的风电出力模式比风电场2更为复杂，所以，Dlinear模型的趋势分解思想在风电场2中表现较好。本文方法通过利用预训练大语言模型的序列建模能力，能够有效学习风场出力特性并具备良好泛化性，适用于跨区域风电预测。

为进一步验证本文所提预测方法的有效性，使用未经微调的Qwen语言模型直接进行风电出力预测。通过将风电相关数值序列作为prompt直接输入Qwen模型，经自然语言解码得到预测的数值序列，并与真实出力值计算MSE。表3对比了不同风电场下使用本文方法微调前、后的预测效果。由表3可知：相比于本文所提方法（微调后），微调前的预测误差在3倍以上，说明大语言模型在进行token化处理时，其概率预测机制本质上受限于离散符号空间的建模方式，难以直接生成高精度或连续形式的数值输出；而本文所提方法的架构设计可以有效解决此局限性。

综上所述，本文使用的Qwen大模型经过海量文本token预训练，积累了通用的序列模式识别能力。时序数据本质是有序序列，与文本的token存在结构同构性，即两者都需要捕捉长短期依赖、局部全局关联等核心模式。因此，本文方法中冻结的注意力层和MLP保留了较强的时序建模能力，有效提升了短期风电预测精度。

3.2.3 少样本预测

针对小型风电场或新建风电场普遍面临的运行数据稀缺问题，探索少样本条件下的风功率预测任务，评估了本文使用的Qwen(6)模型和PatchTST基准对比模型的少样本预测能力。以风电场1为例，实验仅使用其原始数据的25%进行训练。

表4给出本文使用的Qwen(6)模型和PatchTST模型在全量和少样本任务的预测结果。由表4可知：尽管训练样本显著减少，本文使用的Qwen(6)模型在全量数据下的MSE为0.126，在少样本下仅上升至0.146，相对误差增幅为15.9%；相比之下，PatchTST的MSE由0.139增长至0.175，误差提升幅度高达25.8%。该结果表明，本文使用的Qwen(6)模型在面对有限训练样本时表现出更强的泛化能力与鲁棒性，能够在少量样本中有效提取时间序列特征和潜在模式，从而缓解数据稀疏带来的过拟合风险。相较之下，PatchTST模型虽然专为时间序列建模设计，但其性能高度依赖于足够的训练样本才能充分学习。

3.3 SHAP特征变量可解释分析

数据驱动的深度学习模型的预测过程行为难以描述^[30]，为增强预测结果的透明度和可理解性，通过SHAP技术验证变量特征对模型的影响。采用的风电场输入数据特征包括地面100 m处和40 m处的风速风向与大气温度。

图6展示了本文所提方法预测某日风电出力的输入特征贡献。图6中，E[·]表示求期望值。由图6可得：地面100 m处风速的SHAP值高达15.03，贡献度占比超78%，其正向效应表明风速增大时，本文模型预测的功率输出显著增加。地面100 m处风向亦呈现正向影响，这可能源于特定风向与风机布局的协同效应。相较之下，地面40 m处风速和风向的贡献较弱，表明低空风况对功率预测的影响较小。温度特征的影响微弱且为负值，表明在当前数据范围内温度变化对功率预测的直接影响可以忽略不计。

通过计算所有样本，得到全局特征重要性如图7所示。由图7可以发现，地面100 m处风速以平均绝对SHAP值5.112 9位居首位，该结果与局部样本分析中的显著正向效应一致。综合局部与全局重要性可以推测出风机轮毂高度应与100 m较为契合，其特征对模型预测性能起主导作用。此外，低空风况的影响在不同样本之间存在较大的波动，这可能与湍流强度或地形遮蔽效应相关，整体上其重要性仍远低于高空风参数。

本文所提方法预测的多特征SHAP摘要如图8所示，通过颜色-密度映射揭示输入特征与模型响应的非线性关系。由图8可见：地面100 m处风速大于10 m/s（红色点）密集分布于SHAP值+10～+20区间，表明本文方法对强风速的响应存在过拟合现象。当地面100 m处的风速较低会显著抑制功率输出，印证了风速与发电量的强正相关性。温度特征的分布平缓，验证其全局重要性较弱。地面40 m处风参数的贡献范围狭窄，表明本文方法更依赖于高空风况数据。

4 结 论

本文系统研究了将LLM应用于时序预测任务的有效路径，提出了一种基于大语言模型的短期风电出力预测方法。不仅验证了预训练大语言模型在非自然语言时序任务中的迁移潜力，也为高比例风电能源系统下的智能预测提供了新范式。通过理论分析明确了Decoder-only架构在时序表达能力上的优势，并由此选取Qwen模型作为基础架构。本文提出的基于特征迁移的微调方法，在冻结注意力与MLP模块的基础上，仅对输入、输出及部分归一化层进行微调，在显著降低训练成本的同时，仍能有效捕获风电出力的多尺度动态特征。

实验结果表明，本文提出的基于Qwen(6)的预测方法在不同时间分辨率的日前预测中均取得最优性能，其预测误差较PatchTST、Dlinear等基准对比模型平均降低超过11.53%，证明本文方法能够有效学习风电出力的长短期时序依赖关系。本文方法通过微调LLM方法能够实现快速的模型收敛，训练速度更快。即使面向不同数据任务，只需修改部分神经网络层进行微调，无需从头训练，训练成本相对较小，具备良好泛化性。为进一步提升预测结果的可信度，本文引入SHAP方法进行特征贡献度量化分析，明确了风速等关键气象特征对预测结果的主导影响，增强了预测过程的透明性与可解释性。

本文方法仍存在一定局限：未充分考虑极端天气条件下的预测稳定性，模型规模与计算资源之间的平衡关系有待进一步优化。下一步研究可探索极端天气下高精度预测与更轻量化的大模型适配方案，以进一步提升预测精度与工程实用性。

参考文献

[1] Huan Jiafei, Zhang Weitao, Jiang Jixuan,et al.A multi-step short-term wind power prediction based on two-stage sequence decomposition and reconstruction[J].Distribution & Utilization,2025,42(12):101-110.

[2] 环加飞,张伟韬,姜霁轩,等.两阶段序列分解重构的多步短期风电功率预测[J].供用电,2025,42(12):101-110.

[3] Yan Renwu, Wu Huimin, Li Peiqiang.Ultra-short-term wind power multi-step forecasting based on DT-KAN-iTransformer[J].Smart Power,2025,53(10):95-105.

[4] 鄢仁武,吴慧敏,李培强.基于DT-KAN-iTransformer的超短期风电功率多步预测[J].智慧电力,2025,53(10):95-105.

[5] Chen Hao, Zhang Jianzhong, Xu Chao,et al.Short-term wind power forecast based on MOSTAR model[J].Power System Protection and Control,2019,47(1):73-79. doi:10.7667/PSPC171866

[6] 陈昊,张建忠,许超,等.基于多重离群点平滑转换自回归模型的短期风电功率预测[J].电力系统保护与控制,2019,47(1):73-79. doi:10.7667/PSPC171866

[7] Sheng Siqing, Jin Hang, Liu Changrong.Short-term and mid-short-term wind power forecasting based on VMD-WSGRU[J].Power System Technology,2022,46(3):897-904.

[8] 盛四清,金航,刘长荣.基于VMD-WSGRU的风电场发电功率中短期及短期预测[J].电网技术,2022,46(3):897-904.

[9] Yunlong Lü, Hu Qin, Xiong Junjie,et al.Ultra-short-term wind power prediction based on spatiotemporal attention convolution model[J].Power System Technology,2024,48(5):2064-2073.

[10] 吕云龙,胡琴,熊俊杰,等.基于时空注意力卷积模型的超短期风电功率预测[J].电网技术,2024,48(5):2064-2073.

[11] Fu Yang, Ren Zixu, Wei Shurong,et al.Ultra-short-term power prediction of offshore wind power based on improved LSTM-TCN model[J].Proceedings of the CSEE,2022,42(12):4292-4303.

[12] 符杨,任子旭,魏书荣,等.基于改进LSTM-TCN模型的海上风电超短期功率预测[J].中国电机工程学报,2022,42(12):4292-4303.

[13] Dai Zihang, Yang Zhilin, Yang Yiming,et al.Transformer-XL:Attentive language models beyond a fixed-length context[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics.Florence:Association for Computational Linguistics,2019:2978-2988. doi:10.18653/v1/p19-1285

[14] Vaswani A, Shazeer N, Parmar N,et al. Attention is all you need[EB/OL].[2025-06-01].doi:10.1007/978-3-031-84300-6_13

[15] Huang Xiaohan, Jiang Aihua.Wind power generation forecast based on multi-step informer network[J].Energies,2022,15(18):6642. doi:10.3390/en15186642

[16] Wu Haixu, Xu Jiehui, Wang Jianmin,et al.Autoformer:Decomposition transformers with auto-correlation for long-term series forecasting[EB/OL].[2025-06-01].

[17] Jiang Yuqi, Gao Tianlu, Dai Yuxin,et al.Very short-term residential load forecasting based on deep-autoformer[J].Applied Energy,2022,328:120120. doi:10.1016/j.apenergy.2022.120120

[18] Zeng Ailing, Chen Muxi, Zhang Lei,et al.Are transformers effective for time series forecasting[J].Proceedings of the AAAI Conference on Artificial Intelligence,2023,37(9):11121-11128. doi:10.1609/aaai.v37i9.26317

[19] Nie Yuqi, Nguyen N H, Sinthong P,et al.A time series is worth 64 words:Long-term forecasting with transformers[EB/OL].[2025-06-01].

[20] Wang Meng, Zhang Jiahong, Li Yu.From AIGC to AIGV:The integrated development of scientific journals and AI⁃generated technologies[J].Acta Editologica,2025,37(Su-pp1):137-141.

[21] 王萌,张加洪,李瑜.从AIGC到AIGV,科技期刊与人工智能生成技术的融合发展[J].编辑学报,2025,37():137-141.

[22] Xue Hao, Salim F D.PromptCast:A new prompt-based learning paradigm for time series forecasting[J].IEEE Transactions on Knowledge and Data Engineering,2024,36(11):6851-6864. doi:10.1109/tkde.2023.3342137

[23] Gruver N, Finzi M, Qiu Shikai,et al.Large language models are zero-shot time series forecasters[EB/OL].[2025-06-01].doi:10.52202/075280-0861

[24] Zhou Tian, Niu Peisong, Wang Xue,et al.One fits all:Power general time series analysis by pretrained LM[EB/OL].[2025-06-01].doi:10.52202/075280-1877

[25] Jin Ming, Wang Shiyu, Ma Lintao,et al.Time-LLM:Time series forecasting by reprogramming large language models[EB/OL].[2025-06-01].doi:10.1007/979-8-8688-1276-7_4

[26] Lai Zefeng, Wu Tangjie, Fei Xihong,et al.BERT4ST:Fine-tuning pre-trained large language model for wind power forecasting[J].Energy Conversion and Management,2024,307:118331. doi:10.1016/j.enconman.2024.118331

[27] Zhu Guopeng, Jia Weiqing, Xing Zhitai,et al.CMLLM:A novel cross-modal large language model for wind power forecasting[J].Energy Conversion and Management,2025,330:119673. doi:10.1016/j.enconman.2025.119673

[28] Su Xiangjing, Zhou Wenxin, Li Chaojie,et al.Interpretable offshore wind power output forecasting based on long short-term memory neural network with dual-stage attention[J].Automation of Electric Power Systems,2022,46(7):141-151.

[29] 苏向敬,周汶鑫,李超杰,等.基于双重注意力LSTM神经网络的可解释海上风电出力预测[J].电力系统自动化,2022,46(7):141-151.

[30] Zhu Li, Xu Wanru, Gao Jingkai,et al.Interpretable diffusion model for multivariate time series generation[J/OL].Computer Engineering,(2025-05-13)[2025-06-01].

[31] 朱莉,徐婉茹,高靖凯,等.基于可解释扩散模型的多变量时间序列生成方法[J/OL].计算机工程,(2025-05-13)[2025-06-01].

[32] Liao Shengli, Wang Zaineng, Cheng Chuntian,et al.Coupling meteorological information and interpretable deep learning methods for daily runoff forecasting[J].Journal of Hydraulic Engineering,2025,56(7):831-843.

[33] 廖胜利,王在能,程春田,等.耦合气象信息和可解释深度学习方法的日径流预报[J].水利学报,2025,56(7):831-843.

[34] Liang Rui, Jin Mohan, Zhu Huijun,et al.Net load interval forecasting in rural areas based on multi-scenario clustering and explainable temporal fusion transformers network[J].Power System Technology,2025,49(12):5019-5027.

[35] 梁睿,金沫含,朱慧君,等.基于多场景聚类和可解释时间融合Transformer网络的乡村地区净负荷区间预测[J].电网技术,2025,49(12):5019-5027.

[36] Althoff T, Gupta V, Hartvigsen T,et al.Are language models actually useful for time series forecasting[C]//Proceedings of the 2024 Advances in Neural Information Processing Systems 37.Vancouver:NIPS,2024:60162-60191. doi:10.52202/079017-1922

[37] Han K, Xiao A, Wu E,et al.Transformer in transformer[C]//Proceedings of the 2021 Advances in neural information processing systems.Vancouver:NIPS,2021:15908-15919.

[38] Dong Yihe, Cordonnier J B, Loukas A.Attention is not all you need:Pure attention loses rank doubly exponentially with depth[EB/OL].[2025-06-01].

[39] Team Q.Qwen2 technical report[EB/OL].[2025-06-01].

[40] Draxl C, Clifton A, Hodge B M,et al.The wind integration national dataset(WIND) toolkit[J].Applied Energy,2015,151:355-366. doi:10.1016/j.apenergy.2015.03.121

[41] Akinci T C, Nogay H S, Penchev M,et al.A hybrid approach to wind power intensity classification using decision trees and large language models[J].Renewable Energy,2025,250:123388. doi:10.1016/j.renene.2025.123388

基金资助

国家电网公司科技项目(5700-202316601A-3-2-ZN)