基于预训练机制的时空图气量预测模型

A pretraining⁃enhanced spatio⁃temporal graph model for gas production prediction

摘要

针对石油领域传统气量预测模型在捕捉长时间依赖和刻画气井间非线性、多尺度空间交互方面的不足，提出基于预训练机制的时空图气量预测模型.在预训练阶段，通过Transformer模块构建时间序列掩码自编码器，提取油田生产数据的深层时序特征，生成具备全局上下文感知的段级表征，解决传统模型时序特征提取不充分的问题；在预测阶段，依托时空特征融合机制，将上述时序表征与动态图结构学习模块捕获的气井空间依赖相结合，突破传统方法在长期记忆缺失、预定义图结构不完整场景下的性能瓶颈.实验结果显示，模型预测的平均绝对误差降至0.156，和基准模型相比，误差分别降低6.6%，36.3%，26.9%和67.9%，性能显著提升.该成果为石油勘探中的时空数据建模提供了新的深度学习范式，是时空大模型工程化应用的有益探索.

Abstract

To address the limitations of traditional gas production prediction models in capturing long⁃term dependencies and modeling nonlinear，multi⁃scale spatial interactions among wells，this study proposes a pretraining⁃enhanced spatio⁃temporal graph model for gas production prediction. In the pre⁃training phase，a Transformer⁃based time series masked autoencoder is employed to extract deep temporal features from oilfield production data，generating segment⁃level representations with global context awareness and mitigating the inadequacy of conventional models in temporal feature extraction. During the prediction phase，a spatio⁃temporal feature fusion mechanism effectively integrates these temporal representations with spatial dependencies among gas wells captured by a dynamic graph structure learning module，thereby overcoming the performance bottlenecks of traditional approaches in scenarios involving long⁃term memory deficiency and incomplete predefined graph structures. Experimental results demonstrate that the proposed model achieves a mean absolute error of 0.156，yielding error reductions of 6.6%，36.3%，26.9% and 67.9% compared to baseline models，thus delivering significant performance improvements. This research establishes a novel deep learning paradigm for spatio⁃temporal data modeling in petroleum exploration and represents a promising step toward the engineering application of large⁃scale spatio⁃temporal models in the energy sector.

Graphical abstract

关键词

气量预测 / 预训练机制 / 图结构学习 / 时空图神经网络

Key words

gas production prediction / pre⁃training mechanism / graph structure learning / spatio⁃temporal graph neural networks

多元时间序列（Multivariate Time Series，MTS）分析在石油和天然气行业中日益重要.由于石油和天然气行业的数据通常是复杂和动态的，涵盖气井、压力、温度、产量及储层属性等随时间变化的多变量，传统统计方法如自回归模型（Autoregressive，AR）、向量误差修正模型（Vector Error Correction Model，VECM）和差分自回归滑动平均（Autoregressive Integrated Moving Average，ARIMA）^［1］在处理平稳线性数据时虽然还有应用价值，但难以应对高维、多变量间非线性依赖的复杂性.

为了克服这一局限引入了机器学习方法，如随机森林（Random Forest，RF）^［2］、递归神经网络（Recurrent Neural Network，RNN）、支持向量机（Support Vector Machine，SVM）^［3］等，能在一定程度上捕捉非线性模式，但在高维数据下，算法的计算成本高昂.随着深度学习的发展，长短期记忆网络（Long Short⁃Term Memory，LSTM）^［4-5］和门控循环单元（Gated Recurrent Unit，GRU）^［6］被广泛应用于石油领域MTS分析，有效建模长期依赖并提升预测精度.然而，这些方法普遍忽视了气井之间的空间依赖关系.

针对上述问题，本文以沙坪场石炭系气藏为研究对象，提出基于STEP^［7］预训练的时空图气量预测模型（A Pre⁃Training⁃Enhanced Spatio⁃Temporal Graph Model for Gas Production Prediction，PST⁃GPF）.该模型在预训练阶段通过Transformer掩码自编码器学习全局上下文的段级表示，捕捉长时依赖并降低计算成本；在预测阶段，利用段级表示指导动态图结构学习，克服先验图不可用或不完整的问题，进而结合输入序列、全局表示与学习得到的图结构，实现高效的时空气量预测.本文的主要贡献如下.

（1）将预训练机制引入时空图气量预测，实现长序列全局上下文建模，弥补现有方法在长时依赖与跨变量交互上的不足.

（2）提出基于段级表示的动态图结构学习方法，有效建模气井间空间依赖，突破先验图限制.

（3）捕捉气量数据的周期性特征并嵌入预测框架，为下游任务提供上下文感知表示，提升泛化与预测性能.

（4）在沙坪场石炭系气藏数据上的实验结果表明，PST⁃GPF模型在可拓展性和预测精度方面表现优异，为油气田高效开发提供了新的技术途径.

1 相关工作

1.1　时空图神经网络

油气田生产数据通常表现为高维、多变量、长时间跨度的时间序列.传统方法包括数值模拟、ARIMA、SVM和RF等，能在一定程度上刻画生产规律，但在处理多井耦合、非线性依赖和长期特征时存在不足.

深度学习方法如RNN，LSTM和CNN （Convolutional Neural Network）被广泛用于建模时间模式，但往往忽略气井间的空间关联.为了同时捕捉空间依赖和时间动态，研究者提出时空图神经网络（Spatio⁃Temporal Graph Neural Network，STGNN），结合图神经网络（GNN）^［8］与序列模型，在交通预测、气象预测等领域表现优异.代表性方法如MTGNN^［9］，STGCN^［10］通过卷积操作提升并行能力；DCRNN^［11］，ST⁃MetaNet^［12］和TGCN^［13］等结合扩散卷积与循环结构实现多步预测；GMAN^［14］，ASTGCN^［15］等利用注意力机制增强复杂依赖建模.

然而，油气数据具有跨度长、周期性强的特点，现有的STGNN多依赖短期序列作为输入，难以捕捉长期依赖；同时，油井间空间拓扑并不明确，缺乏可靠的先验图，限制了基于固定图的方法.这为引入预训练机制和自适应图学习提供了研究空间.

1.2　预训练模型

预训练模型能够从海量的未标记数据中学习通用表示，并迁移至下游任务，在自然语言处理和计算机视觉中已展现显著成效.例如基于Transformer架构^［16-17］的BERT^［18］和GPT^［19］，比LSTM更加强大高效；ViT^［20］将图像块输入Transformer，取得了优异的表现.但这些方法多依赖大规模标注数据，难以直接应用于油气领域.

针对这一不足，本文将预训练机制引入时空图气量预测.通过在大规模未标记油气生产数据上进行自监督学习，模型能够捕捉长时依赖和潜在模式，获得可泛化的表示，并在下游预测任务中显著提升性能，为油气领域的时空建模开辟了新的路径.

2 基于预训练的时空图气量预测模型

基于预训练的时空图气量预测模型（PST⁃GPF）在油田数据分析中可分为预训练阶段和预测阶段.

在预训练阶段，模型采用基于Transformer块^［21］的时间序列掩码自编码器（Time Series based on Transformer，TSformer），从长时间序列中学习深层时序特征，并生成具备全局上下文感知的段级表示，以捕捉气井间复杂依赖关系，同时降低下游任务的计算成本.

在预测阶段，模型利用预训练编码器提供的上下文信息增强下游STGNN的预测能力.由于油田中预定义图（如管道网络图或地质结构图）通常无法完整描述气井间关系，模型需要通过离散稀疏图学习器自适应构建气井间的时空依赖图，从而进一步提升油田生产预测性能.

PST⁃GPF模型的结构如图1所示.

2.1　预训练阶段

在预训练阶段，基于油田数据的时空依赖关系，模型在掩码自编码器（Masked Autoencoders，MAE）^［22］的基础上，采用Transformer块构建TSformer来处理时间序列信息.由于油气生产数据密度较低，单点信息有限，模型通过随机屏蔽75%的数据构建自监督任务，使其从部分可见序列恢复被掩码部分，从而专注于学习高级时序语义.

编码器仅对未掩码数据进行操作，并通过输入嵌入层与可学习的位置编码层处理时间序列，后者通过捕捉周期性特征增强模型对气井数据周期性变化的感知能力.和传统的正弦位置编码和确定性嵌入相比，该方法更适合油田序列特征.解码器在预训练阶段用于序列重建，将隐藏表示恢复至低级语义层次，以生成丰富的时空上下文信息.为了兼顾效率与有效性，解码器采用单层Transformer块处理完整patch，并基于未掩码隐藏表示进行重建.

通过这一过程，模型能够捕捉气井间深层时空依赖，为下游STGNN提供高语义丰富性的段级表示，并在处理不完全或缺失数据时提高预测准确性与鲁棒性.

模型在预训练阶段的结构如图2所示.

2.2　预测阶段

在石油领域，气量预测、储层预测等参数对油气勘探与开采至关重要.然而，许多STGNN依赖预定义图结构来表示气井或测井数据间的关系，但在实际油田中，这些图结构往往不完整或难以获取，尤其当气井间空间布局和数据质量存在显著差异时，限制了模型的准确性与泛化能力.为了应对这一挑战，引入图结构学习技术，通过训练矩阵来表示气井间依赖关系^［23-24］.由于图结构学习与STGNN紧密耦合且缺乏监督信息，直接优化图结构会形成复杂的双层优化问题，传统方法难以处理油气储层数据中复杂的序列间依赖及多样地质条件.

在此背景下，本研究利用预训练的TSformer模型增强图结构学习，通过学习基于伯努利分布的离散依赖图，有效捕捉气井间潜在关系，从而提升STGNN在预测阶段的表现.预测阶段结构如图3所示.

具体地，首先将H^i=H_{\mathrm{1}}^i‖H_{\mathrm{2}}^i\cdots H_{P-\mathrm{1}}^i表示为时间序列i的特征，在气井数据中采用参数可调的kNN （k⁃Nearest Neighbors）图生成基础图结构，其稀疏度通过调节k的值来实现多尺度控制，使用TSformer提取时序特征，利用自注意力机制捕获序列间动态关联，为优化伯努利分布的离散稀疏图提供动态指导.然后计算伯努利分布，如式（1）所示：

\begin{array}{l}{\Theta }_{ij}=FC\left(R\mathrm{e}Lu\left(FC{Z}^i‖Z^j\right)\right)\\ Z^i=ReLu\left(FC\left(H^i\right)\right)+G^i\end{array}(1)

其中，{\Theta }_{ij}表示学习得到的参数，第一个维度表示正的概率，第二个维度表示负的概率，||代表连接操作.G^i是时间序列i的全局特征，由G^i=FC\left(vec\left(Conv\left(S_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}^i\right)\right)\right)所得，其中，S_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{i}\mathrm{n}}^i是训练数据集上的整个序列i.各样本的特征H^i会根据依赖关系图^［25］的动态特性进行自适应调整.通过基于伯努利分布的参数Θ和基于k近邻构建拓扑图A^a之间的概率分布差异度量，将该统计量作为图结构的拓扑保持项，以此作为空间相似性计算的约束机制，如式（2）所示：

{\mathrm{ℒ}}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{h}}=\sum _{ij}-A_{ij}^a\mathrm{l}\mathrm{g}{\Theta }_{ij}^{\text{'}}-\left(\mathrm{1}-A_{ij}^a\right)\mathrm{l}\mathrm{g}\left(\mathrm{1}-{\Theta }_{ij}^{\text{'}}\right)(2)

其中，{\Theta }_{ij}^{\text{'}}=Softmax\left({\Theta }_{ij}\right)是归一化概率.将学习到的参数Θ转化为离散的邻接矩阵A时，通过Gumbel分布的连续松弛技术^［26-27］，构造可微的替代函数来实现有效的反向传播：

A_{ij}=Softmax\left(\left({\Theta }_{ij}+g\right)/\tau \right)(3)

其中，g表示遵循标准Gumbel\left(\mathrm{0,1}\right)分布的独立采样（i.i.d.）向量.温度调节系数\tau控制概率分布的锐化程度，当\tau \to \mathrm{0}时，Gumbel Softmax会收敛到one⁃hot样本（即离散样本）.该模型能够根据历史气量数据的潜在表示构建有效的依赖图，这一过程帮助模型了解不同气井间的相关性和依赖性，并在缺少预定义图的情况下，学习出一个可靠的图结构.

增强的STGNN不仅考虑了传统的图结构输入，还结合了来自TSformer的深层表征.TSformer具备捕捉长周期依赖关系的能力，潜在表示包含了具有全局上下文感知的信息，能为下游模型提供更丰富的语义信息.将STGNN和TSformer的表示融合：

H_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}=SP\left(H_p\right)+H_{\mathrm{S}\mathrm{T}\mathrm{G}\mathrm{N}\mathrm{N}}(4)

其中，H_p是所有节点的TSformer表示，H_{\mathrm{S}\mathrm{T}\mathrm{G}\mathrm{N}\mathrm{N}}是所有节点的STGNN表示，SP\left(\cdot \right)表示语义投影，用于将H_p转换为H_{\mathrm{S}\mathrm{T}\mathrm{G}\mathrm{N}\mathrm{N}}语义空间.

将TSformer所有节点的隐藏表示与Graph Wavenet的隐藏表示相结合，最后通过回归层进行预测.使用平均绝对误差作为回归的损失函数：

{\mathrm{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}=\mathrm{ℒ}\left(\widehat{y},y\right)=\frac{\mathrm{1}}{T_{f}NC}{\displaystyle \sum _{j=\mathrm{1}}^{T_f}}{\displaystyle \sum _{i=\mathrm{1}}^N}{\displaystyle \sum _{k=\mathrm{1}}^C}\left|{\widehat{y}}_{ijk}-y_{ijk}\right|(5)

其中，N是节点数，T_f是预测步数，C是输出的维度，{\widehat{y}}_{ijk}是预测值，y_{ijk}是真实值.下游STGNN和图结构以端到端的方式进行训练：

\mathrm{ℒ}={\mathrm{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}+\lambda {\mathrm{ℒ}}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{h}}(6)

在训练期间设置图正则化项\lambda逐渐衰减，以超越kNN图.为了有效平衡模型性能与资源消耗，经过预处理的TSformer特征提取模块在推理阶段始终维持参数冻结状态，这种设计不仅确保了特征表达的一致性，还显著降低了运算过程中的硬件资源占用率.

在石油勘探领域，尤其是气量预测的预测中，融合上下文信息既能提高模型预测精度，也能增强油藏特征识别与分析能力.通过这种方法，能有效提高预测的准确率，并为石油资源的优化开采提供强有力的数据支持.

2.3　算法伪代码

算法1 预训练阶段

输入：历史气井多元时间序列X

输出：重构的完整气量数据Y

1.将时间序列X划分为patch，并进行嵌入与位置编码，得到表示Z.

2.随机选择部分patch进行掩码并进行位置嵌入作为掩码集M，其余为未掩码集U.

3.将未掩码部分Z_{\mathrm{U}}输入Transformer编码器，得到隐藏表示H.

4.将H与掩码token Z_{\mathrm{M}}拼接后输入Transformer解码器，输出重建序列Y.

5.计算重建值Y与真实值X的差异作为损失\mathit{ℒ}.

算法2 预测阶段

输入：历史气井多元时间序列X，预测步长T

输出：未来气量预测结果\tilde{Y}，预测图结构A

1.将时间序列X划分为长期序列X^{\mathrm{l}\mathrm{o}\mathrm{n}\mathrm{g}}=X，短期序列X^{\mathrm{s}\mathrm{h}\mathrm{o}\mathrm{r}\mathrm{t}}=X\left[:,-L_s:,:,:\right],其中，L_s为短期窗口长度

2.G=全局特征提取\left(X^{\mathrm{l}\mathrm{o}\mathrm{n}\mathrm{g}}\right)

3.H=TSformer\left(X^{long}\right)

4.for每对节点\left(i,j\right)do

5. \begin{array}{l}{E}_{\mathrm{i}\mathrm{j}}=concat\left(ReLu\left(FC\left(H^i\right)\right)+G^i,\right.\\ \left.ReLu\left(FC\left(H^j\right)\right)+G^j\right)\end{array}

6. {\Theta }_{\mathrm{i}\mathrm{j}}=FC\left(ReLu\left(E_{ij}\right)\right)

7.end for

8.A_{\mathrm{k}\mathrm{n}\mathrm{n}}=kNN\left(H,k\right)

9.利用Θ与A_knn计算图监督损失{\mathit{ℒ}}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{h}}

10.A_{\mathrm{s}\mathrm{a}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}=GumbelSoftmax\left(\Theta \right)

11.将H,X^{\mathrm{s}\mathrm{h}\mathrm{o}\mathrm{r}\mathrm{t}},A_{\mathrm{s}\mathrm{a}\mathrm{m}\mathrm{p}\mathrm{l}\mathrm{e}}传入下游STGNN模型，通过回归层得到预测结果\tilde{Y}

12.计算预测值\tilde{Y}与真实值Y的差异作为损失{\mathit{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}

13.总损失用于训练\mathit{ℒ}={\mathit{ℒ}}_{\mathrm{r}\mathrm{e}\mathrm{g}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}+\lambda {\mathit{ℒ}}_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{p}\mathrm{h}}

3 实例分析

3.1　数据描述

真实的生产数据来自沙坪场气田石炭系气藏的不同气井，为19个气井从2009年1月1日到2020年12月31日的生产数据，采样频率为每日一次，共计82773条数据.气井编号前五（ID0，ID1，ID2，ID3，ID4）的气井数据变化趋势如图4所示.

由图可见，五个气井在生产趋势上显示了较强的共同性，表现为平稳的下降趋势和较小的波动.它们可能在地质条件、开采方法或设备管理上有共同的因素，导致它们的生产状况呈现相似的变化.

按照7∶1∶2的比例将数据划分为训练集、验证集和测试集，训练集用于训练模型，验证集用于评估模型在训练过程中的表现，测试集用于测试模型的效果.采用Z⁃score标准化方法，将原始数据转化为均值为0、标准差为1的数据，消除数据之间的尺度差异，加快模型训练的收敛速度.

3.2　模型参数设置

设置patch size为7，patch为48，即利用过去一年的历史信息来预测接下来的七个时间步.下游模型Graph Wavenet的超参数的设置与文献［28］相同，具体模型参数如表1所示.

在预训练阶段，编码器对原始气量数据进行掩码处理，解码器通过重构任务学习数据的上下文信息.在预测阶段则利用预训练模型提供的隐藏状态、学习到的图结构及短期历史序列作为输入，指导下游时空图神经网络进行气量预测.本研究选用Graph Wavenet作为下游模型，通过图卷积与扩张因果卷积结合，能有效捕捉气井的时空相关性，并通过回归层对隐藏表示进行预测，其多层感知结构的具体实现参见文献［28］.

预训练和预测阶段的超参数设置如表2所示.

3.3　评价指标

预训练阶段和预测阶段均采用平均误差（Mean⁃Absolute Error，MAE）、均方误差（Mean⁃Square Error，MSE）和均方根误差（Root Mean Square Error，RMSE）作为评价指标.MAE反映预测值与实际值之间的平均误差，其值越小，预测误差越小；MSE表示预测值与实际值之差的平方的平均值，其值越接近0，模型预测误差越小；RMSE表示预测值与实际值之间绝对误差的平方根平均值，其值越接近0，预测误差越小.

MAE=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left(y_i-{\widehat{y}}_i\right)(7)

MSE=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}{\left(y_i-{\widehat{y}}_i\right)}^{\mathrm{2}}(8)

RMSE=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}{\left(y_i-{\widehat{y}}_i\right)}^{\mathrm{2}}}(9)

其中，{\widehat{y}}_i表示日产气量的预测值，y_i表示日产气量的实际值，单位均为万方.

3.4　实验结果与验证

首先将TSformer预训练模块预测的日产气量掩码值与实际值选取部分时间步（即部分气量数据）进行对比.如图5所示，由于长度限制仅展示时间步330~600的情况，可见预测结果与真实值高度吻合，且有效抑制了噪声干扰，验证了其捕捉长期时序依赖的有效性.

将完整PST⁃GPF模型的预测结果与实际值进行对比.如图6所示，该模型能够准确地捕捉日产气量的变化趋势，即使在气量波动幅度较大（0~101万方）的情况下，仍实现了精准预测，展现出良好的预测性能和稳定性.统计结果显示，预测误差中位值为0.02万方，与算术平均值无偏差，误差序列呈现出0.01万方的标准差和0.02万方的四分位距，其全距分布区间为0.00万方与0.04万方，虽然局部样本存在着一些异常偏差，这可能是测井数据失真或存在噪声导致的，但从整体来看预测结果趋势和准确度较为理想.

为了深入验证PST⁃GPF模型的有效性，将其与四种典型的时空图预测模型，即时序图神经网络MegaCRN^［29］、图时序网络GTS^［30］、时空图神经网络STEMGNN^［31］和自适应图卷积循环网络AGCRN^［32］进行比较.实验设定预测未来七个时间步（即一周的气量数据），并利用多个评价指标（MAE，MSE，RMSE）对预测结果进行全面评估，结果如表3所示，表中黑体字表示结果最优.

由表可见，PST⁃GPF模型在气量预测方面均表现出较高的准确性.气量预测在三个时间步的MAE分别为0.080，0.118和0.156，MSE分别为0.079，0.128和0.182，RMSE分别为0.281，0.358和0.427.在预测气量时，MegaCRN，GTS，STEMGNN以及AGCRN模型的预测效果在三个时间步上均低于PST⁃GPF模型.

综上，PST⁃GPF模型在气量预测方面取得了显著的成果，和其他模型相比，误差更低，精度更高，为气量预测提供了新的方法.

3.5　消融实验

为了评估PST⁃GPF模型中各模块的有效性，在相同数据集上进行消融实验进行并保持超参数与上文一致.

本文设计了两个消融实验.

（1）GTS⁃G （w/o TSformer⁃Based Graph+GTS⁃Based Graph）：将基于TSformer计算的kNN图替换为GTS的kNN图，该图由原始序列生成，用于构建气量预测模型.

（2）Graph Wavenet （w/o Pre⁃Training）：去除预训练模块，仅使用下游模型Graph Wavenet自身的图结构学习模块，从原始数据中学习图结构并进行预测.消融实验结果的评估如表4所示，表中黑体字表示结果最优.

消融实验1的结果显示，时间步1的三项指标接近，说明在简单任务中，TSformer计算的图结构模块对模型性能影响有限.在时间步3和时间步7中，完整模型的性能显著优于消融模型1，其MSE分别降低了4.5%和4.2%，RMSE分别降低了2.2%和2.1%，表明通过预训练的隐藏表示计算的图结构在长期气量预测中起正向作用，减少了预测误差.这种提升主要归因于预训练隐藏表示所包含的全局上下文感知信息，提高了图结构学习的准确性和整体鲁棒性.

在消融实验2中，预训练模块被剔除，在三个时间步上，三项指标均有显著提高.在时间步7中，其MSE与RMSE分别降低了16.5%和8.6%，表明通过TSformer计算的图结构学习模块和预训练模块在气量预测中均起到了正向作用，减少了预测误差，尤其减少了在长时间步长上的预测误差.

4 结论

借助预训练全局上下文建模和TSformer⁃图结构协作，PST⁃GPF模型能够有效捕捉超长油气序列中气井间的复杂时空依赖.通过段级表示学习和离散稀疏图构建，模型在处理多井、多时间步的气量预测任务中显著降低了预测误差，尤其在长时间步预测中表现优越，MSE和RMSE显著下降.这一方法不仅提升了模型的准确性与鲁棒性，也在应对缺失或不完整数据时展现出较强的适应性，为油田生产数据分析提供了可靠的深度学习工具.此外，通过消融实验系统验证了预训练模块和图结构学习模块在气量预测中的关键作用.实验结果表明，完整模型在长期预测任务中优于去除预训练模块或替换图结构的消融模型，说明两者在捕捉全局时空特征和优化图结构方面均发挥了重要作用.

本研究不仅为油气勘探中的时空数据建模提供了新的技术路径，也为基于预训练的时空图神经网络在石油领域的工程化应用奠定了基础.

参考文献

[1] Box G. Box and Jenkins：Time series analysis，forecasting and control∥Mills T C. A Very British Affair：Six Britons and the Development of Time Series Analysis During the 20th Century.London，United Kindom：Palgrave Macmillan，2013：161-215.

[2] Gonçalves I F A， Silva T M D， Barreto A B，et al. Predicting oil field production using the random forest algorithm∥Anais Estendidos da XXXV Conference on Graphics，Patterns and Images.Porto Alegre，Brazil：Sociedade Brasileira de Computação，2022：134-139.

[3] Sadegh S， Shadizadeh S R. Reservoir rock permeability prediction using support vector regression in an Iranian oil field. Journal of Geophysics & Engineering，2012，9(3)：336-344.

[4] 孔令维，许立红，刘树辉. 基于大数据分析的机采井组最优产能模型的确定与应用. 石油石化节能，2023，13(5)：49-53.

[5] Rodriguez A X， Salazar D A. Methodology for the prediction of fluid production in the waterflooding process based on multivariate long⁃short term memory neural networks. Journal of Petroleum Science and Engineering，2022，208(Part E)：109715.

[6] Avula V R， Kapavarapu B B， K M M，et al. Prediction of oil production using optimized gated recurrent unit (GRU)∥2024 International Conference on Recent Advances in Electrical，Electronics，Ubiquitous Communication，and Computational Intelligence. Chennai,India：IEEE，2024：1-6.

[7] Shao Z Z， Zhang Z， Wang F，et al. Pre⁃training enhanced spatial⁃temporal graph neural network for multivariate time series forecasting∥Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York，NY，USA：Association for Computing Machinery，2022：1567-1577.

[8] Defferrard M， Bresson X， Vandergheynst P. Convolutional neural networks on graphs with fast localized spectral filtering. https://arxiv.org/abs/1606.09375,2017-02-05.

[9] Wu Z H， Pan S R， Long G D，et al. Connecting the dots：Multivariate time series forecasting with graph neural networks∥Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York，NY，USA：Association for Computing Machinery，2020：753-763.

[10] Yu B， Yin H T， Zhu Z X. Spatio⁃temporal graph convolutional networks：A deep learning framework for traffic forecasting∥Proceedings of the 27th International Joint Conference on Artificial Intelli⁃gence. Palo Alto，CA，USA：AAAI Press，2018：3634-3640.

[11] Li Y G， Yu R， Shahabi C，et al. Diffusion convolutional recurrent neural network：Data⁃driven traffic forecasting. https://arxiv.org/abs/1709. 04875，2018-02-22.

[12] Pan Z Y， Liang Y X， Wang W F，et al. Urban traffic prediction from spatio⁃temporal data using deep meta learning∥Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York，NY，USA：Association for Computing Machinery，2019：1720-1730.

[13] Zhao L， Song Y J， Zhang C，et al. T⁃GCN：A temporal graph convolutional network for traffic prediction. IEEE Transactions on Intelligent Transportation Systems，2020，21(9)：3848-3858.

[14] Zheng C P， Fan X L， Wang C，et al. GMAN：A graph multi⁃attention network for traffic prediction. Proceedings of the AAAI Conference on Artificial Intelligence，2020，34(1)：1234-1241.

[15] Guo S N， Lin Y F， Feng N，et al. Attention based spatial⁃temporal graph convolutional networks for traffic flow forecasting∥Proceedings of the AAAI Conference on Artificial Intelligence.Palo Alto，CA，USA：AAAI Press，2019：922-929.

[16] Devlin J, Chang M W, Lee K,et al. BERT:Pre⁃training of deep bidirectional transformers for language understanding∥Proceedings of the 2019 Conference of the North. Minneapolis，MN，USA:Association for Computational Linguistics,2019:4171-4186.

[17] Brown T B, Mann B, Ryder N,et al. Language models are few⁃shot learners∥Proceedings of the 34th International Conference on Neural Information Processing Systems.Red Hook，NY，USA:Curran Associates Inc.,2020:1877-1901.

[18] Peters M E， Neumann M， Iyyer M，et al. Deep contextualized word representations∥Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics：Human Language Technologies. Volume 1：Long Papers. New Orleans，LA，USA：Association for Computational Linguistics，2018：2227-2237.

[19] Sutskever I， Vinyals O， Le Quoc V. Sequence to sequence learning with neural networks. Advances in Neural Information Processing Systems，2014，27：3104-3112.

[20] Dosovitskiy A， Beyer L， Kolesnikov A，et al. An image is worth 16×16 words：Transformers for image recognition at scale. https://arxiv.org/abs/2010.11929，2021-06-03.

[21] Vaswani A， Shazeer N， Parmar N，et al. Attention is all you need∥Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook，NY，USA：Curran Associates Inc.，2017：6000-6010.

[22] He K M， Chen X L， Xie S N，et al. Masked autoencoders are scalable vision learners∥2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition. New Orleans，LA，USA：IEEE，2022：15979-15988.

[23] Franceschi L， Niepert M， Pontil M，et al. Learning discrete structures for graph neural networks∥Proceedings of the 36th International Conference on Machine Learning. New York，NY，USA：PMLR，2019：1972-1982.

[24] Kipf T， Fetaya E， Wang K C，et al. Neural relational inference for interacting systems∥Proceedings of the 35th International Conference on Machine Learning. New York，NY，USA：PMLR，2018：2688-2697.

[25] Li F X， Feng J， Yan H，et al. Dynamic graph convolutional recurrent network for traffic prediction：Benchmark and solution.ACM Transactions on Knowledge Discovery From Data，2023，17(1)：1-21.

[26] Jang E， Gu S X， Poole B. Categorical reparameterization with gumbel⁃softmax. https://arxiv.org/abs/1611.01144，2017-08-05.

[27] Maddison C J， Mnih A， Teh Y W. The concrete distribution：A continuous relaxation of discrete random variables. https://arxiv.org/abs/1611. 00712,2017-03-05.

[28] Wu Z H， Pan S R， Long G D，et al. Graph wavenet for deep spatial⁃temporal graph modeling∥Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao，China：AAAI Press，2019：1907-1913.

[29] Jiang R H， Wang Z N， Yong J W，et al. Spatio⁃temporal meta⁃graph learning for traffic forecasting. Proceedings of the AAAI Conference on Artificial Intelligence，2023，37(7)：8078-8086.

[30] Chen S， Chen J， Bi J.Discrete graph structure learning for forecasting multiple time series：Report No：OSTI⁃1866733. Washington DC，USA：US Department of Energy Office of Scientific and Technical Information，2021.

[31] Cao D F， Wang Y J， Duan J Y，et al. Spectral temporal graph neural network for multivariate time⁃series forecasting∥Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook，NY，USA：Curran Associates Inc.，2020：17766-17778.

[32] Bai L， Yao L N， Li C，et al. Adaptive graph convolutional recurrent network for traffic forecasting∥Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook，NY，USA：Curran Associates Inc.，2020：17804-17815.

基金资助

国家自然科学基金(62176221)

国家自然科学基金(62276215)

国家自然科学基金(62276218)

国家自然科学基金(62272398)

中央引导地方科技发展专项(2021ZYD0003)

2021年第二批产学合作协同育人项目(202102211111)

南充市⁃西南石油大学市校科技战略合作专项资金(23XNSYSX0084)

南充市⁃西南石油大学市校科技战略合作专项资金(23XNSYSX0062)

西南石油大学2024-2026年本科教学教改研究重点项目(X2024JGZDI27)