基于LSTM神经网络的内蒙古自治区GDP预测

GDP prediction of Inner Mongolia Autonomous Region based on LSTM neural network

摘要

通过使用国家统计局公开发布的内蒙古自治区1992—2022年的年度GDP数据，基于长短时记忆神经网络（LSTM）分别构建了两步预测模型和三步预测模型进行对比，并在网络结构中添加了Dropout模块，避免出现过拟合的情况，同时提高模型的预测能力。根据预测值和真实值的结果，使用平均绝对误差（MAE）、均方误差（MSE）、均方根误差（RMSE）指标来评价两个模型的优劣。经实验结果表明：LSTM两步预测模型在测试集样本中R2值可达到0.93，证明该模型预测结果拟合更好，有很强的泛化能力，可用于内蒙古自治区GDP的短期预测；应用LSTM两步预测模型预测内蒙古自治区2023—2024年的GDP值分别为24 805.60亿元和25 131.69亿元，能够看出该地区未来GDP增长良好，可为政府部门定制宏观经济计划提供参考。

Abstract

The paper uses the annual GDP data of Inner Mongolia Autonomous Region from 1992 to 2022 publicly released by the National Bureau of Statistics. Based on the Long Short Term Memory Neural Network (LSTM), a two-step prediction model and a three-step prediction model are constructed for comparison, and a Dropout module is added to improve the model's generalization ability. Average absolute error (MAE), mean square error (MSE) and root mean square error (RMSE) are used to evaluate the advantages and disadvantages of the two models. The experimental results show that the LSTM two-step prediction model can achieve an R2 value of 0.93 in the test set samples, proving that the model has better fitting and strong generalization ability, and can be used for short-term prediction of GDP for Inner Mongolia Autonomous Region. The LSTM two-step prediction model is used to predict the GDP values of the Inner Mongolia Autonomous Region from 2023 to 2024 to be 2 480.56 billion yuan and 2 513.169 billion yuan respectively. It can be seen that the future GDP growth of the region is good, which can provide a scientific reference for the government to customize the macro economic planning.

Graphical abstract

关键词

GDP预测 / LSTM神经网络模型 / 机器学习

Key words

GDP forecast / LSTM neural network model / machine learning

科学预测宏观经济走势一直是经济学中重要的研究课题。GDP是最能反映宏观经济的指标，它反映在特定时间内某个国家或区域的国民经济中所制造出来的所有最终商品和劳动力的价格，反映了该国家或者地区的经济实力和市场规模，能判断一个国家或地区内全部经济活动的活跃程度。通过研究内蒙古自治区的地区生产总值的情况，即研究内蒙古自治区全部经济活动的活跃程度，可以得知内蒙古自治区的经济是否良性、健康发展，对GDP进行预测，能为该地区宏观经济的健康发展起到一定的导向作用，有利于政府在城市发展建设过程中更好地进行决策，促进内蒙古自治区GDP的持续稳定增长。

时间序列是指随着时间的推移，数据按先后顺序排列而成的数列。时间序列分析的主要目的就是根据已有的历史数据对未来数据进行预测。据相关历史资料，在七千多年前的古埃及出现了最早的时间序列分析技术，当时面对水患的困扰，为了解决农业生产的问题，对尼罗河的涨落时间进行了记录，因此形成了时间序列。GDP随着时间会产生变化，因此属于时间序列。国内外学者对GDP分析预测问题主要以传统的线性预测模型为主，如灰色预测模型、ARIMA模型等^[1]。李瑞阁等^[2]使用1992—2016年的我国季度GDP数据，构建了ARIMA乘积模型，结果表明所选模型能反映季度GDP的变化规律。蒋延军等^[3]提出了一种基于灰色理论的桂林市GDP预测模型，结果表明该方法有较高的预测精度。随着机器学习的不断发展突破，其算法在经济、金融等领域内均得到了广泛的应用。GDP时间序列具有线性和非线性的特征，传统分析模型无法研究非线性问题，往往会产生很大的误差。而神经网络模型可以较好地拟合非线性情况，在处理时间序列类问题有很好的效果，适用于有关GDP的预测分析研究。Li等^[4]提出了新的基于深度学习的集成预测模型，通过自适应优化权重得出最终预测结果，有效地提高了预测性能。Tkacz^[5]使用了ANN模型对加拿大的年度GDP数据进行研究，得出该模型相比线性预测模型误差降低了25%左右。梁娜等^[6]基于改进的BP神经网络模型进行了GDP预测研究，证明了该模型的有效性。朱青等^[7]使用了LSTM模型对我国GDP进行预测，并与传统时序模型ARIMA及GARCH模型进行比较，结果表明LSTM模型能较准确地反映GDP的变化规律。梁龙跃等^[8]将LSTM神经网络与小波分解技术相结合，得出该模型有很好的泛化能力，预测结果更优。

1 方法介绍

1.1 长短时记忆神经网络

传统的前馈神经网络（Feed-Forward neural network，FNN）是由一系列简单的神经元构成。如图1所示，是FNN较为简单的神经网络，它的结构包括输入层、隐藏层和输出层，每层中都包含若干神经元将各层相连接。在神经网络结构中，数据包括正向计算及反向计算过程，其中正向传播过程是数据从输入层传递到隐藏层并最终通过输出层得到结果，在输入层到隐藏层之间需要通过一定的权重值来连接神经元。而反向传播过程与正向传播相反，计算正向传播得到的输出值与真实值之间的误差值，若误差较高则开始反向计算，逐层调节各权重值，再使用更新后的权重正向计算得到新的输出值，直至误差降到可接受的大小，表明模型训练结束。神经元之间的关联仅在每层与下一层之间，同一层级内的神经元并不存在连接，其内部数据都是独立进行处理。许多问题的样本数据都需要结合前后关系才能更准确地分析，FNN在此类问题中有很大的局限性，为了解决具有关联性数据的分析需求，循环神经网络(Recurrent neural network，RNN)应运而生。

RNN主要用于分析时间序列类问题，它可以将神经元在某一时刻的输出再次作为输入循环进同一个神经元，即在FNN基础上对神经元增加了回环功能，这种结构对时间序列类问题有很好的处理效果。但是，RNN只适用于短期信息，经过大量实证分析表明，RNN对于长期信息的存储分析能力不是很好，RNN在处理长期序列中会存在梯度消失及梯度爆炸问题，这对于该模型在长期序列问题的分析来说属于无法避免的灾难。因此，为了解决对长时序列的分析需求，相关学者在RNN模型的基础上进行改良，提出了长短期记忆神经网络模型^[9](Long-Short time memory，LSTM)。二者的工作方法基本相同，其不同之处在于LSTM在其内部添加了一个更加细化的处理模块，该模块能够有选择地添加或减少信息，控制信息的流动，有效实现序列前后信息的存储与更新，使长期信息得以保存，并解决短期信息缺失问题。LSTM模型也能有效克服在RNN模型中存在的梯度消失和梯度爆炸的问题^[10-11]。

如图2所示，LSTM神经网络包括3个门控结构，分别为输入门、遗忘门、输出门。其中：i表示输入门，f表示遗忘门，o表示输出门。LSTM模型对信息的存储与更新均由门控来实现，它是由sigmoid函数和点乘运算实现。通常门控的一般形式表达为

g\left(x\right)=\sigma \left(Wx+b\right)(1)

其中\sigma \left(x\right)=\frac{\mathrm{1}}{\mathrm{1}+{\mathrm{e}}^{-x}}，它是机器学习中常用的非线性激活函数。W为连接两层的权重矩阵，b是对应的偏置项。当门控的输出值为\mathrm{0}，表示没有信息通过，当输出值为\mathrm{1}时，表示所有信息都可以通过。

在时间取值为t时，LSTM模型的隐藏层的输入向量为x_t，输出向量为h_t，记忆单元为c_t。输入门通过将i_t和c_t相乘更新当前时刻的单元状态，并将其传递到下一个记忆单元，即为输入数据x_t流入记忆单元的数量值为

i_t=\sigma \left(W_i\cdot \left[c_{t-\mathrm{1}},h_{t-\mathrm{1}},x_t\right]+b_i\right)(2)

其中：W_i为输入门结构中的权值矩阵，b_i为输入门结构的偏置项，c_{t-\mathrm{1}}为上一时刻的记忆单元，h_{t-\mathrm{1}}为上一时刻的输出向量，x_t为该时刻的输入向量。

遗忘门决定传入的信息哪部分会被丢弃，即上一时刻记忆单元c_{t-\mathrm{1}}中的信息对当前的记忆单元c_t的影响。

f_t=\sigma \left(W_f\cdot \left[c_{t-\mathrm{1}},h_{t-\mathrm{1}},x_t\right]+b_f\right)(3)

c_t=f_t{c}_{t-\mathrm{1}}+i_t\mathrm{t}\mathrm{a}\mathrm{n}h\left(W_c\cdot \left[h_{t-\mathrm{1}},x_t\right]+b_c\right)(4)

其中：W_f为遗忘门结构的权值矩阵，b_f为遗忘门结构的偏置项；W_c为中间结果的权值矩阵，b_c为其偏置项。当f_t=\mathrm{0}，该部分信息被遗忘，当f_t=\mathrm{1}，该部分信息会被保留。

输出门决定当前时刻输出的值，即记忆单位c_t的某一部分在当前时刻输出h_t，由o_t和经过函数\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}处理的c_t所决定。W_o为输出门结构的权值矩阵，b_o为输出门结构的偏置项。输出门的值为

o_t=\sigma \left(W_o\cdot \left[c_{t-\mathrm{1}},h_{t-\mathrm{1}},x_t\right]+b_o\right)(5)

记忆单元在t时刻的输出值为

h_t=o_t\mathrm{t}\mathrm{a}\mathrm{n}h\left(c_t\right)(6)

1.2 模型评价指标

基于LSTM模型的GDP趋势预测属于机器学习中回归预测类问题，当输出预测值后，需要将其与真实值进行对比，以此来评价该模型的拟合效果。对于模型准确度的评价有几种常用方法。对于含有n个样本的各评价指标公式如下：

均方误差MSE，公式为

MSE=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}{\left({\widehat{y}}_i-y_i\right)}^{\mathrm{2}}(7)

均方根误差RMSE，公式为

RMSE=\sqrt[]{\frac{\mathrm{1}}{n}{{\displaystyle \sum _{i=\mathrm{1}}^n}\left({\widehat{y}}_i-y_i\right)}^{\mathrm{2}}}(8)

平均绝对误差MAE，公式为

MAE=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left|{\widehat{y}}_i-y_i\right|(9)

其中：{\widehat{y}}_i为预测值，y_i为真实值，本文将选用MAE、MSE及RMSE作为模型最终评价指标，其值越小表明该模型误差越小，预测效果越好^[12]。

2 实证分析

2.1 数据来源

本文使用内蒙古自治区1992—2022年的年度GDP数据进行分析预测，内蒙古自治区的年度GDP趋势如图3所示，数据来源于国家统计局。

2.2 数据预处理

从GDP趋势图中可以发现，由于2020年新型冠状病毒肺炎疫情影响，该年的GDP数据为异常值。为了使模型预测具有一般性，需要对异常值做相应处理，本文使用2019年及2021年的GDP数据均值进行替换。对于神经网络模型来讲，除了要选择合适的各项参数，一个良好的数据集也是非常重要的。在进行神经网络建模前需要对数据进行归一化处理，归一化是指将数据特征转换为同一尺度的操作，该操作可以有效提高模型调整参数时使用梯度下降法的效率。神经网络中常见的归一化方法有最大最小值归一化、标准化及白化。本文使用最大最小值归一化进行了数据的处理^[12]。

最大最小值归一化是通过缩放使得每一个特征值取值在0~1之间，转换函数为

X=\frac{x-\mathrm{m}\mathrm{i}\mathrm{n}}{\mathrm{m}\mathrm{a}\mathrm{x}-\mathrm{m}\mathrm{i}\mathrm{n}}(10)

其中：x为原始数据，\mathrm{m}\mathrm{i}\mathrm{n}为数据最小值，\mathrm{m}\mathrm{a}\mathrm{x}为数据最大值。

LSTM模型在进行预测时需要根据具体分析情况对数据进行结构处理，本文将时间序列数据整理为滑动窗口格式，分别使用前两年和前三年的历史数据来预测后一年的值。将处理好的数据拆分为训练集、验证集和测试集，其中训练集和验证集均用于模型的训练，测试集用于检验模型的泛化能力，在超参数优化过程中使用五折交叉验证法确定模型参数。

2.3 模型构建

使用Python软件对内蒙古自治区1992—2022年的年度GDP数据进行LSTM神经网络构建。模型中加入了Dropout层随机忽略隐藏层神经元，它的作用是在神经网络训练的过程中，按照一定的概率暂时随机丢弃一部分神经元，引入此方法可有效避免训练过程中出现过拟合问题。对于GDP数据来讲，由于样本数较少，在使用神经网络建模时很容易出现过拟合的情况，这对于预测结果会产生很大的影响，因此除了合理设定各项超参数外，使用Dropout层来随机丢弃神经元是非常重要的。

2.3.1 LSTM三步预测模型

LSTM三步预测模型是使用历史三年的数据预测后一年的值。通过使用网格搜索方法来确定LSTM三步预测模型的超参数，最终选定超参数分别为：模型迭代800次；隐藏层数为2层，每层神经元个数为20；dropout层丢弃比率为0.05；模型使用Adam优化器。

使用1992—2016年的样本作为模型训练集及验证集。模型构建的损失函数如图4所示，随着迭代次数的增加，训练集和验证集的损失逐渐降低，损失函数曲线整体呈现下滑趋势且LOSS值达到足够小，表明模型训练完成，可用于后续检验。

经模型训练后，训练集的预测值与真实值的趋势对比如图5，可以看出变化趋势基本保持一致。

2.3.2 LSTM两步预测模型

LSTM两步预测模型是使用历史两年的数据预测后一年的值。同样使用网格搜索方法来确定LSTM两步预测模型的超参数，最终选定超参数分别为：模型迭代800次；隐藏层数为2层，每层神经元个数为20；dropout层丢弃比率为0.1；模型使用Adam优化器。

使用1992—2016年的样本作为模型训练集及验证集。模型构建的损失函数如图6所示。根据图7所示，可以看出模型训练的预测值与真实值之间的发展趋势基本保持一致。

2.4 预测结果

分别使用构造的LSTM三步预测模型和LSTM两步预测模型对2017—2022年的测试集样本进行预测，以验证模型的适用性。同时使用了传统的ARIMA模型进行对比，ARIMA是用来分析时间序列问题的常用方法，能很好地识别数据间的线性关系，普遍应用于时间序列类问题的研究当中，根据数据具体情况确定ARIMA(0，2，0)模型。三种模型的预测结果如表2所示。从相对误差值可以发现，模型的各年相对误差均较低，但LSTM两步预测模型整体预测效果更好。

表3展示了根据测试集的预测结果得出三种模型的R2、MAE、MSE和RMSE的值。从表中数据可以看出LSTM模型均优于传统的ARIMA模型，并且基于LSTM两步预测模型构建的内蒙古自治区GDP的预测结果R2、MAE、MSE、RMSE值均优于LSTM三步预测模型。LSTM两步预测模型的R2值为0.93，表明两步预测更适合内蒙古自治区GDP的预测问题，该模型对测试集数据的预测值与实际值拟合程度较好，具有一定的现实意义。

使用LSTM两步预测模型对内蒙古自治区未来两年即2023年和2024年的年度GDP值进行预测，预测结果为：2023年内蒙古自治区GDP值为24 805.60亿元；2024年GDP值为25 131.69亿元。可以得出未来两年内蒙古自治区GDP仍然能以较高增速增长，表明该地区经济发展状况良好。

3 结论

对于时间序列分析预测类问题，相比于传统的统计学模型大多关注数据间的线性关系，LSTM神经网络模型能捕捉到数据间的非线性关系，并且使用该模型进行训练时不需要过多的前提假设条件，仅仅依靠数据本身就能获到很好的预测结果。以往对于内蒙古自治区的年度GDP分析研究中，大多是使用传统的时间序列模型，而神经网络模型的应用较少。本文针对内蒙古自治区的年度GDP数据，通过使用添加了Dropout模块的LSTM网络对内蒙古自治区年度GDP数据构建两步预测模型及三步预测模型，并使用网格搜索法进行五折交叉验证确定了模型的超参数。经实验结果表明，LSTM两步预测模型在测试集上有更好的拟合效果，泛化能力强，适用于内蒙古自治区GDP数据预测分析。通过使用LSTM两步预测模型对内蒙古自治区未来两年的GDP值进行预测，发现其呈现稳定增长趋势，表明该地区的宏观经济发展状况良好，可为内蒙古自治区经济发展建设提供参考。

参考文献

[1] 马静雯, 李树青, 夏梦瑶. 机器学习在GDP预测中的应用研究述评[J]. 科技情报研究, 2022, 4(3): 73-94.

[2] 李瑞阁, 黄佳艳. 基于ARIMA乘积模型的国民经济GDP预测研究[J]. 南阳理工学院学报, 2018, 10(2): 7-12.

[3] 蒋延军, 李运德, 李树德, 等. 基于灰色GM(1,1)模型的桂林市GDP预测研究[J]. 桂林航天工业学院学报, 2022, 27(4): 533-538.

[4] LI Q W, YU C M, YAN G X. A new multipredictor ensemble decision framework based on deep reinforcement learning for regional GDP prediction[J]. IEEE Access, 2022, 10: 45266-45279.

[5] TKACZ G. Neural network forecasting of Canadian GDP growth[J]. International Journal of Forecasting, 2001, 17(1): 57-69.

[6] 梁娜, 张吉刚. 基于改进BP的GDP预测研究[J]. 计算机与数字工程, 2012, 40(1): 49-50, 53.

[7] 朱青, 周石鹏. 基于LSTM-XGBoost二维组合模型的GDP增速预测[J]. 软件导刊, 2021, 20(4): 57-62.

[8] 梁龙跃, 陈玉霞. 基于深度学习神经网络的季度GDP预测[J]. 统计与决策, 2023, 39(2): 24-29.

[9] HOCHREITER S, SCHMIDHUBER J. Long short-term memory[J]. Neural Computation, 1997, 9(8): 1735-1780.

[10] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016.

[11] 肖争艳, 刘玲君, 赵廷蓉, 等. 深度学习神经网络能改进GDP的预测能力吗?[J]. 经济与管理研究, 2020, 41(7): 3-17.

[12] 李航. 统计学习方法[M]. 北京: 清华大学出版社, 2012.

基金资助

内蒙古自治区直属高校基本科研业务费项目(JY20220003)