域信息自增极端随机树模型应用于时序数据预测

Domain Information Self-Augmenting Extreme Random Tree Model Applied to Time Series Data Prediction

摘要

时序数据预测在应对不确定性、降低风险、优化资源配置和提升服务质量等方面都发挥着重要作用，但时序数据存在的多种特性使得预测过程变得复杂、预测精度不高。为此，提出一种基于域信息自增极端随机树模型应用于时序数据预测，采取时序平移器提取时序数据之间的联系，利用特征分解模块消除原有序列的内在噪声，通过基于生成对抗网络的特征增强模块，有效获取时序数据中静态特征与时空特征，从而优化时间预测模型的参数。以突发公共卫生事件作为例，对美国各州突发公共卫生事件关键数据的趋势进行预测。实验结果表明，在马萨诸塞州、马里兰州和华盛顿州的突发公共卫生事件数据集中，本文模型在预测每日新增确诊人数上表现突出，但在预测每日新增死亡人数上略有不足。

Abstract

Time-series data prediction is pivotal in addressing uncertainty, mitigating risks, optimizing resource allocation, and enhancing service quality. However, the complex nature of time-series data challenges accurate prediction. To address this issue, we propose a domain information self-augmenting extreme random tree model applied to time-series data prediction. We employ a time-series shifter to extract relationships among the data points, utilize a feature decomposition module to eliminate inherent noise from the original sequence, and leverage a generative adversarial network-based feature enhancement module to effectively capture static and spatiotemporal features of the time-series data. Furthermore, we optimized the parameters of our time prediction model. Taking public health emergencies as an example, we forecasted key indicators’ trends in different states of the United States. The experimental results demonstrate that our model performs well in predicting daily new cases during public health emergencies in Massachusetts, Maryland, and Washington State; however, it exhibits slight limitations when forecasting daily new deaths.

Graphical abstract

0　 引 言

现实世界中的许多现象和事件都具有一定的规律性，这种规律性往往使得人们可以在一定程度上预测未来的发展趋势。时序数据预测通过对历史数据的分析和挖掘，找出潜在的规律和趋势，为未来决策提供依据，帮助人们更好地识别和评估风险，从而提前采取相应的措施进行防范。此外，还可以找出对资源分配的优化点，有针对性地进行改进，提高效率。时序数据涵盖了众多领域与行业，对这些数据进行分析利用，可以为人们提供许多有关现实世界现象的重要洞察。时序数据存在趋势、季节性和随机性等多种特性，这使得预测过程变得更为复杂，预测精度不高。因此需要对时间预测模型的参数进行优化以提高预测精度。时序预测具有一定的时效性，对预测模型的实时性和适应性有较高的要求。在实际应用中，时序预测往往受到经济^[1]、社会^[2-3]、自然^[4]等多种因素的影响。

突发公共卫生事件时序数据具有很强的突发性、公共性和复杂性等显著特点，且随着环境变化、人口流动以及全球化进程，突发公共卫生事件的频率有增高的趋势。同时，这类事件可能对人们的健康和生命安全造成严重威胁，还可能对经济和社会秩序带来负面影响。

因此，本文模型针对时序数据的多种特性，以突发公共卫生事件^[5-9]为案例，引入时间平移机制和域信息自增机制提取时序数据中的时序依赖性，再将域信息自增机制与极端随机树模型^[9]结合，实现对突发公共卫生事件关键数据的趋势预测。通过时序平移机制和域信息自增机制，使得模型能有效获取时序数据中的内在联系，能较准确预测未来短期时序数据的动态变化。利用美国疾控中心公布的马萨诸塞州、马里兰州和华盛顿州的突发公共卫生事件数据集进行比较实验，实验结果表明，域信息自增极端随机树模型优于基线模型。本文的主要创新点如下：

1） 利用时序平移器机制捕获时序数据之间时序联系，构建可解释的时序特征。

2） 引入特征分解模块消除特征内在噪声，有效提取时间序列数据中的有效信息。

3） 将域信息自增机制与极端随机树模型结合，提出一种基于域信息自增机制的时序数据预测模型，解决预测模型在时序数据数量有限情况下的预测精度欠佳问题，通过内部机制，高效获取时序数据的分布特征与时序依赖性特征，将输入数据域信息增强后提取，输入预测段，实现在时序数据量有限的情况下对时序数据的预测。

1　 相关工作与研究

1.1　预测模型现状

目前经典的时序预测模型如下：1） 传统时间序列预测模型，如Autoregressive Integrated Moving Average（ARIMA）模型^[10]能够适应各种不同的时间序列数据特征，可以通过调整参数处理非平稳时间序列，但ARIMA模型需要通过复杂的模型识别来确定参数，且捕捉非线性关系的能力弱。2） eXtreme Gradient Boosting（XGBOOST）模型是基于树的模型，有许多参数需要调整，例如学习率、迭代次数、树的最大深度等。在时序预测中，由于数据的特点和噪声，参数调优更为复杂，需要花费更多的时间和计算资源。已有学者对XGBOOST模型进行了优化，如文献[11]。3） 循环神经网络算法，如Chimmula等^[12]使用基于长短期记忆（Long Short-Term Memory，LSTM）网络模型来预测突发公共卫生事件时序数据，Arora等^[13]使用深度长短期记忆网络、卷积长短期记忆网络和双向长短期记忆网络来预测印度突发公共卫生事件的病例数。但是LSTM系列算法对于超长序列预测不能达到良好的效果，对实验机器算力也有一定要求。4） 先知（PROPHET）模型，如Taylor等^[14]提出了一种具有可解释参数的模块化时间序列预测模型（先知模型）。该模型结合了多种时间序列模型的优点，并通过可解释的参数来提高模型的预测能力。5）卷积神经网络（Convolutional Neural Networks, CNN）具有处理数据的时空特征的能力^[15]，但卷积神经网络计算成本高，有很多参数需要调整，并且通常需要大量的训练数据才能取得好的预测效果。

1.2　去噪算法

时序预测是许多科学工程领域重要工作，而现实世界时间序列往往呈现出非线性，混乱性。若想有效地测量时间序列中所需信息，对数据进行预处理将是重要一环。因此，去噪算法被广泛应用于预测时间序列分析。传统的经验模态分解（Empirical Mode Decomposition， EMD）^[16]算法在处理过程中可能存在噪声敏感、模式混叠等问题。为了解决这些问题，Torres等^[17]提出了一种时序数据分解算法Complete Ensemble EMD（CEEMD），该算法对EMD与Ensemble Empirical Mode Decomposition （EEMD）^[18]进行了改进。作者在多分解阶段中添加自适应白噪声信号，这种自适应白噪声可以在分解过程中自动调整，减少噪声对分解结果的影响，从而使EMD中存在模态混叠、噪声敏感的问题得到解决，并且该方法分解过程完整，能对原始信号进行精确重构。

1.3　时序数据增强算法

时序数据的产生可能面临数据采集不及时、数据缺失等复杂情况，导致可用于模型训练的数据量规模普遍较小，而时序数据增强算法能学习已有数据的特征，生成若干符合原始数据域特征的模拟数据，对于精准预测起到良好的辅助效果。Sutskever等^[19]通过下采样手段借助波束搜索方法，在翻译序列任务中，模拟产生辅助效果良好的子序列。Radford等^[20]使用深度生成模型，不使用代价高昂的归一化常数，生成模拟时序数据，并且实验数据表明该方法可以产生高度接近真实数据样本的序列，基于此方法对于机器性能需求与训练开销进行评价，效果优秀。

1.4　极端随机树预测模型

Geurts等^[21]提出了极端随机树（Extremely Randomized Trees, ET）预测模型，此模型与随机森林模型类似，基线学习模型都为决策树，能够进行良好的特征选择，较快处理高维特征，可进行并行计算，较少发生过拟合的情况，对于数据处理较为合理。极端随机树在时序数据研究方向应用广泛，Eslami等^[22]在集合预报方法中使用ET，显著提高了臭氧浓度预测的数值精度。Wei等^[23]利用ET解决了此前一直被部分数据缺失所困扰的气象监测数据预测问题。

2　 域信息自增极端随机树模型

2.1　模型架构

图1为域信息自增极端随机树架构图。为弥补树模型未能充分利用时序数据的缺点，首先将时序数据输入时序平移器。其次经过逻辑不可达的时序数据量判别器，判断当前时刻数据是否存在，若不存在则抛弃当前时刻所有数据。随后将判别后的数据输入分解算法中生成分解序列，将分解序列输入生成对抗网络并提取数据的分布与特征，生成增强数据。最后将增强数据与原数据输入预测段，进行预测任务。

2.2　时序平移器和时序数据量判断器

由于树模型在进行预测任务时，对时序数据的时间特征利用不完善，所以需要借助时序平移器的帮助，植入时序先验特征。时序平移器如图2左侧所示。假设时序数据集为D，按照时序顺序将数据集划分为N维，其中N为时序数据条数。在该时序数据中，假设平移次数为1，整体内容条数扩展到\mathrm{2}N，同时部分数据将无法得到该部分时序先验。D_N^{\text{'}}为D_N向后平移后的结果，计算实现过程见算法1。

时序数据进入时序数据量判断器时，将经过逻辑不可达判断。流程如图2右侧所示。

逻辑不可达规则为：遍历所有时刻的时序数值，若当前时刻数值为空，则将其数值变为\mathrm{n}\mathrm{a}\mathrm{n}。之后对每一数据段逐一判断，若有特征数值为\mathrm{n}\mathrm{a}\mathrm{n}，则标记此时刻数据段，最后删去所有被标记的数据段。图2中红色框表示依靠逻辑不可达，当在时序数据量判断器中完成判断后，将会抛弃红色矩形所在行。

2.3　特征分解模块

因为输入时序数据维度较小，且单列时序数据存在噪声，所以需要分解算法来增强特征，消除内部噪声。图3为分解算法示意图。

由图3可知，特征分解算法的基本流程为：首先确定噪声添加次数T，按照次数对输入特征添加白噪声w_i，通过（1）式计算白噪声w_i：

w_i={\left(-\mathrm{1}\right)}^q\epsilon v^i\left(t\right)（1）

其中，w_i（i\in \left[\mathrm{1},T\right]）为添加随机白噪声，\epsilon为标准白噪声，v^i\left(t\right)为白噪声同时符合正态分布，q\in \left[\mathrm{1,2}\right]。

通过（2）式计算s_T\left(t\right)：

s_T\left(t\right)=s\left(t\right)+{\beta }_{P-\mathrm{1}}{E}_P\left(w_T\right)（2）

其中，E_P\left(\mathrm{*}\right)是采取经验模态分解算法生成的P阶段经验模态分解分量，{\beta }_i（i\in \left[\mathrm{1},P-\mathrm{1}\right]）为常量系数。

采用经验模态分解算法得到特征s_T\left(t\right)的P阶分量A\left[s_T\left(t\right)\right]，随后通过（3）式计算P阶平均剩余分量r_P：

r_P=\frac{\mathrm{1}}{T}{\displaystyle \sum _{i=\mathrm{1}}^T}A\left[s_i\left(t\right)\right]（3）

其中，A\left(\mathrm{*}\right)为经验模态分解第k阶\mathrm{I}\mathrm{M}\mathrm{F}分量映射的第k阶剩余数值。

再由（4）式计算得到P阶平均Intrinsic Mode Functions（\mathrm{I}\mathrm{M}\mathrm{F}）分量C_P。

C_P\left(t\right)=s\left(t\right)-r_P（4）

最后令s\left(t\right)=r_P。以此类推，可顺序求得\mathrm{1}至P-\mathrm{1}阶\mathrm{I}\mathrm{M}\mathrm{F}分量，直至r_P不可被分解，即r_P满足终止条件，信号类型为单调信号。由（5）式可得分解算法结果C。

C=C_j,j\in \left[\mathrm{1},P-\mathrm{1}\right]（5）

2.4　特征增强模块

生成对抗网络在多维数据增强方面效果显著^[24]。用于生成对抗网络模型的时序数据至少应有两类特征：第一类，不伴随时间变化而发生改变的特征，即静态特征{\mathit{s}}_n；第二类，伴随时间变化而发生改变的特征，即时空特征{\mathit{x}}_{n,\mathrm{1}:T_n}。静态特征和时空特征组成的训练数据D如（6）式所示：

D={\left\{\left({\mathit{s}}_n,{\mathit{x}}_{n,\mathrm{1}:T_n}\right)\right\}}_{n=\mathrm{1}}^N（6）

其中，N为时序数据条数，T为时序数据长度或者周期，\mathrm{1}:T_n为时间步。

静态特征和时空特征是影响生成数据稳定性至关重要的两种基本特性。为了充分挖掘并优化这两种特征，可以将特征增强模块的目标描述为\underset{\widehat{p}}{\mathrm{m}\mathrm{i}\mathrm{n}}D\left(p\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)\left|\widehat{p}\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)\right.\right)，含义是利用训练数据D，通过训练网络使\widehat{p}\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)靠近p\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)。其中， s 为静态特征的向量集合，{\mathit{x}}_{\mathrm{1}:T}为时空特征的向量集合，p\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)表示\mathit{s},{\mathit{x}}_{\mathrm{1}:T}的分布，\widehat{p}\left(\mathit{s},{\mathit{x}}_{\mathrm{1}:T}\right)为待训练分布。

原始数据的时空特征不能遗漏，因此，训练时需要达到\underset{\widehat{p}}{\mathrm{m}\mathrm{i}\mathrm{n}}D\left(p\left(\left.{\mathit{x}}_t\right|\mathit{s},{\mathit{x}}_{\mathrm{1}:t-\mathrm{1}}\right)\left|\widehat{p}\left(\left.{\mathit{x}}_t\right|\mathit{s},{\mathit{x}}_{\mathrm{1}:t-\mathrm{1}}\right)\right.\right)的要求。其中，{\mathit{x}}_{\mathrm{1}:t-\mathrm{1}}用于让生成数据保持原始数据的时间步特征。

特征增强网络训练架构的组件功能和目标架构如图4。

训练的目的是便于网络学习静态特征 s 与时空特征 x，训练过程中的暂存状态{\mathit{h}}_s和{\mathit{h}}_t如（7）~（8）式所示。

{\mathit{h}}_s=e_s\left(\mathit{s}\right)（7）

{\mathit{h}}_t=e_x\left({\mathit{x}}_t\right)（8）

其中，e表示为编码器。t时刻的时空特征x通过映射方法将其映射为低维特征{\mathit{h}}_t。值得注意的是，{\mathit{h}}_t同时与（7）式计算得到的生成静态特征{\mathit{h}}_s和t-\mathrm{1}时刻的模拟时空特征{\mathit{h}}_{t-\mathrm{1}}有关。

为了生成模拟数据，需要将{\mathit{h}}_s，{\mathit{h}}_t进行逆映射，如（9）~（10）式所示。

\tilde{\mathit{s}}=r_s\left({\mathit{h}}_s\right)（9）

\widetilde{{\mathit{x}}_t}=r_x\left({\mathit{h}}_t\right)（10）

此时产生复原监督学习损失函数L_R如（11）式。

L_R=E_{s,x_{\mathrm{1}:T}\sim p}\left[|\mathit{s}-\tilde{\mathit{s}}{|}_{\mathrm{2}}+\sum _t|{\mathit{x}}_t-\widetilde{{\mathit{x}}_t}{|}_{\mathrm{2}}\right]（11）

利用损失函数监督生成静态特征与时空特征。针对随机向量生成部分，其生成过程可用（12）、（13）式表示。

\widehat{{\mathit{h}}_s}=g_s\left({\mathit{Z}}_{\mathit{s}}\right)（12）

\widehat{{\mathit{h}}_t}=g_x\left(\widehat{{\mathit{h}}_s},\widehat{{\mathit{h}}_{t-\mathrm{1}}},{\mathit{Z}}_{\mathit{t}}\right)（13）

其中，\widehat{h_s}为低维度静态特征，\widehat{h_{t-\mathrm{1}}}为t-\mathrm{1}时刻时空特征，g代表生成器。{\mathit{Z}}_{\mathit{s}}来源于 s 分布采样，{\mathit{Z}}_{\mathit{t}}来源于随机过程，可使用高斯分布表示。

判别器部分为二分类任务，用于判断生成数据的真与假。对\mathit{s}与\mathit{x}的不同判别方法可表示为（14）、（15）式。

\widetilde{y_s}=d_s\left(\widetilde{{\mathit{h}}_s}\right)（14）

\widetilde{y_t}=d_x\left({\vec{\mathit{u}}}_t,{\stackrel{⃖}{\mathit{u}}}_t\right)（15）

其中，d表示判别器；\widetilde{{\mathit{h}}_s}可能为真数据{\mathit{h}}_s或者假数据\widetilde{{\mathit{h}}_s}；{\vec{\mathit{u}}}_t和{\stackrel{⃖}{\mathit{u}}}_t表示循环神经网络的双向遍历机制；标签\widetilde{y_s}的实际意义可自定义，本文中1表示真，0表示假。

对于时空特征 x，需要利用循环神经网络的双向遍历机制，全面捕捉数据中的时空信息，再通过双向判断，才能输出判断值，如（16）、（17）式所示。

{\vec{\mathit{u}}}_t=c_x\left(\widetilde{{\mathit{h}}_s},\widetilde{{\mathit{h}}_t},{\vec{\mathit{u}}}_{t-\mathrm{1}}\right)（16）

{\stackrel{⃖}{\mathit{u}}}_t=c_x\left(\widetilde{{\mathit{h}}_s},\widetilde{{\mathit{h}}_t},{\stackrel{⃖}{\mathit{u}}}_{t+\mathrm{1}}\right)（17）

其中，c_x表示对于\mathit{x}时空特征使用循环神经网络。由于需要在两个方向同时训练，实际使用时为双向循环神经网络。

图5所示的网络架构可防止输入\mathit{x}特征被模型在尾端遗忘，同时保证\mathit{x}特征的时间步特性并支持时序数据生成对抗网络后端的序列编码和双向上下文的观测估计。本文中由于只使用单层双向循环神经网络，所以输出\mathit{y}将被抛弃。根据（12）~（15）式可知，在训练过程中，生成器可以接触到两种类型的输入。在开环模式下，自回归生成器接收降维特征\widetilde{{\mathit{h}}_s}，\widetilde{{\mathit{h}}_{t-\mathrm{1}}}，生成t时刻的生成回馈时空特征\widehat{{\mathit{h}}_t}，可通过对无监督损失函数进行控制，控制的目的为最大限度地提高鉴别器或最小限度地抑制生成器，产生符合原始时序数据的静态特征与时空特征的可能性。无监督损失函数见（18）式。

L_U=E_{s,x_{\mathrm{1}:T\sim p}}\left[\mathrm{l}\mathrm{o}\mathrm{g}{\mathit{y}}_s+\sum _t\mathrm{l}\mathrm{o}\mathrm{g}{\mathit{y}}_t\right]+

E_{s,x_{\mathrm{1}:T}\sim \widehat{p}}\left[\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-\widehat{{\mathit{y}}_s}\right)+\sum _t\mathrm{l}\mathrm{o}\mathrm{g}\left(\mathrm{1}-\widehat{{\mathit{y}}_t}\right)\right]（18）

仅依靠判别器的二元对抗性反馈可能不足以激励捕捉数据分布，因此，引入了额外损失进一步约束学习目的，以一种交替方式，在闭环模式下进行训练，使生成器接收实际数据的嵌入序列{\mathit{h}}_{\mathrm{1}:t-\mathrm{1}}，该序列由降维特征编码提供，其目的是生成下一个隐空间向量。使用有监督损失函数监督\widehat{p}\left(\left.{\mathit{x}}_t\right|\mathit{s},{\mathit{x}}_{\mathrm{1}:t-\mathrm{1}}\right)与p\left(\left.{\mathit{x}}_t\right|\mathit{s},{\mathit{x}}_{\mathrm{1}:t-\mathrm{1}}\right)，并应用最大似然法得到监督损失用以优化学习目的。有监督损失函数见（19）式。

L_s=E_{s,x_{\mathrm{1}:T}\sim p}\left[\sum _t{\left|{\mathit{h}}_t-g_x\left({\mathit{h}}_s,{\mathit{h}}_{t-\mathrm{1}},{\mathit{Z}}_t\right)\right|}_{\mathrm{2}}\right]（19）

通过（19）式，可发现生成器在有监督损失函数的规范下，使生成数据不断接近真实数据的静态特征与时空特征。最后利用图4所述组件功能和（11）、（18）、（19）式对网络架构进行训练，时序数据深度生成网络训练架构见图6。

训练的流程可概括为，首先训练特征编码网络、有监督损失函数、恢复函数，再联合训练特征编码网络、有监督损失函数、恢复函数、判别器、生成器。

2.5　预测模块

极端随机树处理时序数据可进行良好的特征选择，快速处理高维特征，并行计算，较少发生过拟合情况，因此，本文预测部分采用极端随机树模型的回归任务模式。（20）式表示树归一化特征函数。

{\mathit{l}}_t\left(\mathit{x}\right)={\left(\frac{{\mathit{l}}_{t,\mathrm{1}}\left(\mathit{x}\right)}{\sqrt[]{n_{t,\mathrm{1}}}},\dots ,\frac{{\mathit{l}}_{t,l_t}\left(\mathit{x}\right)}{\sqrt[]{n_{t,{\mathit{l}}_t}}}\right)}^{\mathrm{T}}（20）

其中，{\mathit{l}}_{t,i}\left(x\right)表示树t的第i个子叶代表的特征函数，n_{t,i}表示学习样本数量。

树模型可由（21）式表示，\widehat{y_t}\left(x\right)表示预测值。

\widehat{y_t}\left(\mathit{x}\right)={\displaystyle \sum _{i=\mathrm{1}}^N}{y}^i{\mathit{l}}_t^{\mathrm{T}}\left({\mathit{x}}^i\right){\mathit{l}}_t\left(\mathit{x}\right)（21）

同时借由（21）式，可得出极端随机树回归核函数，如（22）式。

K_t\left(\mathit{x},{\mathit{x}}^{\mathrm{\text{'}}}\right)\triangleq {\mathit{l}}_t^{\mathrm{T}}\left(\mathit{x}\right){\mathit{l}}_t\left({\mathit{x}}^{\mathrm{\text{'}}}\right)（22）

回归核函数是由叶子节点归一化特征函数定义的特征空间上的标量积。若拓展到M棵树，则回归核函数可表示为（23）式。

K_T\left(\mathit{x},{\mathit{x}}^{\mathrm{\text{'}}}\right)=M^{-\mathrm{1}}{\displaystyle \sum _{i=\mathrm{1}}^M}{K}_{t_i}\left(\mathit{x},{\mathit{x}}^{\mathrm{\text{'}}}\right)（23）

其中，T=\{t_{\mathrm{1}},t_{\mathrm{2}},t_{\mathrm{3}},\cdots ,t_{\mathrm{M}-\mathrm{1}},t_{\mathrm{M}}\}。

对（22）式进行迭代，得到（24）式。

\widehat{y_T}\left(\mathit{x}\right)=M^{-\mathrm{1}}{\displaystyle \sum _{i=\mathrm{1}}^M}\widehat{y_{t_i}}\left(\mathit{x}\right)={\displaystyle \sum _{i=\mathrm{1}}^N}{y}^i{K}_T\left({\mathit{x}}^i,\mathit{x}\right)（24）

也可选择如（25）所示的方式构建特征向量组件，（25）式代表M棵树集合构建的全体子节点特征。

{\mathit{l}}_T\left(\mathit{x}\right)={\left(\frac{{\mathit{l}}_{t_{\mathrm{1}}}^{\mathrm{T}}\left(\mathit{x}\right)}{\sqrt[]{M}},\dots ,\frac{{\mathit{l}}_{t_M}^{\mathrm{T}}\left(\mathit{x}\right)}{\sqrt[]{M}}\right)}^{\mathrm{T}}（25）

此时根据树集合定义，可将（24）式改写为（26）式。（26）式代表M棵树构成的核函数。

K_T\left(\mathit{x},{\mathit{x}}^{\mathrm{\text{'}}}\right)={\mathit{l}}_T{\left(\mathit{x}\right)}^{\mathrm{T}}{\mathit{l}}_T\left({\mathit{x}}^{\mathrm{\text{'}}}\right)（26）

单一树状结构所引起的特征向量有稀疏性。对于\forall \mathit{x}\in X只有一个特征不为零，其中，X表示特征空间。对于M棵树组成的集合，同理也体现稀疏性，且只有M个特征不为零。

3　 实验过程

3.1　实验环境

操作系统：Windows10，CPU：AMD R7-5800，内存：64 GB，开发语言：Python 3.6，算力设备：RTX-3090。

3.2　实验数据选取

为验证本文所提及模型的有效性，实验数据集选用美国疾病预防控制中心^[25]公布的突发公共卫生事件数据集中的马萨诸塞州、马里兰州和华盛顿州的数据。此数据主要包括从2020年12月至2022年10月期间每日确诊新增人数、死亡新增人数、每日检测量及累计疫苗数的序列数据。本文将预测目标设置为每日新增确诊人数以及每日新增死亡人数，将各州的训练集区间设置为2020年12月至2022年1月，各州的测试集区间设置为2022年2月至2022年10月。

马里兰州数据集中每日新增确诊人数趋势如图7所示，每日新增确诊人数的零点分布如图8所示。由图7可知每日新增确诊人数时间序列带有强烈的规律性以及符合时序数据序列特性。由图8可知，数据集内含有缺失值，且缺失值可能出现在需要预测的时序序列区间内，该问题将影响预测结果准确性。在实验内使用平均插值法进行数据填充，并进行实验探究与比较实验。

3.3　实验结果及分析

评价指标：为客观评价模型性能，实验中采取均方根误差（RMSE）与平均绝对误差（MAE）作为度量方法。上述度量指标与预测性能均呈负相关关系，即数值越低，表明模型性能越优秀。

参数选取：针对数据增强模块，时间步长设置为7；隐藏层设置7；批处理大小设置为8；学习率设置为5E-4；需要生成特征数需根据对应数据集所选时间段修改为28的整数倍。模拟噪声维度需跟随生成特征数修改。

对比模型选取：选取若干在突发公共卫生事件预测研究中较具代表性的模型作为预测基准比较，包括以下5种。

1) LSTM^[26]。实现门控机制的循环神经网络，解决普通循环神经网络中对于长距离特征的遗忘问题。

2) ARIMA。针对单变量时间序列数据预测问题，最受广泛欢迎的方法，特点为模型配置简单，只依赖于内生变量，不需要借助其他外生变量。

3) XGBOOST。XGBOOST开源工具包，因为其计算速度突出的特点，被广泛应用在工业领域。在回归任务和分类任务中都有使用。

4) PROPHET。脸书在2017年发布时序数据预测框架PROPHET。PROPHET在混乱的数据上获得合理预测而不需大量人力。

5) CNN^[27]。对于输入序列，经过卷积层、池化层，提取输入序列中最显著元素。后经过全连接层，解释卷积所提取的特征。随后利用展平层将特征逆映射为预测值。

对比实验：针对马萨诸塞州每日新增确诊人数开展多模型比较，随机截取了连续的14天，实验结果如图9所示，TURE VALUE表示真实值，OURS表示本文模型。从图9中可知虽然各个模型都对新增确诊人数进行了预测，但是模型之间的预测性能存在差异。LSTM预测值基本为前一时序值，虽然呈现出拟合效果但意义不明。ARIMA预测值波动幅度较大，预测稳定性待提高。XGBOOST模型由于植入先验知识不足，预测效果波动大。PROPHET模型预测值波动也较大。CNN模型基于特征提取模式进行预测行为，所以对于前面特征的依赖大，预测数值易出现后值为前值的延续。OURS模型拟合效果较好，波动较小。

为了进一步说明本文模型的预测性能，利用数据集中三个州的数据，将对比模型和本文模型进行对比，实验结果如表1至表6所示。本文模型在预测三个州的新增确诊人数中表现较优，但在预测三个州的新增死亡人数中略有不足。其中，在预测马里兰州每日新增死亡人数中，本文模型的预测性能略低于XGBOOST模型，原因在于XGBOOST模型利用更多的启发式方法来提高性能，虽然这种复杂的模型对于不同的数据分布有时可以提高预测能力，但有时也会导致过拟合；在预测华盛顿州新增死亡人数中，本文模型预测性能略低于PROPHET模型，原因在于PROPHET模型能够更好地处理周期性数据，而华盛顿州新增死亡人数数据集的波动性较小且周期性更明显。

消融实验：为证明本文所提及特征分解模块以及特征增强模块作用，对三个州每日新增确诊人数进行消融实验，如表7所示。OURS模型对比OURS/E模型在平均RMSE指标的数值上由418.155降至332.631，平均MAE指标在数值上由404.064降至315.221。消融实验表明本文所提出特征分解模块与特征增强模块均对本文模型预测精确性提升起到作用。

3.4　特征分解补充说明

为了进一步验证特征分解在本模型中的作用，将去噪分解算法分解后的各州序列分量数据进行可视化，如图10和图11所示。

各州数据经过分解后被拆分成不同成分的分量，不同分量代表原始序列的不同性质，体现出部分周期性以及无混叠的局部特征，这些经过分解的序列将被用来输入模型，对模型的预测性能进行辅助，通过表7中的OURS/E模型可验证特征分解模块的效果。

4　 结 语

本文提出一种基于域信息自增极端随机树模型应用于时序数据预测，因为树模型不能充分利用时序数据的时间特征进行预测，所以使用时序平移机制来捕捉时序数据前后序列的联系。紧接着，由于单列时序数据存在噪声，尤其是当输入特征维度较小时，则需要引入特征分解机制，去除单列时序数据中的噪声，对数据进行提纯，增加有利于预测任务的特征。同时，生成对抗网络在人工智能领域有一定影响，所以本文基于生成对抗网络原理进一步研究，将其应用在特征增强模块，能够有效获取时序数据中静态分布特征与时序依赖性特征，最后将输入数据与增强后的输入数据一起输入预测段，从而进行时序预测。将本文提出的模型应用于美国疾病预防控制中心公布的部分州突发公共卫生事件数据集上取得了良好的效果。但本文模型依旧存在一些问题，例如在实验上仅使用突发公共卫生事件作为案例，导致模型的泛化能力可能存在过拟合的现象，同时，在模型的可解释性上也还有提升的空间。在未来的工作中，本文模型可结合自然语言处理技术，提取带有时序数据量的特征，辅助时序预测任务^[28]，以及利用深度学习技术进一步提取时序特征，融合其他时序预测模型，达到更高的准确度。

参考文献

[1] TAY F E H， CAO L J. Application of support vector machines in financial time series forecasting［J］. Omega， 2001， 29（4）： 309-317. DOI： 10.1016/s0305-0483（01）00026-3 .

[2] WANG Z J， HUANG Y H， HE B Y. Dual-grained representation for hand， foot， and mouth disease prediction within public health cyber-physical systems［J］. Software： Practice and Experience， 2021， 51（11）： 2290-2305. DOI： 10.1002/spe.2940 .

[3] 田秀娟， 于德新， 邢雪， 等. 交叉口短时流量CEEMDAN-PE-OSELM预测模型［J］. 哈尔滨工业大学学报， 2018， 50（3）： 83-89. DOI： 10.11918/j.issn.0367-6234.201703102 .

[4] TIAN X J， YU D X， XING X， et al. Prediction model of CEEMDAN-PE-OSELM for intersections short-term traffic flow［J］. Journal of Harbin Institute of Technology， 2018， 50（3）： 83-89. DOI： 10.11918/j.issn.0367-6234.201703102（Ch ）.

[5] SHOAIB M， RAJA M A Z， SABIR M T， et al. A stochastic numerical analysis based on hybrid NAR-RBFs networks nonlinear SITR model for novel COVID-19 dynamics［J］. Computer Methods and Programs in Biomedicine， 2021， 202： 105973. DOI： 10.1016/j.cmpb.2021.105973 .

[6] WANG Y M， GU J Z， ZHOU Z L， et al. Diarrhoea outpatient visits prediction based on time series decomposition and multi-local predictor fusion［J］. Knowledge-Based Systems， 2015， 88： 12-23. DOI： 10.1016/j.knosys.2015.08.013 .

[7] WANG Z J， CAI B. COVID-19 cases prediction in multiple areas via shapelet learning［J］. Applied Intelligence： The International Journal of Artificial Intelligence， Neural Networks， and Complex Problem-Solving Technologies， 2022（1）：52. DOI： 10.1007/s10489-021-02391-6 .

[8] ZHANG P S， WANG Z J， HUANG Y H， et al. Dual-grained directional representation for infectious disease case prediction［J］. Knowledge-Based Systems， 2022， 256： 109806. DOI： 10.1016/j.knosys.2022.109806 .

[9] YOUSEFPOUR A， JAHANSHAHI H， BEKIROS S. Optimal policies for control of the novel coronavirus disease （COVID-19） outbreak［J］. Chaos， Solitons & Fractals， 2020， 136： 109883. DOI： 10.1016/j.chaos.2020.109883 .

[10] SINGH P， GUPTA A. Generalized SIR （GSIR） epidemic model： An improved framework for the predictive monitoring of COVID-19 pandemic［J］. ISA Transactions， 2022， 124： 31-40. DOI： 10.1016/j.isatra.2021.02.016 .

[11] BARTHOLOMEW D J. Time series analysis forecasting and control［J］. Journal of the Operational Research Society， 1971， 22（2）： 199-201. DOI： 10.1057/jors.1971.52 .

[12] 王燕， 郭元凯. 改进的XGBoost模型在股票预测中的应用［J］. 计算机工程与应用， 2019， 55（20）： 202-207. DOI： 10.3778/j.issn.1002-8331.1904-0007 .

[13] WANG Y， GUO Y K. Application of improved XGBoost model in stock forecasting［J］. Computer Engineering and Applications， 2019， 55（20）： 202-207. DOI： 10.3778/j.issn.1002-8331.1904-0007（Ch ）.

[14] CHIMMULA V K R， ZHANG L. Time series forecasting of COVID-19 transmission in Canada using LSTM networks［J］. Chaos， Solitons & Fractals， 2020， 135： 109864. DOI： 10.1016/j.chaos.2020.109864 .

[15] ARORA P， KUMAR H， PANIGRAHI B K. Prediction and analysis of COVID-19 positive cases using deep learning models： A descriptive case study of India［J］. Chaos， Solitons & Fractals， 2020， 139： 110017. DOI： 10.1016/j.chaos.2020.110017 .

[16] TAYLOR S J， LETHAM B. Forecasting at scale［J］. The American Statistician， 2018， 72（1）： 37-45. DOI： 10.1080/00031305.2017.1380080 .

[17] REN X L， LI X Y， REN K J， et al. Deep learning-based weather prediction： A survey［J］. Big Data Research， 2021， 23： 100178. DOI： 10.1016/j.bdr.2020.100178

[18] BOUDRAA A O， CEXUS J C. EMD-based signal filtering［J］. IEEE Transactions on Instrumentation and Measurement， 2007， 56（6）： 2196-2202. DOI： 10.1109/TIM.2007.907967 .

[19] TORRES M E， COLOMINAS M A， SCHLOTTHAUER G， et al. A complete ensemble empirical mode decomposition with adaptive noise［C］//2011 IEEE International Conference on Acoustics， Speech and Signal Processing （ICASSP）. New York： IEEE Press， 2011： 4144-4147. DOI： 10.1109/ICASSP.2011.5947265 .

[20] LEI Y G， HE Z J， ZI Y Y. Application of the EEMD method to rotor fault diagnosis of rotating machinery［J］. Mechanical Systems and Signal Processing， 2009， 23（4）： 1327-1338. DOI： 10.1016/j.ymssp.2008.11.005 .

[21] SUTSKEVER I， VINYALS O， LE Q V. Sequence to sequence learning with neural networks［C］//Proceedings of the 27th International Conference on Neural Information Processing Systems - Volume 2. New York： ACM， 2014： 3104-3112. DOI： 10.5555/2969033.2969173 .

[22] RADFORD A， METZ L， CHINTALA S. Unsupervised representation learning with deep convolutional generative adversarial networks［EB/OL］. 2015： arXiv： 1511.06434.

[23] GEURTS P， ERNST D， WEHENKEL L. Extremely randomized trees［J］. Machine Learning， 2006， 63（1）： 3-42. DOI： 10.1007/s10994-006-6226-1 .

[24] ESLAMI E， SALMAN A K， CHOI Y， et al. A data ensemble approach for real-time air quality forecasting using extremely randomized trees and deep neural networks［J］. Neural Computing and Applications， 2020， 32（11）： 7563-7579. DOI： 10.1007/s00521-019-04287-6 .

[25] WEI J， LI Z Q， CRIBB M， et al. Improved 1 km resolution PM2.5 estimates across China using enhanced space–time extremely randomized trees［J］. Atmospheric Chemistry and Physics， 2020， 20（6）： 3273-3289. DOI： 10.5194/acp-20-3273-2020 .

[26] 张丽娜， 陈会娟， 余昭旭. 基于TimeGAN-CNN-LSTM模型的河流水质预测研究［J］. 自动化仪表， 2022， 43（8）： 11-15. DOI： 10.16086/j.cnki.issn1000-0380.2022050286 .

[27] ZHANG L N， CHEN H J， YU Z X. Research on river water quality prediction based on TimeGAN-CNN-LSTM model［J］. Process Automation Instrumentation， 2022， 43（8）： 11-15. DOI： 10.16086/j.cnki.issn1000-0380.2022050286（Ch ）.

[28] FORMEISTER E J， CHIEN W D， AGRAWAL Y， et al. Preliminary analysis of association between COVID-19 vaccination and sudden hearing loss using US centers for disease control and prevention vaccine adverse events reporting system data［J］. JAMA Otolaryngology—Head & Neck Surgery， 2021， 147（7）： 674-676. DOI： 10.1001/jamaoto.2021.0869 .

[29] HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. DOI： 10.1162/neco.1997.9.8.1735 .

[30] LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. DOI： 10.1109/5.726791 .

[31] ZHOU H Y， ZHANG S H， PENG J Q， et al. Informer： Beyond efficient transformer for long sequence time-series forecasting［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（12）： 11106-11115. DOI： 10.1609/aaai.v35i12.17325 .