基于时序分解的时序数据通用表征学习

Universal Time Series Representation Learning Based on Temporal Data Decomposition

摘要

目的 时间序列在金融、医疗、工业和气象等多个领域中具有广泛的应用价值。时间序列具有强时间依赖性。建模时间序列的多尺度特性往往忽视了数据中的细粒度结构。为了解决这些问题，提出了一种基于时序分解的通用表示对比学习框架（STURL）。 方法 通过对季节项进行层次化对比学习，能够在多尺度和细粒度层面上有效捕捉时间序列的多维特征。此外，还引入了频率混合策略，通过傅里叶变换增强季节项的表示，进一步提高了模型的鲁棒性和稳定性。 结果 实验结果显示，STURL在各下游任务上展现出了卓越的性能，并超越了基线方法。这些结果表明，该框架在提高模型准确性、减少预测误差以及增强异常检测能力方面的优越性，显示了其在实际应用中的潜力和可行性。

Abstract

Purposes Time series data are widely used in fields such as finance, healthcare, industry, and meteorology. Existing methods often focus on instance-level learning, with limited success in modeling the multi-scale and fine-grained characteristics of time series. Moreover, many methods rely on inductive biases from computer vision or natural language processing, which are unsuitable for time series due to their strong time dependencies. This paper proposes a time-series decomposition-based contrast learning framework (Seasonal-Trend Universal Time Seires Representation Learing,STURL) that addresses these challenges by leveraging hierarchical contrast learning of seasonal terms to capture multi-dimensional features. Methods Additionally, a frequency mixing strategy based on Fourier transform enhances the representation of seasonal terms, improve model robustness and stability. Results The experimental results demonstrate that STURL exhibits outstanding performance across various downstream tasks and surpasses baseline methods. These findings highlight the framework’s superiority in improving model accuracy, reducing prediction errors, and enhancing anomaly detection capabilities, underscoring its potential and feasibility for practical applications.

Graphical abstract

关键词

时间序列 / 表征学习 / 时序分解 / 对比学习 / 多任务一致性 / 时序数据通用表征

Key words

time series / representation learning / temporal decomposition / comparative learning / multi-task consistency / generic representation of temporal data

时序数据广泛存在于多个领域，如气象^［1］、医疗^［2］、工业监控^［3］和金融^［4］等，这些领域中的数据通常是高维的、非平稳的，并且有多种不同的波动模式和季节性变化。这些复杂性使得时序数据分析和表示学习变得尤为重要。传统的时序数据分析方法（如基于ARIMA^［5］模型、滑动平均^［6］等统计方法）无法处理这些复杂的特性，特别是他们不能有效地捕捉到数据的多尺度特性和长期趋势。与此同时，深度学习方法虽然能够自动提取特征，但往往在处理具有强噪声、非平稳或局部特征的数据时会出现问题。现有的时序数据表示学习方法大多集中在实例级别的学习，即学习整个时间序列的表示。然而，这种方法通常忽视了数据中细粒度的局部信息和多尺度特征，这对处理一些特定任务（如预测、异常检测）是非常重要的。另外，传统的深度学习模型通常依赖于计算机视觉或自然语言处理领域的归纳偏置（如变换不变性、裁剪不变性等），这些策略难以适应时序数据的时间依赖性和动态特征，如现有的数据增强方法中的翻转和置换，常引入不适当的归纳偏差，破坏了时序数据的固有规律。

为了应对时序通用表征学习面临的一系列挑战，本研究提出了一种基于时序分解的通用表示对比学习框架（STURL）。该方法受到序列分解和对比学习思想的启发，将时间序列分解为季节项和趋势项两部分，其中季节项捕捉时间序列的周期性，趋势项则反映时间序列的趋势性。分别对每一部分训练对应的编码器，并将其聚合成最终的通用表示，能够生成更高质量的时间序列表示。该方法主要贡献如下：

1）提出了一种基于时序分解的对比学习框架。通过时序数据分解，STURL能够将时间序列分解为季节项和趋势项，并提取各自的特征，最后对其叠加以得到最终的通用表示。对于季节项，该框架引入了3个维度的对比学习训练编解码器，通过实例级、时间级和分层对比学习，以得到更好的表示。

2）提出了一种基于季节项S的数据增强方法，主要通过引入傅里叶变换（Fourier Transform）将原始数据转移到频率域进行处理。这一方法的核心思想是对数据进行频域变换，然后只替换频率中的高频部分，保留低频成分。这种策略能够有效地增强模型对于时序数据中的趋势性、周期性以及其他重要特征的鲁棒性，尤其是在处理高噪声数据和非平稳时间序列时，具有显著的优势。

3）通过大量的实验验证了所提出模型（STURL）在时序数据通用表征方面的优势。利用四个公开数据集进行评估，并与当前主流方法进行了对比。实验结果显示，STURL在各下游任务上展现出了卓越的性能，并超越了基线方法。这些结果表明，该框架在提高模型准确性、减少预测误差以及增强异常检测能力方面的优越性，显示了其在实际应用中的潜力和可行性。

1 相关工作

基于一致性的通用表示学习方法通常通过引入不同的对比学习策略，以确保学习到的表示能够有效地捕捉时间依赖性、上下文一致性、迁移一致性以及多尺度特征等关键信息。根据不同的侧重点，这些方法可以分为多个类别，包括基于时间一致性、上下文一致性、迁移一致性、分层和跨尺度一致性等方向的研究工作。

1.1 基于时间一致性的通用表示学习

TNC^［7］利用时间邻域作为ADF测试的阳性样本，并通过调整样本权重来缓解采样偏差。ELDELE et al^［8］提出了一种新的时间对比模块，通过设计硬交叉视图预测任务来学习时间依赖性，强迫模型通过更难的预测任务来学习鲁棒的表示。HAJIMORADLOU et al^［9］引入了沿时间和实例维度的相似性蒸馏来进行预训练。YANG et al^［10］提出了TimeCLR，通过最小化样本的两个增强视图之间的相似性来学习不变表示。WANG et al^［11］结合FC图构造与移动池GNN，能够学习时间序列的空间和时间特征，确保时间一致性并考虑空间相关性，这对下游任务至关重要。MORGADO et al^［12］使用视听空间对齐作为360°视频数据的接口任务，涉及空间错位的音频和视频剪辑。HARESH et al^［13］则通过联合使用时间正则化项来鼓励不同帧映射到嵌入空间的不同点。CHEN等人^［14］提出了序列对比损失，利用重叠子序列进行正负样本采样。最近的TempCLR研究^［15］通过DTW技术在视频段落对齐中探索时间动态，并通过基于时间粒度的新型负采样策略更有效地捕捉时间动态。

这些方法虽然在不同的任务中取得了不同的成功，但它们通常侧重于单一方面的时间特性，忽略了更为复杂的多维时间依赖性，这也是本研究中所着力解决的问题。

1.2 基于上下文一致性的通用表示学习

TimeAutoML^［16］通过AutoML框架实现自动配置和超参数优化，利用在实例范围内引入随机噪声来创建负样本。CARL^［14］通过对齐增强视频视图之间的序列相似性，采用序列对比损失，保持帧间的时间连贯性和上下文一致性。这使得特征表示在视频长度和内容变化时仍具备鲁棒性，与本研究所关注的时间一致性问题高度相关。TS2Vec^［17］利用随机重叠片段捕获多尺度上下文信息，采用时间和实例对比损失，在捕捉时间依赖性方面表现优异。ZHANG et al^［18］提出的TS CoT算法通过联合训练增强不同视图表示的全局一致性，对本研究的多维时间依赖性建模具有启发意义。SHIN et al^［20］提出的基于重叠窗口的一致性正则化框架，以软标签作为共享优化目标，能在一定程度上提升对时间一致性的捕捉能力。

这些方法针对不同任务均取得了进展，但普遍缺乏对多时间尺度和跨任务一致性建模的综合考量，这正是本研究着重优化的方向。

1.3 基于分层和跨尺度一致性的通用表示学习

YUE et al^［17］提出了TS2Vec，该方法通过上下文一致性学习，在随机重叠的子序列中，采用两种对比策略来计算时间和实例对比损失。与其他方法不同，TS2Vec通过层次化方式在增强的上下文视图上开展对比学习，为每个时间戳提供鲁棒的上下文表示。该方法能通过在相应时间戳上的最大池化生成全局特征表示，并能够有效捕捉多尺度上下文信息。NGUYEN et al^［25］设计了一种融合层次损失和三重损失的新型损失函数，用于增强时间序列表示的多粒度特性。CSL^［26］则通过学习多粒度对比和多尺度对齐的时间序列表示来捕捉跨时间范围的依赖信息。COMET^［27］结合医学时间序列的四级对比损失，通过对每个损失引入超参数系数，权衡多层次对比损失，从而获得更稳健和全面的特征表示。DUAN et al^［28］利用分层结构捕捉不同频率的时间序列特征，并通过强制各组间的一致性约束，生成在不同频率下都有效且鲁棒表示。

这些方法为时间序列表示的多尺度学习提供了多种有效策略，但普遍聚焦于单一尺度或频率的建模，忽略了更复杂的多维度时间依赖性，这也是本研究的核心创新之一。

1.4 基于多任务一致性的通用表示学习

FEAT^［29］通过分层时间对比、特征对比和重建损失的联合学习，实现特征一致性与时间一致性的协同优化。CHOI和KANG^［30］引入了不确定性加权方法，通过建模多个任务的同方差不确定性，权衡多个对比损失，增强时间和转换一致性的建模能力。FOCAL^［31］强调模态一致性和变换一致性，学习跨模态共享特征；同时考虑局部性零星偏差，通过松散排名损失对样本对施加约束。ZHANG et al^［32］提出时频一致性建模，认为同一时间序列中基于时间和频率的表示应该在时频潜在空间中更接近，从而引入一致性损失以最小化嵌入之间的距离。TimesURL^［33］通过构造双优解并引入对比学习联合优化目标，捕捉分段级和实例级信息。LEE et al人^［34］提出SoftCLT，通过软对比损失实现细致的学习，基于时间序列实例之间的距离进行实例对比，重点处理时间戳差异。LI et al^［35］揭示了时间序列中表示偏差与光谱距离的正相关关系，并通过优化对比损失，减少数据增强中的偏差，提高了嵌入的稳健性和普适性。

这些方法提供了多种有益的策略来增强时间一致性建模，但大多侧重于单一维度的对比学习，未能充分考虑多层次和多尺度的时间依赖性，这也是本研究的核心贡献之一。

2 相关定义

定义1 问题定义

给定一个时间序列集合X=\left\{{\mathit{x}}_{\mathrm{1}},{\mathit{x}}_{\mathrm{2}},\dots ,{\mathit{x}}_n\right\}，每个序列{\mathit{x}}_i\in {\mathit{ℝ}}^T，长度为T，目标是学习一个表征函数f(x_i;\theta )，将序列{\mathit{x}}_i映射到潜在空间中的特征向量h_{\mathrm{i}}=f\left(x_i;\theta \right)。

定义2 时序数据分解。设输入时间序列为 {\mathit{x}}_i=\left\{x_{i,\mathrm{1}},x_{i,\mathrm{2}},\dots ,x_{i,T}\right\}，其中T表示时间序列长度。在数据预处理阶段会将{\mathit{x}}_{\mathrm{i}}分解为两部分：时间序列中的季节项{\mathit{x}}_i^{\mathrm{S}}和趋势项{\mathit{x}}_i^{\mathrm{T}}。分解的数学形式为：

{\mathit{x}}_i={\mathit{x}}_i^{\mathrm{S}}+{\mathit{x}}_i^{\mathrm{T}} .(1)

定义3 表示向量。在两部分编码阶段，会得到季节项表征{\mathit{h}}_i^{\mathrm{S}}和趋势项表征{\mathit{h}}_i^{\mathrm{T}}，最终的表示的数学形式为：

{\mathit{h}}_i={\mathit{h}}_i^{\mathrm{S}}+{\mathit{h}}_i^{\mathrm{T}} .(2)

3 方法

在本节中，提出了一种基于时序分解的对比学习框架STURL，该模型旨在通过解耦时间序列的趋势和季节性成分，学习更加鲁棒的表征，充分挖掘时间序列的多尺度季节性特征，生成适配多任务的通用表征。

3.1 STURL模型

STURL 该模型结构由多个关键模块组成，每个模块采用了精细化分解方法，以有效捕获时间序列中的多种特征。输入的时间序列数据首先经过时序分解模块，被分解为季节项{\mathit{x}}_i^{\mathrm{S}}和趋势项{\mathit{x}}_i^{\mathrm{T}}，其中季节项通过频率混合策略处理，趋势项通过简单移动平均操作平滑，该分解方法遵循目前主流的分解框架^［43］。通过这些操作，数据实现了有效的平滑和频域转换，为后续的建模过程提供了支持。在编码阶段，模型通过时序编码器（SEncoder）处理季节性特征{\mathit{h}}_i^{\mathrm{S}}并通过时间编码器（TEncoder）提取趋势特征{\mathit{h}}_i^{\mathrm{T}}。随后，对比学习模块对这些特征进行进一步学习，生成高质量的特征表示，最终得到通用表示\overline{\mathit{h}}。在解码阶段，时序解码器（TDecoder）会根据时序特征进行预测，同时采用基于Kullback-Leibler散度的优化策略来调整模型输出，使得生成的时间序列具有更好的拟合性。

3.2 频率混合策略

季节项数据的增强基于快速傅里叶变换（FFT）。如图2所示，对输入序列{\mathit{x}}_i和另一端输入序列{\mathit{x}}_k进行快速傅里叶变换（FFT），得到其频域表示，其中，傅里叶变换频段划分采用随机裁剪策略，与TimesURL模型的频段划分保持一致。从频域中选择高频部分与另一段序列{\mathit{x}}_k的高频部分进行替换混合，通过逆傅里叶变换（iFFT）以重构新的增强数据，同时保留信号的核心特征。

傅里叶变换是一种经典的数学工具，它能够将时域信号转换为频域信号，从而揭示出信号中的不同频率成分，且计算复杂度也仅为O（NlogN），其中N是数据点的数量。在时序数据中，通常可以将数据分解为不同频率的成分，其中低频成分代表了长期的趋势和周期性变化，而高频成分则通常与短期波动、噪声和细节信息有关。

对时序数据进行傅里叶变换后，通过设定预定义的频率阈值，将高频部分从原始信号中提取出来，并与另一信号中的高频部分进行交换。替换比例是根据实验设计预先设定的，本实验中采用了30%的高频部分替换。本文明确定义了混合规则，即仅替换频率幅度超过阈值的部分，同时保持相位信息不变。该策略有助于保留时序信号的整体结构，同时引入跨信号的高频特征信息。

3.3 对比学习模块

对比学习模块结构如图3所示，其主要目标是通过自监督学习优化模型的特征表示。在时间序列数据中，模型不仅需要学习数据的全局特征，还需要捕捉局部特征的细节。通过构建正负样本对，模型能够学习到时间序列中不同部分（如不同时间步、不同时间尺度、不同实例）的相似性和差异性。对比学习模块的核心在于时间一致性对比学习、实例区分对比学习和多尺度池化与对比学习的结合。

3.3.1 时间一致性对比学习

时间一致性对比学习旨在确保不同时间尺度的特征表示保持一致性，尤其是全局特征与局部特征间的对齐。对于同一时间序列的不同尺度特征 r_i， r_i'（例如全局特征和局部特征），目标是最大化它们的相似性，同时区分其他时间步的特征。

在多个基于对比学习的表示学习方法中，欧氏距离被广泛使用并验证了其有效性。例如，AMC-Loss^［41］和SimOLoss^［42］中均采用了欧氏距离作为主要的相似度度量，并取得了良好的效果。结合前人的研究成果，本文认为欧氏距离在本研究中是合理且有效的选择。在这里，我们使用欧氏距离作为相似度度量。欧氏距离可以计算两个嵌入表示之间的距离，公式如下：

L\left({\mathit{r}}_a,{\mathit{r}}_b\right)={‖{\mathit{r}}_a-{\mathit{r}}_b‖}_{\mathrm{2}} .（3）

对于时间一致性对比学习，目标是最大化同一时间序列在不同时间步之间的特征表示相似性，同时最大化不同时间序列之间的特征表示差异性。损失函数{\mathrm{ℒ}}_{\mathrm{T}}的表达式为：

{\mathrm{ℒ}}_{\mathrm{T}}=\sum _{t\ne t^{\text{'}}} {‖{\mathit{r}}_{i,t}-{\mathit{r}}_{i,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}+\sum _{t^{\text{'}}\ne t} {\displaystyle \sum _{j=\mathrm{1}}^N} {\mathrm{1}}_{t\ne t^{\text{'}}}{‖{\mathit{r}}_{i,t}-{\mathit{r}}_{j,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}} .(4)

其中，{\mathit{r}}_{i,t}和{\mathit{r}}_{i,t^{\text{'}}}是时间序列i在时间步t和t^{\text{'}}处的特征表示；{‖{\mathit{r}}_{i,t}-{\mathit{r}}_{i,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}是两个特征向量之间的欧氏距离的平方，用来衡量它们之间的差异。{\sum }_{j=\mathrm{1}}^N {‖{\mathit{r}}_{i,t}-{\mathit{r}}_{j,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}是对比不同时间步（负样本）的部分，确保同一时间序列中的不同时间步的特征表示之间的距离最小化，而与其他时间序列（负样本）的距离最大化。

3.3.2 实例区分对比学习

实例区分对比学习旨在区分不同时间序列实例的特征，确保同一时间步的特征在同一实例内保持相似性，而与其他时间序列实例的特征保持显著差异。同样使用欧氏距离来度量不同实例间特征表示的相似性，其目标是最大化同一时间步的正样本对之间的相似性，同时最小化它们与其他序列的特征的相似性。损失函数可以表示为：

{\mathrm{ℒ}}_{\mathrm{I}}={\displaystyle \sum _{i=\mathrm{1}}^B} {‖{\mathit{r}}_{i,t}-{\mathit{r}}_{i,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}+\sum _{j\ne i} {‖{\mathit{r}}_{i,t}-{\mathit{r}}_{j,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}} .（5）

其中，{\mathit{r}}_{i,t}和{\mathit{r}}_{\mathrm{j},{\mathrm{t}}^{\mathrm{\text{'}}}}是来自不同序列i和j的特征表示，i\ne j。{‖{\mathit{r}}_{i,t}-{\mathit{r}}_{i,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}是正样本对之间的欧氏距离，鼓励相同实例（时间序列）中相同时间步的特征表示尽量接近。{‖{\mathit{r}}_{i,t}-{\mathit{r}}_{j,t^{\text{'}}}‖}_{\mathrm{2}}^{\mathrm{2}}是负样本对之间的欧氏距离，确保来自不同时间序列的特征之间的距离较大。

这两种损失函数在功能上是互为补充的。例如，在处理来自多个地区的天气时序数据时，实例区分对比学习能够捕捉到不同地区间的特征差异，而时间一致性对比学习则专注于揭示随时间变化的动态模式。这种结合使得模型不仅能区分不同实例（如地区间的差异），还能够深入挖掘同一实例内随着时间推移的趋势变化。

3.3.3 多尺度池化与对比学习的结合

在模型中，时间序列数据经过多尺度池化操作后输入到对比学习模块。这意味着模型首先通过多尺度池化提取了时间序列的不同尺度特征（例如短期波动、长期趋势等），然后通过对比学习进一步优化这些特征的表示。具体的算法流程见算法1。

在模型复杂度方面，尽管这些技术在一定程度上增加了模型的计算开销，但其复杂度相较于同类任务中的其他深度学习模型并不算高。多尺度池化通过不同尺度的池化操作来捕捉不同时间粒度的特征，这一操作相较于全连接层或其他重参数化方法，其计算复杂度是可以控制的，且在实验中没有发现显著的计算瓶颈。

通过这种结合，模型能够从全局到局部、从粗到细地逐步学习和提取时间序列中的多层次、多尺度的特征，使得最终生成的特征表示更加全面且具有更高的区分度。

3.3.4 其他模块

1）SMA模块。SMA是一种基于历史数据的平滑方法，通过计算一个固定窗口内数据点的均值来减少随机波动。SMA能够有效平滑短期的噪声，使得序列中的长期趋势更加明显。对于时间序列表征学习，长期趋势的学习比短期波动更为重要，尤其是在需要捕捉趋势变化的任务中，如股市预测或气象预测。

在时间序列数据中，噪声通常来源于许多短期波动，这些波动可能对模型的学习造成干扰。SMA通过去除这些短期波动，使得输入数据更加稳定，从而提高模型的预测能力和鲁棒性。这有助于模型更好地理解数据的底层规律，避免过度拟合短期波动。

在STURL模型数据预处理阶段，SMA（Simple Moving Average，简单移动平均）模块用于对分解后的趋势项数据进行平滑处理，以减少噪声干扰，从而更好地捕捉时间序列的趋势性特征。具体来说，SMA模块通常用于去除时间序列中的短期波动，使得模型能够更专注于长期趋势与周期性变化。

2）季节编码器。在STURL模型中，SEncoder专注于处理时序分解后的季节项，其主要目标是提取季节性特征，并将其映射为潜在空间中的有效表示。SEncoder采用变分自编码器（VAE）。该方法有助于将季节性成分（作为潜在变量）建模为连续的概率分布。

具体而言，VAE通过引入隐变量和变分推断，可以有效地学习时间序列的隐含结构。VAE编码器输出的是季节项的潜在分布（均值和方差），而不是直接输出季节项的值。这种方法能在学习季节性特征的同时，捕捉到不确定性和潜在模式，尤其是当季节性变化具有复杂性时，VAE能够帮助更好地建模这种不确定性。VAE允许模型通过自监督学习方式训练，从而在没有标签的情况下学习季节项的特征。同时，VAE通过对潜在空间的正则化，使得模型能够从数据中学习到更通用的特征，而不是简单地拟合训练数据。通过最大化变分下界（ELBO），模型能够自动从季节项中提取有用的特征表示。ELBO公式如下：

{\mathrm{ℒ}}_{\mathrm{E}\mathrm{L}\mathrm{B}\mathrm{O}}={\mathit{𝔼}}_{q\left(\mathit{z}|\mathit{x}\right)}\left[\mathrm{l}\mathrm{o}\mathrm{g}p\left(\mathit{x}|\mathit{z}\right)\right]-D_{\mathrm{K}\mathrm{L}}[q(\mathit{z}\left|\mathit{x})\Vert p(\mathit{z})]\right. . (6)

其中，q(\mathit{z}\left|\mathit{x})\right.是编码器的输出，即给定输入\mathit{x}时潜在变量\mathit{z}的条件概率分布。p(\mathit{x}\left|\mathit{z})\right.是解码器的输出，即给定潜在变量\mathit{z}时，生成数据\mathit{x}的条件概率。p(\mathit{z}) 是潜在变量的先验分布（通常选择标准正态分布N(\mathrm{0},I)）。D_{\mathrm{K}\mathrm{L}}[q(\mathit{z}\left|\mathit{x})\Vert p(\mathit{z})]\right.是Kullback－Leibler散度，用于衡量编码器输出的潜在分布 q(\mathit{z}\left|\mathit{x})\right.与先验分布p(\mathit{z})之间的差异。

3）趋势编码器。TEncoder的输入是时序分解后的趋势项（{\mathit{x}}_{\mathrm{1}}^{\mathrm{T}},\dots ,{\mathit{x}}_i^{\mathrm{T}},\dots ,{\mathit{x}}_n^{\mathrm{T}}），这些趋势项由时序分解从原始时间序列中提取得到。每个趋势项包含不同时间尺度的变化，捕捉了时间序列的长期趋势特征。

TEncoder采用了多个自实现回归专家，每个自回归专家基于一维因果卷积，能够建模时间序列数据中的因果关系。每个专家输出的卷积结果具有不同的卷积核大小，这使得每个专家能够专注于学习时间序列的不同尺度的趋势特征。

每个自回归专家(\mathit{H}(T,i))会输出一个矩阵。随后，通过对所有自回归专家输出的结果进行平均池化操作，从多个不同时间尺度中提取出全局的趋势特征。这一步的作用是将多个专家的结果融合为统一的趋势表示，从而得到最终的趋势项表示：

\begin{array}{l}\mathit{H}(x_i^{\mathrm{T}})=\mathrm{平均}\mathrm{池化}(\mathit{H}\left(T,\mathrm{0}\right),\\ \mathit{H}\left(T,\mathrm{1}\right),\dots ,\mathit{H}\left(T,L\right)).\end{array}（7）

其中，\mathit{H}(x_i^{\mathrm{T}})就是TEncoder输出的最终趋势项表示。

4 实验结果与分析

为了评估STURL的可用性，本文在4个下游任务上进行了广泛的实验，并在不同下游任务选择不同的基线模型进行对比，具体基线模型在本文4.3中介绍。实验环境为配备NVIDIA RTX 3090 24 GB显卡的服务器，在CUDA 11.1下使用Pytorch 1.9.1库进行代码设计。常用超参数设置如下：对比学习的温度参数为1.0，季节项表示和趋势项表示的维度大小设置为64、批量大小的取值为｛4，8，16，32｝，学习率设定为0.001。在实验中，我们测试了模型训练时间，结果表明STURL模型在计算资源的消耗上与现有的主流时序模型相当，能够在合理的时间范围内完成各个下游任务。

4.1 数据集与基线介绍

4.1.1 时间序列分类数据集与实验设置

由于分类和聚类任务都旨在识别时间序列样本所属的真实类别，现有的研究通常使用同一组基准数据集来评估模型性能。由不同应用领域的异构时间序列组成的精心设计的基准测试，如UCR^［36］和UEA^［37］，是目前使用最广泛的，因为它们可以全面评估所测模型的泛化能力。除了DTW方法之外，其他所有分类方法的表示维度都设定为320，并且我们遵循与TS2Vec相同的协议，使用具有RBF核的SVM分类器对表示进行分类训练。

UCR 时间序列归档（UCR Time Series Classification Archive）是时间序列分类领域的经典基准数据集，包含128个单变量时间序列数据集，涵盖医疗、工业、运动等多个领域。每个数据集包含训练集和测试集，时间序列长度固定。类别数从2到60不等，适用于二分类和多分类任务。代表性数据集包括ECG200（心电图分类）、GunPoint（手势识别）、Coffee（光谱分类）等。UEA 多变量时间序列分类归档（UEA Multivariate Time Series Classification Archive）是 UCR 的扩展，专注于多变量时间序列分类任务。包含30个多变量数据集，每个时间序列包含多个变量（通道）。应用场景包括动作识别（如BasicMotions）、医疗监测（如Libras）等。由于数据长度和变量数各异，该数据集具有更高的复杂性。

4.1.2 时间序列预测数据集与实验设置

由于预测任务的输出是数值序列，因此大多数研究对这项任务使用相同的基准数据集。常用的数据集来自多个应用领域和服务，本文使用电力数据集ETT^［38］， ETT数据集的目标通常是预测电力变压器温度的变化，尤其是在多操作条件下的表现。ETT数据集在很多时间序列预测任务中都被用作基准数据集，具有较高的挑战性，因为它涉及到对长时间序列的预测以及复杂的时序动态。

4.1.3 时间序列异常检测数据集与实验设置

使用两个公共数据集来评估我们的模型。Yahoo是一个用于异常检测的基准数据集，包括367个小时级采样的时间序列，且带有标记的异常点。涵盖了各种异常类型，如异常值和变化点。KPI^［39］是AIOPS Challenge发布的竞赛数据集，包括多家互联网企业的多组精细采样的真实KPI曲线。

4.1.4 时间序列插值数据集与实验设置

在实际情况中，经常会出现不规则和异步采样，这可能导致数据缺失，从而给下游任务带来挑战。插补是缓解这一问题的一种简单且常用的方法。我们在电力场景中使用ETT数据集^［38］进行实验，该数据集普遍存在数据缺失问题，实验遵循与TimesNet^［40］相同的设置，该模型使用MLP网络进行下游任务。

4.2 评价指标

针对时间序列分类任务，本文采用准确性、精确度、召回率和F1分数来评估分类任务性能，针对类别不平衡的情况额外使用精确召回曲线下的面积（AUPRC）作为评估指标。

关于时间序列预测与插值任务的评估指标，鉴于预测结果的数值性质，最常用的度量是均方误差（MSE）和平均绝对误差（MAE）。MAE是一个直观的指标，它计算了预测值与实际值之间差异的绝对值的平均大小。MAE的计算公式如下：

\mathrm{M}\mathrm{A}\mathrm{E}=\frac{\mathrm{1}}{T}{\displaystyle \sum _{i=\mathrm{1}}^T}\left|{\mathit{y}}_i-{\widehat{\mathit{y}}}_i\right| .（8）

其中\widehat{\mathit{y}}是真实值，\mathit{y}是模型输出的预测值，T表示时间序列的长度。MAE值越小表示预测结果与实际情况的偏差越小，预测的准确性越高。

MSE则考虑了预测误差的平方，对较大误差赋予了更高的权重。MSE的计算公式如下：

\mathrm{M}\mathrm{S}\mathrm{E}=\frac{\mathrm{1}}{T}{\displaystyle \sum _{i=\mathrm{1}}^T}{\left({\mathit{y}}_i-{\mathit{y}}_i\right)}^{\mathrm{2}} .（9）

这里的符号定义与MAE相同。MSE值越小，表示预测误差越小，模型的预测性能越好。

关于时间序列异常检测任务的评估指标，准确性、精确度、召回率和点调整F1分数是时间序列异常检测中使用最广泛的指标。

4.3 实验结果分析

4.3.1 时间序列插值

在时间序列插值实验中，基线方法包括DLiner，TimesURL，InfoTS和TS2Vec，其中TimesURL是2024年时序数据的通用表征研究的SOTA结果，TS2Vec为2022年时序数据的通用表征研究的成果。本文提出的方法在多个数据集和不同缺失数据比例下展现了显著优于基线方法的性能。如表2所示，实验结果表明，STURL模型在均方误差（MSE）和平均绝对误差（MAE）这两个关键评价指标上均具有较为明显的优势。

在各个缺失数据比例（0.125，0.25，0.375）下，STURL模型的表现显著优于其他方法，尤其在较高缺失比率（0.375）情况下，STURL依然保持较低的MSE和MAE。这表明该方法能够有效应对时间序列数据中的缺失问题，展示了较强的鲁棒性和稳定性。本文方法相比次优模型TimesURL在所有数据集和屏蔽比例下的平均提升为17.06%。相比之下，其他对比方法（如TS2Vec、InfoTS等）在处理相同缺失数据比例时，虽然能够取得一定的性能，但其误差值普遍较高，表明这些方法可能未能充分利用时间序列的细粒度信息和多尺度特性。本文提出的STURL模型通过多尺度的特征提取和分层对比学习策略有效地捕捉了时间序列数据中的多尺度特征，从而在面对缺失数据时依然能够保持较高的准确性。尤其是在高缺失比率下，STURL模型能够较好地恢复缺失数据，并保持预测结果的稳定性。

4.3.2 时间序列分类

本文方法在UCR数据集上平均准确率和平均排名上均表现突出，如图4所示，表明该方法在处理复杂的时间序列数据时，能够更好地从数据中提取深层次的时序特征。相较于其他模型，STURL模型在特征提取和模型结构设计上具有更强的表征能力，从而在分类任务中取得更好的结果。与LaST和TimesURL等方法相比，STURL模型在准确率上的微小优势（0.847对0.837/0.845）源于其在模型训练过程中对时间序列特征的更好学习和表示。虽然InfoTS和TS2Vec在准确率上接近Ours，但它们的平均排名（分别为2.047和2.625）表明其在多个数据集中的整体表现较差。

在图5中展示了UEA数据集（10个子集）上时间序列分类任务的实验结果，图表对比了多个模型在该任务中的分类准确率。图中的不同颜色代表了不同的模型，其中本论文模型的表现通过蓝色条形图显示。其他模型包括VSFormer、SVP-T、DA-Net和OS-CNN，其中VSFormer为2024年的最优模型。

本文所提方法在多项任务中取得高准确率，相较于VSFormer的平均提升为1.80%，表明该方法在提取时序数据中的长期和短期依赖关系方面具有优越性。相比其他模型，本论文采用了更高效的网络架构和特征选择策略，使其能够更好地处理时间序列中的复杂性。

STURL模型在UEA数据集上的时间序列分类任务中表现出色，远超其他对比模型，特别是在准确率上取得了显著优势。该模型的高效特征提取和优越的学习能力使其能够在多个任务中展现强大的性能。尽管VSFormer在部分数据集上具有一定优势，但本论文模型凭借其在多个数据集上的一致性和高效性，验证了其在时间序列分类任务中的广泛适用性和鲁棒性。

4.3.3 时间序列异常检测

在时间序列异常检测实验中，本文对比了常用的异常检测方法（包括SPOT、DSPOT、DONUT、和SR）的结果，同时对比了时序数据通用表征研究方法的结果。在异常检测实验结果中，表3展示了不同模型在Yahoo和KPI数据集上的表现，评估指标包括F1分数、精确度（Precision）和召回率（Recall）。实验结果表明，本文提出的模型（STURL）在所有关键指标（F1分数、精确度和召回率）上均优于其他先进模型，尤其在Yahoo和KPI数据集上。相较次优模型TimesURL，本文在Yahoo数据集上F1提升0.27%，Precision提升1.20%，Recall提升0.27%；在KPI数据集上F1提升0.58%，Precision提升0.65%，Recall提升1.47%。在保持良好的插值、分类和预测性能的同时，异常检测任务上也有略微的提升。这凸显了该方法在处理复杂数据集时在异常检测任务中的有效性以及表征的通用性。STURL的优势主要源自其多尺度的特征建模、对比学习框架、上下文一致性机制、时间序列的分解学习以及频域增强策略。这些创新的设计使得该模型能够在异常检测任务中表现出色，尤其是在复杂的数据集和多种异常类型下，能够有效提高模型的精确度和召回率。

4.3.4 时间序列预测

在时间序列预测实验中，本文对比了表征学习方法（其中LaST和CoST均为2022年优秀成果）的结果，同时对比了端到端方法的结果。由于预测任务的表格内容较多，我们将其拆分为表4和表5。本文所提方法在多个任务中表现出较为优越的预测能力，尤其在ETTh2和ETTml数据集上，MSE和MAE表现均优于其他模型，特别是在ETTh2任务上，MSE和MAE的数值显著低于其他方法，表明我们的模型在该数据集上的预测精度较高。TimesURL作为对比模型，在ETTh1数据集的MSE降低了14.99%，MAE降低了5.78%；ETTh2数据集的MSE降低了0.33%，MAE降低了9.35%；ETTm1数据集的MSE降低了48.14%，MAE降低了15.96%；Electricity 数据集的MSE降低了19.40%，MAE降低了15.41%。总体来看，Ours 在所有数据集上的平均MSE降低了20.72%，平均MAE降低为11.63%。尽管在某些任务上TimesURL和Autoformer表现优于STURL，但在其他任务和总体上，STURL展示了其在长序列预测任务中的优势。

需要注意的是，预测步长从24增加到720时，无论是STURL还是其他模型，随着预测步长的增大，预测精度都会有所下降。因为在长时间步预测的情况下，模型面临的预测任务更加复杂，尤其是长期趋势、突变或周期扰动等因素的影响，导致预测精度自然下降。

实验结果表明，基于我们的时序数据分解与对比学习框架，提出的模型在时序数据预测任务中优于现有的主流方法，尤其在长时间跨度的预测中具有较好的鲁棒性和精度，展现了较强的实际应用潜力。

4.4 消融以及变体实验

在整篇论文中，我们强调了适当的频率混合、对比学习和季节趋势编码器三个策略，为了验证上述五个模块在STURL中的有效性，表中显示了UEA数据集中30个数据上的完整STURL及其六个变体之间的比较，其中OV1为替换SMA为EMD分解。结果表明，STURL的上述所有组成部分都是不可或缺的。

对于四个去掉不同组件的实验，通过对表6中的数据进行分析，可以明显观察到完整模型的平均准确率为0.748，这是包含所有策略和组件的基线模型表现。优于去除四个组件的结果。去除频率混合策略后，模型的准确率下降至0.737，较完整模型减少了0.011。这表明频率混合策略对模型的表现具有一定的提升作用，尤其是在处理数据中的频率成分时，频率混合策略有助于提升模型的准确性。

去除实例对比学习后，准确率降至0.742，较完整模型降低了0.006。这表明实例对比学习对于增强模型在实例层面上的表现有一定的作用，去除该策略后，模型的表现有所下降。

去除时间对比学习后，准确率为0.740，较完整模型下降了0.008。这说明时间对比学习对于模型的时间序列建模有显著影响，去除后模型的表现略有下降。

去除多尺度池化（SEncoder）后，模型准确率降至0.739，相比完整模型减少了0.009。这表明多尺度池化在捕捉时间序列中不同尺度特征方面起到了积极作用，去除该组件后，模型的准确度有所降低。

去除VAE后，准确率降至0.742，较完整模型降低了0.006。这表明VAE在生成潜在空间的表示方面具有显著作用，去除该策略后，模型的表现有所下降。

替换SMA为EMD分解后准确率降至0.732，较完整模型降低了0.013。这表明在趋势项处理上SMA的性能较好，替换该策略后，模型的表现有所下降。

综上所述，通过实验结果可以得出STURL方法在整体上表现最佳，其次是去除实例对比学习，最后是频率混合策略。这也进一步证实了在时间序列通用表示学习中，数据增强对于整个模型的提升作用最大。

5 结语

本文提出了一种新的基于时序数据分解的对比学习框架——STURL，用于时序数据的通用表征学习。通过将时间序列分解为季节项和趋势项，结合分层对比学习策略，STURL能够有效捕捉时序数据的多尺度特性和细粒度结构，提供更加鲁棒的语义表示。实验结果表明，STURL在多个任务中，如时间序列预测、分类、插值和异常检测等，均显著优于现有的主流方法，验证了其在复杂时序数据处理中的优越性能。尤其在面对高噪声、非平稳数据以及数据缺失的情况下，STURL展现出了强大的鲁棒性和稳定性。通过频率混合策略、上下文一致性机制和多尺度池化等设计，本文所提模型能够有效增强模型对时序数据的适应能力，极大提升了在多任务场景下的表现。

尽管STURL在多个实验中取得了良好效果，仍存在一些可以改进的空间。未来的研究可以进一步探索如何更高效地处理更大规模的时序数据，探讨分解误差对模型性能的影响，探讨模型在极端情况下的表现。总之，STURL为时序数据的表征学习提供了一种新的视角，其所提出的框架和方法不仅具有较强的理论价值，也为实际应用中时序数据分析的优化提供了可行的解决方案。

参考文献

[1] CAILLAULT É P， BIGAND A.Comparative study on univariate forecasting methods for meteorological time series［C］//2018 26th European Signal Processing Conference （EUSIPCO）.Rome，Italy，IEEE，2018：2380-2384.

[2] BASU S， MUKHERJEE A， KLIVANSKY S.Time series models for internet traffic［C］//Proceedings of IEEE INFOCOM’96.Conference on Computer Communications.San Franciso，CA，USA，IEEE，1996，2：611-620.

[3] MAKRIDIS G， KYRIAZIS D， PLITSOS S.Predictive maintenance leveraging machine learning for time-series forecasting in the maritime industry［C］//2020 IEEE 23rd international conference on intelligent transportation systems （ITSC）.Khodes，Greece，IEEE，2020：1-8.

[4] SEZER O B， GUDELEK M U， OZBAYOGLU A M.Financial time series forecasting with deep learning：A systematic literature review：2005—2019［J］.Applied soft computing，2020，90：106181.

[5] SHUMWAY R H， STOFFER D S， SHUMWAY R H，et al.Time series regression and ARIMA models［J］.Time Series Analysis and Its Applications，2000：89-212.

[6] 尹光志，张卫中，张东明，等.基于指数平滑法与回归分析相结合的滑坡预测［J］.岩土力学，2007（8）：1725-1728.DOI：10.16285/j.rsm.2007.08.005 .

[7] TONEKABONI S， EYTAN D， GOLDENBERG A.Unsupervised representation learning for time series with temporal neighborhood coding［J］.arXiv preprint arXiv：2021.

[8] ELDELE E， RAGAB M， CHEN Z，et al.Time-series representation learning via temporal and contextual contrasting［J］.arXiv preprint arXiv：2021.

[9] HAJIMORADLOU A， PISHDAD L， TUNG F，et al.Self-supervised time series representation learning with temporal-instance similarity distillation［C］//First Workshop on Pre-training：Perspectives，Pitfalls，and Paths Forward at ICML，2022.

[10] YANG X， ZHANG Z， CUI R.Timeclr：A self-supervised contrastive learning framework for univariate time series representation［J］.Knowledge-Based Systems，2022，245：108606.

[11] WANG Y， XU Y， YANG J，et al.Fully-connected spatial-temporal graph for multivariate time-series data［C］//Proceedings of the AAAI conference on artificial intelligence.Vancouver，British Columbic，Canada，2024，38（14）：15715-15724.

[12] MORGADO P， LI Y， NVASCONCELOS N.Learning representations from audio-visual spatial alignment［J］.Advances in Neural Information Processing Systems，2020，33：4733-4744.

[13] HARESH S， KUMAR S， COSKUN H，et al.Learning by aligning videos in time［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE/CVF，2021：5548-5558.

[14] CHEN M， WEI F， LI C，et al.Frame-wise action representations for long videos via sequence contrastive learning［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.IEEE/CVF，2022：13801-13810.

[15] YANG Y， MA J， HUANG S，et al.Tempclr：Temporal alignment representation with contrastive learning［J］.arXiv preprint arXiv：2022.

[16] JIAO Y， YANG K， DOU S，et al.Timeautoml：autonomous representation learning for multivariate irregularly sampled time series［J］.arXiv preprint arXiv：2020.

[17] YUE Z， WANG Y， DUAN J，et al.Ts2vec：Towards universal representation of time series［C］//Proceedings of the AAAI conference on artificial intelligence.AAAI，2022，36（8）：8980-8987.

[18] ZHANG K， WEN Q， ZHANG C，et al.Self-supervised learning for time series analysis：Taxonomy，progress，and prospects［J］.IEEE transactions on pattern analysis and machine intelligence，2024，46（10）：6775-6794.

[19] XU M A， MORENO A， WEI H，et al.Retrieval-based reconstruction for time-series contrastive learning［J］.Arxivabs231100519，2023.

[20] SHIN Y， YOON S， SONG H，et al.Context consistency regularization for label sparsity in time series［C］//International Conference on Machine Learning.Honolulu，Havaii，USA，PMLR，2023：31579-31595.

[21] ZHONG S， SONG S， ZHUO W，et al.A multi-scale decomposition mlp-mixer for time series analysis［J］.arXiv preprint arXiv：2023.

[22] CHOWDHURY R R， LI J， ZHANG X，et al.Primenet：Pre-training for irregular multivariate time series［C］//Proceedings of the AAAI Conference on Artificial Intelligence.Washington D C，USA，2023，37（6）：7184-7192.

[23] CHEN P， HUANG D， HE D，et al.Rspnet：Relative speed perception for unsupervised video representation learning［C］//Proceedings of the AAAI Conference on Artificial Intelligence.Attanta，Georgia，USA，2021，35（2）：1045-1053.

[24] JENNI S， JIN H.Time-equivariant contrastive video representation learning［C］//Proceedings of the IEEE/CVF international conference on computer vision.Shen Zhen，IEEE，2021：9970-9980.

[25] NGUYEN A DUY， TRAN T H， PHAM H H，et al.Learning Robust and Consistent Time Series Representations：A Dilated Inception-Based Approach［J］.arXiv e-prints arXiv：2023.

[26] LIANG Z， ZHANG J， LIANG C，et al.A shapelet-based framework for unsupervised multivariate time series representation learning［J］.arXiv preprint arXiv：2023.

[27] WANG Y H， YU H， WANG H S，et al.2023.Contrast everything：A hierarchical contrastive framework for medical time-series.In NeurIPS［C］//Proceedings of the 37th Conference on Neural Information Proceeding Systems.New Orleans，LA：Curran Associates Inc，2023，36：35694-55717.

[28] WANG Y， HAN Y， WANG H，et al.Contrast everything：A hierarchical contrastive framework for medical time-series［J］.Advances in Neural Information Processing Systems，2023，36：55694-55717.

[29] KIM S， CHUNG E， KANG P.FEAT：A general framework for feature-aware multivariate time-series representation learning［J］.Knowledge-Based Systems，2023，277：110790.

[30] CHOI H， KANG P.Multi-task self-supervised time-series representation learning［J］.Information Sciences，2024，671：120654.

[31] LIU S， KIMURA T， LIU D，et al.Focal：Contrastive learning for multimodal time-series sensing signals in factorized orthogonal latent space［J］.Advances in Neural Information Processing Systems，2023，36：47309-47338.

[32] ZHANG X， ZHAO Z， TSILIGKARIDIS T，et al.Self-supervised contrastive pre-training for time series via time-frequency consistency［J］.Advances in neural information processing systems，2022，35：3988-4003.

[33] LIU J， CHEN S.Timesurl：Self-supervised contrastive learning for universal time series representation learning［C］//Proceedings of the AAAI conference on artificial intelligence.Vancauver，BC：AAAI Press，2024，38（12）：13918-13926.

[34] LEESEUNGHAN，PARKTAEYOUNG，LEEKIBOK.Soft Contrastive Learning for Time Series in ICLR［C］//Procedings of the 12th International Conference on Learning Representations.kigali：Openview，2024.

[35] LEE S， PARK T， LEE K.Soft contrastive learning for time series［J］.arXiv preprint arXiv：2023.

[36] DAU H A， BAGNALL A， KAMGAR K，et al.The UCR time series archive［J］.IEEE/CAA Journal of Automatica Sinica，2019，6（6）：1293-1305.

[37] BAGNALL A， DAU H A， LINES J，et al.The UEA multivariate time series classification archive［J］.arXiv preprint arXiv：2018.

[38] ZHOU H， ZHANG S， PENG J，et al.Informer：Beyond efficient transformer for long sequence time-series forecasting［C］//Proceedings of the AAAI conference on artificial intelligence.Virtual Event：AAAI Press，2021，35（12）：11106-11115.

[39] REN H， XU B， WANG Y，et al.Time-series anomaly detection service at microsoft［C］//Proceedings of the 25th ACM SIGKDD International Conference On Knowledge Discovery & Data Mining.Anchorage，AK，USA：ACM，2019：3009-3017.

[40] WU H， HU T， LIU Y，et al.Timesnet：Temporal 2d-variation modeling for general time series analysis［J］.arXiv preprint arXiv：2022.

[41] CHOI H，SOM A， TURAGA P.AMC-Loss：Angular Margin Contrastive Loss for Improved Explainability in Image Classification［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）.Seattle，WA，USA：IEEE，2020：3659-3666.

[42] BOUHSINE T， AAROUSSI I EL， FAYSAL A，et al.SimO loss：anchor-free contrastive loss for fine-grained supervised contrastive learning［J］.arXiv e-prints arXiv：2024.

基金资助

国家重点研发计划(2021YFB3300503)

国家自然科学基金区域创新发展联合基金(U22A20167)