基于改进Transformer模型的尾矿坝异常监测数据分析研究

Research on Abnormal Monitoring Data Analysis of Tailings Dam Based on Improved Transformer Model

摘要

针对尾矿坝多传感器监测系统中频繁出现异常数据，严重影响尾矿坝安全评估的问题，提出了一种改进的TCN-Transformer混合架构异常检测模型。该模型在传统Transformer模型上引入时间卷积网络（TCN）组件，替代模型中的绝对位置编码，能够有效捕捉时间序列数据中复杂的长期依赖关系，提升了模型异常检测的精度。同时，对模型的自注意力机制进行优化，通过采用分支结构设计并融入极大和极小值策略，提取尾矿坝时间序列的空间特征，使得重构误差与关联差异在检测过程中相互增强，增强模型异常检测的性能。试验结果表明，本研究提出的TCN-Transformer异常检测模型平均精度值F1达到0.9486，在检测精度和性能上较传统模型有所提升，对尾矿坝时序数据异常检测和安全管理具有重要意义。

Abstract

Tailings dams, which are primarily utilized for the storage of tailings or industrial waste produced by mining activities, represent significant sources of high potential energy and pose considerable risks.A failure of such a dam could result in immeasurable losses.Consequently, online monitoring of tailings dams is essential for real-time analysis and risk mitigation.This monitoring is critical for promptly assessing the safety status of tailings dams, preventing dam failures, and safeguarding human lives and property. Therefore, anomaly detec-tion in time series data derived from tailings dam monitoring systems is of paramount importance. In response to the frequent occurrence of anomalies within multi-sensor monitoring systems for tailings dams, which severely affect safety assessments, this paper proposes an enhanced TCN-Transformer hybrid anomaly detection model.This model incorporates a temporal convolutional network （TCN） component into the traditional Transformer model, replacing the absolute position encoding mechanism.This approach effectively captures complex long-term dependencies in time series data, thoroughly integrates global temporal information, and enhances the model’s accuracy in anomaly detection.Moreover, the model’s self-attention mechanism has been optimized through the implementation of a branching structure design and the integration of maximum and minimum strategies.This enhancement enables the extraction of spatial features from tailings dam time series data, allowing reconstruction errors and correlation differences to reinforce each other during detection. Consequently, the model’s anomaly detection performance is improved. By employing a self-supervised training paradigm, the model reduces its dependence on large-scale supervised datasets, thereby enhancing its practicality and generalization capabilities.Experimental results demonstrate that the proposed TCN-Trans-former anomaly detection model achieves an average F1 score of 0.9486, marking a significant improvement in detection accuracy and performance over traditional models.This model holds substantial importance for anomaly detection and safety management in the context of tailings dam time series data.

Graphical abstract

关键词

尾矿坝 / 时序数据 / 异常检测 / TCN-Transformer模型

Key words

tailings dam / time series data / anomaly detection / TCN-Transformer model

尾矿坝作为矿业活动的重要基础设施，其稳定性监测是确保环境安全与人员生命财产安全的关键环节（王昆等，2018；石勇等，2021；戴剑勇等，2022）。尾矿库溃坝是一种从累积量变到事故质变的复杂过程，是矿山生产中的重大危险源和重大安全责任风险之一（Hui et al，2018）。近年来，随着智能传感器技术的快速发展，通过多维度传感器阵列实现对尾矿坝的全面、实时监测已成为常态。然而，由于受天气变化、电子元件故障和人为操作失误等多种因素的影响，监测数据常常夹杂异常值，严重影响了尾矿坝安全预警系统的有效性和准确性。因此，如何在无监督学习框架下实现多维时序数据中的异常值精准识别是一项关键挑战，也是该领域迫切需要解决的重要问题（Dong et al，2022）。

在实时监测时序数据的异常检测方面，已有学者开展了相关研究。通过采用基于阈值的近邻差值跳跃检测方法（高鹏飞，2019）、基于距离和聚类的无监督学习方法（王鑫磊，2022）、孤立森林算法（易思成等，2022）和引入云模型（Dong et al，2022）等，实现了对尾矿库监测异常值的识别，提升了异常识别的稳健性。此外，也有学者利用箱型图方法（李伟华，2019）和k-Shape聚类方法（何黎等，2023），开展了水库监测数据的异常检测和城市排水管网连续液位数据的异常识别，取得了良好效果。上述研究表明，融合统计理论与机器学习技术是提升尾矿坝监测异常值识别精度的关键方向。

当前，时序异常检测方法主要划分为基于阈值、统计和机器学习3类。基于阈值的方法通常依赖监测点的历史记录进行人工分析，适用性有限，故不再进行深入探讨。统计方法将偏离预设统计模型的数据视为异常，但其有效性建立在数据符合特定分布的前提上，然而，尾矿库监测数据的分布形态往往难以预先界定（Wang et al，2019）。机器学习方法主要包括无监督、有监督和半监督学习（Sarker，2021）。有监督方法需依赖大量标注数据以训练模型，但在尾矿库监测场景中，数据规模庞大，存在人工标注成本高及实施难度大的问题。无监督方法虽然无需标注数据，更易于部署，但当异常样本较多时，其检测性能可能会显著下降。半监督方法包括单类支持向量机（OC-SVM）（Manevitz et al，2001）和支持向量数据描述（SVDD）（Tax et al，2004）等，仅使用正常数据训练即可识别异常，避免了标注需求。尽管如此，目前在尾矿库异常监测数据识别中仍以阈值、统计和无监督方法为主，半监督学习方法的应用相对较少。其原因是异常检测任务本身面临数据极端不平衡，异常形态多样且模糊，以及对标注噪声敏感等挑战，而半监督方法所依赖的平滑性假设（如低密度分离或一致性约束）难以有效捕捉离散、稀疏的异常模式，导致其与实际应用需求之间存在根本性冲突。

本研究聚焦于尾矿坝时间序列数据的异常检测问题，旨在通过设计创新的Transformer模型结构，提升尾矿坝安全监测系统中异常数据分析的准确性。本文模型在保持Transformer卓越特征提取能力的基础上进行了两大创新：首先，模型在注意力机制前引入自回归时间卷积网络（TCN）组件，挖掘时间序列中的线性特征，并通过采用可训练的位置编码替代传统的绝对位置编码，提升了异常检测性能。其次，为克服Transformer模型原始自注意力机制的局限性，引入极大和极小值机制，增强关联差异的可区分性，从而得到更精确、更高效的异常检测准则。

1 尾矿坝异常数据检测优化模型

1.1 基于改进Transformer的检测模型架构设计

针对尾矿坝多传感器时序数据的异常检测，现有模型在高维无监督场景下表现不佳。高维数据导致密度估计困难，容易将正常样本误判为罕见事件，从而影响检测精度。此外，传统的绝对位置编码限制了Transformer多头注意力机制在多元传感器数据中的长期依赖捕捉，未能充分利用数据间的复杂关系，导致检测效果不理想。因此，亟需创新模型架构，优化位置编码策略，以应对高维数据挑战，提升模型对长期依赖关系的捕捉能力，从而提高尾矿坝时序数据异常检测的准确性和稳健性。

基于尾矿坝时序数据异常检测的特性，提出了一种创新的Transformer改进模型，整体框架如图1所示。Transformer由若干个编码器和解码器组成。编码器包含一个多头自注意力机制模块，由多个自注意力机制组成。编码器的主要任务是将输入序列转换为一组特征表示，是N个编码层的堆叠，每个编码层接受上一个编码层的输出作为其输入，并产生一个输出作为下一个编码层的输入，直至最后一层编码层，将其输出结果作为编码器的输出。采用这种结构，可以让后续编码层基于前面的提取特征，挖掘出高级语义和语法信息。解码器包含2个多头自注意力机制。多头自注意力机制上方还包括一个残差连接和归一化层，残差连接用于防止网络退化，归一化层用于对每一层的激活值进行归一化。多头自注意力机制对嵌入向量进行带掩码的多头自注意力计算，确保解码器当前生成的词仅依赖于先前已生成的词，避免未来信息泄露。编码器—解码器注意力机制：将编码器的输出作为键和值，结合解码器的中间表示作为查询，进行多头注意力计算，从而将编码器的上下文信息融入解码器。前馈网络：对每个位置上的表示独立施加前馈网络，提升网络的非线性建模能力。步骤重复执行N次，直至生成完整的输出序列。通过全连接层和Softmax层，得到目标词汇的概率分布，用于预测下一步的输出。

该方案通过两大创新提升了检测精准度。首先，模型在编码器模块中自注意力机制的基础上引入时间卷积网络（Temporal Convolutional Network，TCN）模块，充分利用卷积运算的优势，跨时间步提取特征，有效捕获数据中的长期和局部时间序列模式。同时，采用可训练的位置编码替代传统的绝对位置编码，增强了模型对时间序列中位置信息的表达能力。其次，针对尾矿坝这一特定工业场景，本研究优化了模型的自注意力机制，采用分支结构对不同时间序列关联进行精细建模，并引入极大和极小值策略，放大关联差异的可区分性，使模型能够精准识别潜在的异常模式。

1.2 基于自回归TCN的位置编码优化

在使用Transformer模型进行尾矿坝时序数据异常检测时，传统的绝对位置编码机制在表达序列信息上存在局限性。该机制容易将相似的数据模式错误地映射到不同的时间窗口，忽视了尾矿坝多元传感器时间序列数据的复杂性和动态性。这种不匹配不仅削弱了模型捕捉时间依赖关系的能力，还限制了模型对数据内在结构与变化规律的深入理解，进而影响异常检测的精准度和可靠性（Bai et al，2018）。

为解决这一问题，本文在注意力机制之前引入TCN组件。TCN虽然不直接捕捉多元时间序列数据特征维度间的相关性，但作为特征提取器，其能够有效捕获时间序列中的历史信息。因此，本研究将TCN与Transformer模型相结合，通过TCN模块提取时间序列中的长期依赖性和全局信息，并引入自回归模块捕捉时间序列的线性分量。这样，模型结合了线性和非线性特征的捕获，增强了对全局时间序列信息提取的稳健性。自回归TCN组件的网络结构如图2所示。

假设模块的输入是N维的时间序列数据X=\left(X_{\mathrm{1}},\dots ,X_z,\dots ,X_N\right)，其中X_z表示一维时间序列X_z=\left(t_{\mathrm{1}},t_{\mathrm{2}},\dots ,t_K\right)，K表示时间序列数据的总持续时间。将扩张卷积表示为映射关系F\left(·\right)且过滤器为f:\left\{\mathrm{0,1},\dots ,m-\mathrm{1}\right\}。X_z在i时刻经过扩张和卷积后的值F\left(i\right)（Bai et al，2018）可表示为

\begin{array}{c}F\left(i\right)=\left(X_z{\mathrm{*}}_{p}f\right)\left(i\right)={\sum }_{j=\mathrm{0}}^{m-\mathrm{1}}f\left(j\right)·t_{i-p·j}\end{array}（1）

式中：{\mathrm{*}}_p表示尺度因子为p的扩张运算；m为卷积核的大小；t_{i-p·j}为过去时刻的时序数据X_z的值。对于不同深度的扩张因果卷积层，扩张因子p的大小呈指数增长，其目的是保证模型在扩大感受野的同时减少计算量。当扩张因子p=\mathrm{1}时，扩张卷积退化为普通卷积。

通过堆叠多个扩张因果卷积层，时间卷积网络可充分捕获时间序列数据中的长期依赖性。然而，更深层的网络结构在训练过程中易出现梯度消失或爆炸的病态问题，这增加了模型的优化难度，最终导致其表征能力劣化。残差连接是避免网络深度增加时梯度消失的有效解决方案。在TCN组件中，该架构（Bai et al，2018）可表示为

\begin{array}{c}Y=Activation\left[X_z+F\left(X_z\right)\right]\end{array}（2）

式中：F\left(·\right)表示扩张因果卷积层的向量映射关系；X为输入的多维时间序列数据；Activation为激活函数。

在尾矿坝时序数据异常检测任务中，TCN的感受野的大小由网络深度N、卷积核尺寸m和扩张系数P共同决定，因此，当使用更深或更复杂的TCN时，其稳定性问题尤为关键。例如：对于建模需依赖较长历史（如212个时间步）且输入为高维序列的预测任务，需构建多达12层的网络结构，而且，每一层通常包含多个滤波器用于提取特征。鉴于上述考虑，在TCN模型设计中，常采用通用残差模块以替代标准卷积层，从而增强梯度流动和训练稳定性。残差结构如图3所示。

模型的重构误差普遍较大，使得正常数据与异常数据的误差区间重叠，导致漏检现象时有发生。为了解决这个问题，本文引入一个自回归模块来捕获时间序列数据中的线性特征，从而提高模型的拟合效果，减少正常数据下模型的重构误差。每个输出自回归分量表示为

\begin{array}{c}{r}_i={\displaystyle \sum _{j=\mathrm{0}}^{K-\mathrm{1}}}{W}_j{t}_{i-j}+{\xi }_i\end{array}（3）

式中：W为模型权重；{\xi }_i为相应的噪声。同时，所提出的自回归TCN组件保留了大多数Transformer模型中使用的\mathrm{1}\times \mathrm{1}卷积层。这个\mathrm{1}\times \mathrm{1}的卷积层更有利于保留浅层特征，进一步丰富了该组件提取的信息特征。设C=f_{conv}^{\mathrm{1}\times \mathrm{1}}\left(X_z\right)表示该层的输出，则自回归TCN组件的最终输出可用O=Y+R+C计算，其中R=\left(r_{\mathrm{1}},r_{\mathrm{2}},\dots ,r_K\right)表示自回归模块的输出。

此外，当遇到各种意外事件（如极端天气条件等）时，时间序列中的模式会随着时间发生显著变化。这些产生突变的时间模式异常性判定，主要取决于数据的上下文信息。在Transformer模型的自注意力组件中，查询向量\mathit{Q}、键向量\mathit{K}和值向量\mathit{V}的计算是在时间序列数据的单个时间步上执行的。这种计算方法无法利用数据的上下文信息（Li et al，2019a），因此，Transformer模型无法分辨当前观察到的变化点是否是异常或正常时间模式的一部分。本文提出的自回归TCN组件堆叠了多个扩张因果卷积层，使得Transformer模型能够获得长期数据依赖性，同时增强模型的局部敏感性。堆叠多个扩张的因果卷积层通过不同大小的扩张因子为模型捕获不同时间尺度的数据特征。当前时间点的重构是在融合数据所有尺度特征的前提下进行的。TCN组件充分利用了数据的上下文信息，因此能够更好地区分时间序列数据中的变化点和异常点，如图4所示。

1.3 自注意力机制优化

在时间序列异常检测任务中，Transformer模型通过编码器—解码器网络的结构，对每个输入时间序列窗口进行重建。模型利用自注意力机制，获取每个时间点与整个序列的时序关联，即计算序列中各时间点之间的关联权重分布。这个关联分布能够为整个时序上下文提供丰富的描述，揭示动态模式，如周期性或趋势。本文将这种由序列中的自关联权重计算出的分布称为序列关联。然而，由于异常点相对正常点稀少，异常点难以与整个序列建立明显关联，但其可能会与相邻的时间点形成较强关联，这种关联称为先验关联。先验关联通过可学习的高斯核进行计算。为此，本文采用双分支结构，分别对先验关联和序列关联进行建模，从而更准确地捕捉异常点特征，结构如图5所示。

使用高斯核函数处理和分析时间序列数据在应对自相关性和季节性方面具有优势。通过计算不同时间点之间的相似度，高斯核能够有效减弱自相关性的影响，并通过比较不同季节的相似度，降低季节性对数据的干扰。本研究引入一个可学习的高斯核函数，用以建模具有相对时间距离的先验分布。借助高斯核的单峰特性，模型能够更专注于相邻时间点的关联。为了增强模型对不同时间序列模式的适应性，本研究为高斯核引入可学习的尺度参数\sigma，使其能够灵活处理不同长度的异常片段。此外，序列关联分支通过从原始序列中学习关联，能够自适应地找到最有效的关联结构，实现更精准的异常检测。计算公式（Xu et al，2021）表示为

\begin{array}{c}\sigma =X^{l-\mathrm{1}}{\mathit{W}}_{\mathit{Q}}^l,X^{l-\mathrm{1}}{\mathit{W}}_{\mathit{K}}^l,X^{l-\mathrm{1}}{\mathit{W}}_{\mathit{V}}^l,X^{l-\mathrm{1}}{\mathit{W}}_{\sigma }^l\end{array}（4）

\begin{array}{c}{P}^l=\frac{\mathrm{1}}{\sqrt[]{\mathrm{2}\mathrm{\pi }}\sigma }\mathrm{e}\mathrm{x}\mathrm{p}\left[-\frac{\left(x_i-\mu \right)}{\mathrm{2}{\delta }^{\mathrm{2}}}\right]\end{array}（5）

\begin{array}{c}{S}^l=Softmax\left(\frac{\mathit{Q}{\mathit{K}}^T}{\sqrt[]{d_{\mathrm{m}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{l}}}}\right)\end{array}（6）

式中：\mathit{Q},\mathit{K},\mathit{V}\in R^{N\times d_{model}},\sigma \in R^{N\times \mathrm{1}}分别代表自注意力机制中的查询向量\mathit{Q}、键向量\mathit{K}和值向量\mathit{V}和可学习的尺度参数。{\mathit{W}}_{\mathit{Q}}^l,{\mathit{W}}_{\mathit{K}}^l,{\mathit{W}}_{\mathit{V}}^l,{\mathit{W}}_{\sigma }^l分别为第i层\mathit{Q},\mathit{K},\mathit{V},\sigma的参数矩阵。

尾矿坝时序数据中异常位置的关联应集中在相邻的时间点上，这些时间点由于具有连续性，所以更可能包含类似的异常模式。占主导地位的正常时间点与整个系列的信息关联，而不限于相邻区域。基于此，使用关联差异来表示每个时间点的先验关联与序列关联距离的量化。形式化为先验关联与系列关联之间的KL散度。KL散度的值越大，表示用一个分布近似另一个分布时引入的信息损失或误差越大。这使得KL散度在度量模型的误差或信息损失方面非常直观。计算公式（Xu et al，2021）表示为

Dis\left(P,S;X\right)={\left[\frac{\mathrm{1}}{L}{\displaystyle \sum _{l=\mathrm{1}}^L}\left(KL\left(P_i^l,:\parallel S_i^l,:\right)+KL\left(S_i^l,:\parallel P_i^l,:\right)\right)\right]}_{i=\mathrm{1,2},\dots ,N}（7）

式中：KL\left(·\parallel ·\right)为P^l和S^l的2个离散分布之间的KL散度；Dis\left(P,S;X\right)\in R^{N\times \mathrm{1}}代表先验关联P和序列关联S的点相关差异。通过先验观察，发现异常将呈现比正常时间点更小的Dis\left(P,S;X\right)。

本方法以无监督重建任务为核心，通过最小化重建误差优化模型。该损失函数能够有效驱动多尺度特征关联网络，学习最具代表性的关联模式。为进一步增强正常与异常时间点之间的区分度，本文引入额外的损失项，以增大其依赖特征之间的差异。由于预先设定的关联形式具有基于高斯先验的局部聚焦特性，所加入的对比正则化项能够促使时序关联关注更长时间范围的非相邻区域，从而使得异常表现更显著且易于检测，提升了尾矿坝时序数据异常识别精度。输入序列X\in R^{N\times d}的损失函数形式化（Xu et al，2021）表示为

L_{\mathrm{T}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\left(\widehat{X},P,S,\lambda ;X\right)={‖X-\widehat{X}‖}_F^{\mathrm{2}}-\lambda \times {‖Dis\left(P,S;X\right)‖}_K（8）

式中：\widehat{X}\in R^{N\times d}为原始序列的重构序列。{‖·‖}_F，{‖·‖}_K分别为F范数和k范数；\lambda为平衡项，当\lambda>0，目标是扩大关联差异。使用极大和极小值策略使关联差异的区分性更强。

如果模型最小化损失，就要最大化关联差异，而直接最大化关联差异，将使得高斯核的尺度参数急剧变小，图形越窄且越集中，这使得先验序列失去意义。本文使用极大和极小值策略，具体结构如图6所示。

在优化过程中，通过调节先验关联P，使其逐渐趋近于数据驱动的序列关联矩阵 S，以实现两者对齐。该方法能够自适应地学习尾矿坝监测数据中多尺度的时序依赖特征，并有效缓解关联参数发生过度收缩或退化。在差异增强阶段，通过优化序列关联矩阵 S，显著提高了不同类别时序模式之间的可辨别性。该阶段强化模型对非邻近时间点的依赖关系，使得异常片段更难以被准确重建。鉴于正常监测数据通常具备更强的时序一致性和连续性，所述优化过程有助于进一步增强正常与异常样本在特征空间中的可分性。

综上，整合重构损失得到两阶段的损失函数（Xu et al，2021）可表示为

\begin{array}{c}MinimizePhase:L_{\mathrm{T}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\left(\widehat{X},P,S_{\mathrm{d}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{c}\mathrm{h}},-\lambda ;X\right)\end{array}（9）

\begin{array}{c}MaximizePhase:L_{\mathrm{T}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}\left(\widehat{X},P_{\mathrm{d}\mathrm{e}\mathrm{t}\mathrm{a}\mathrm{c}\mathrm{h}},S,\lambda ;X\right)\end{array}（10）

为了实现最大最小学习方向的切换，可通过改变损失函数中\lambda参数的方向：由于要分开优化先验关联和序列关联，所以最小化阶段梯度传给先验关联，最大化阶段梯度传给序列关联。

本文利用时间表示和可区分的关联差异，将归一化的关联差异包含到重构标准中。最终的异常分数计算公式为

AnomalyScore\left(X\right)=Softmax\left[-Dis\left(P,S;X\right)\right]

\odot {\left[(X_i,:-{\widehat{X}}_i{,:)}_{\mathrm{2}}^{\mathrm{2}}\right]}_{i=\mathrm{1,2},\dots ,N}（11）

式中：⊙为逐元素相乘，用于计算输入序列中各时刻的瞬时异常判断依据。为提升序列重构效果，异常点（离群点）所引致的差异往往被抑制，从而获得较高的异常评分。该机制使重建误差与关联差异形成协同增强效应，共同提高了异常检测的整体灵敏度。

2 试验与结果分析

2.1 试验环境及数据准备

本研究的试验环境基于Python 3.7，并使用PyTorch 1.8.1框架搭建和训练深度学习模型。在硬件方面，试验采用NVIDIA GeForce RTX 3070 Ti GPU以加速计算，并在Windows操作系统下使用Intel Core i9处理器支持多任务处理与数据预处理操作。试验数据来源于河南省某尾矿库的在线监测设备，包含以下3类监测数据：（1）浸润线监测数据（JRX），包含5 368条一维时序数据，主要用于反映尾矿库内部水位及浸润线变化情况；（2）干滩长度与滩顶高监测数据（GTD），包含6 350条四维时序数据，该数据集综合了干滩长度和滩顶高度等多个维度的信息，对于评估尾矿库稳定性至关重要；（3）外部位移速率监测数据（WWS），包含4 838条十五维时序数据，详细记录了尾矿库外部结构的位移速率，是判断尾矿库是否存在安全隐患的关键指标。

鉴于尾矿坝在线安全监测系统中各特征数据间可能存在的量纲差异和数值范围差异，数据预处理成为确保模型训练效果的重要环节（阮顺领等，2023）。本文采取以下步骤对数据进行规范化处理：

（1）跳点去除：采用基于3σ（三倍标准差）准则的小波方法，对原始时序数据中的异常跳点进行识别和剔除。该方法通过计算数据的标准差，并设定阈值为三倍标准差，有效识别并去除了由于设备故障或极端环境导致的异常数据点。

（2）缺失数据填补：针对数据中的缺失部分，采用线性插值法进行填补。线性插值法基于数据点之间的线性关系，通过计算相邻数据点的斜率来估计缺失值，保证了数据的连续性和完整性。

（3）数据归一化：为了加快模型训练速度并提高模型收敛度，采用标准差归一化方法将处理后的数据缩放到标准正态分布范围内。这一步骤消除了不同特征间的量纲影响，使模型能够更加专注于数据间的内在关系，而非数据的绝对数值大小。计算公式为

\begin{array}{c}{X}_i\leftarrow \frac{x_t-\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{\Gamma }\right)}{\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{\Gamma }\right)-\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{\Gamma }\right)+{\epsilon }^{\text{'}}}\end{array}（12）

式中：{\epsilon }^{\text{'}}为一个极小的常数向量，用于防止被除零；\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{\Gamma }\right)和\mathrm{m}\mathrm{a}\mathrm{x}\left(\mathrm{\Gamma }\right)为模型训练数据的最小值和最大值。以此对数据进行归一化处理，使其处于［0，1］的范围内。

对于预处理后的尾矿坝时序数据，采用随机划分方式将其划分为训练集和测试集，其中所有异常样本均被分配至测试集。根据异常在时序上的分布特点，可将其划分为2类：单次异常和持续异常。单次异常是指某一时刻的数据显著偏离序列的正常波动范围，持续异常则是指数据在连续时间段内偏离正常状态，之后又恢复常态。为全面评估优化后的Transformer模型在异常检测中的性能，采用精确率（P）、召回率（R）和F1值3个指标进行量化分析，具体计算公式为

\begin{array}{c}P=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}}\end{array}（13）

\begin{array}{c}R=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}}\end{array}（14）

\begin{array}{c}F\mathrm{1}=\frac{\mathrm{2}PR}{P+R}\end{array}（15）

式中：T_{\mathrm{P}}为模型检测出的异常样本数（预测值为1且真实值为1）；F_{\mathrm{P}}表示检测为异常但实际为非异常的样本数（预测值为1且真实值为0）；F_{\mathrm{N}}为未被检测出的异常样本数（预测值为0且真实值为1）。

通过上述预处理步骤，将原始监测数据成功转化为符合模型训练要求的标准化数据集，为后续基于Transformer的TCN-Transformer异常检测模型的构建和训练奠定了坚实基础。

2.2 检测模型优化效果分析

为了验证本文所改进的TCN-Transformer模型在尾矿坝时序数据异常检测任务中的有效性，在相同试验条件下，针对3个数据集（JRX、GTD和WWS）的6个基准测试场景进行了模型验证。试验结果表明，该模型在所有场景中均表现出优异的异常检测性能，明显优于LSTM_AD、TranAD、MAD_GAN和Transformer等其他传统模型方法。

在数据预处理阶段，本研究统一采用滑动窗口大小为100的策略，以捕捉时序数据中的局部特征。若某时间点的异常评分超过设定阈值δ，则该点被判定为异常。阈值δ根据验证集中异常数据所占比例r来确定。具体而言，在数据1、数据2和数据3中，r分别设为0.1%、0.5%和1.0%。本文采用广泛使用的连续异常段评估策略：只要某个连续异常段中有任一时刻被检测到，即视为整个异常段被正确识别。在模型结构方面，TCN-Transformer共包含3层，隐藏层通道数设为512，注意力头数h为8。所有数据集的损失权重λ统一设置为3，以平衡损失函数中不同部分的影响。优化器选用Adam，初始学习率为0.0001，训练批量大小为8，并在10个epoch内采用早停策略以控制过拟合。根据训练曲线的收敛性来设置滑动窗口和损失权重λ等参数，如图7和图8所示。

如表1所示，将本模型与近年来主流的多变量时间序列异常检测模型进行对比试验，包括LSTM_ADD（Hundman et al，2018）、MAD_GAN（Li et al，2019b）、Omni Anomaly（Su et al，2019）、Anomaly BERT（Jeong et al，2023）、Tran AD（Tuli et al，2022）和Transformer（Xu et al，2021）。具体而言，从综合性能来看，本文提出的方法在全部数据集上均表现出较优的异常检测能力，尤其在JRX数据集上，其准确率和召回率均显著高于其他对比模型。TCN-Transformer在JRX数据集上的F1分数达到95.99%，在GTD数据集上的F1分数达到90.43%，在WWS数据集上的F1分数达到98.18%。如图9所示，本研究模型的性能均高于其他现有模型的性能。此外，绘制了ROC曲线（图10）进行比较。TCN-Transformer在所有5个数据集上具有最高的AUC值。模型在各种预选阈值下的假阳性率和真阳性率上表现良好，进一步验证了模型的可靠性。

2.3 检测模型消融试验分析

为了进一步验证本文所提出的不同模块的有效性，设计消融试验验证了TCN模块和优化后自注意力机制模块的有效性。如表2所示，本文进一步研究了模型中每个部分的影响，基于关联的标准始终优于广泛使用的重建标准。

具体来说，TCN模块在F1分数指标上显著提升了10.54%（0.8178→0.9232）。此外，自注意力机制的优化使得F1分数提升了12.02%（0.8178→0.9380），优于之前大部分较先进的模型（表1）。最后，本文提出的TCN-Transformer比纯Transformer高出13.08%（0.8178→0.9486），这些验证了本文设计的每个模块均是有效且必要的。

3 总结与展望

在尾矿坝安全管理中，在线监测数据的异常精确检测对于预防潜在的安全隐患至关重要。针对传统方法在复杂环境条件下对时序数据监测所展现出的精度不足，以及难以有效支撑安全管理决策等问题，本文提出了一种基于Transformer的改进TCN-Transformer异常检测模型。该模型首先通过引入TCN组件，替代传统Transformer模型中的绝对位置编码机制，成功捕获时间序列数据中复杂的长期依赖性，实现对全局时间序列信息的有效融合，从而提升了异常检测的精度。其次，对自注意力计算模块进行了结构优化，引入多分支架构，并融合极值（极大值与极小值）聚合策略，以提升模型对异常特征的捕捉能力。该设计促使重构误差与关联差异在检测过程中产生协同作用，从而共同提升了整体检测性能。试验结果表明，本文改进后的算法模型平均精度均值F1达到0.9486，较原模型实现了检测的有效性提升，对尾矿坝时序数据异常检测和安全管理具有重要意义。

尽管本研究所提方法在异常检测精度上得到显著提升，但仍存在进一步优化的空间。未来研究工作将聚焦于如何在保持高精度检测结果的同时，有效降低计算复杂度，提升检测效率。此外，笔者正在探索将尾矿坝安全评估模型融入现有框架的可能性，旨在构建一个集异常检测与安全评估于一体的综合系统，以更全面地保障矿区安全，为实际矿区工作场景提供更加坚实的技术支撑。

参考文献

[1] Bai S， Kolter J Z， Koltun V，2018.An empirical evaluation of generic convolutional and recurrent networks for sequence modeling［J］.arXiv：

[2] Dong K， Yang D W， Yan J H，et al，2022.Anomaly identification of monitoring data and safety evaluation method of tailings dam［J］.Frontiers in Earth Science，10：1016458.

[3] Hui S R， Charlebois L， Sun C，2018.Real-time monitoring for structural health，public safety，and risk management of mine tailings dams［J］.Canadian Journal of Earth Sciences，55（3）：221-229.

[4] Hundman K， Constantinou V， Laporte C，et al，2018.Detecting spacecraft anomalies using LSTMs and nonparametric dynamic thresholding［C］//Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York：ACM.

[5] Jeong Y， Yang E， Ryu J H，et al，2023.Anomalybert：self-supervised transformer for time series anomaly detection using data degradation scheme［J］.arXiv：

[6] Li S， Jin X， Xuan Y，et al，2019a.Enhancing the locality and breaking the memory bottleneck of transformer on time series forecasting［J］.Advances in Neural Information Processing Systems，32（7）：8-14.

[7] Li D， Chen D C， Jin B H，et al，2019b. MAD-GAN： multivaria-te anomaly detection for time series data with generative adversarial networks［C］//Artificial Neural Networks and Machine Learning-ICANN 2019：Text and Time Series.Cham：Springer.

[8] Manevitz L M， Yousef M，2001.One-class SVMs for document classification［J］.Journal of Machine Learning Research，2：139-154.

[9] Sarker I H，2021 Machine learning： algorithms， real-world applications and research directions［J］. SN Computer Science，2（3）：160.

[10] Su Y， Zhao Y J， Niu C H，et al，2019.Robust anomaly detection for multivariate time series through stochastic recurrent neural network［C］//Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining.New York：ACM.

[11] Tax D M J， Duin R P W，2004.Support vector data description［J］.Machine Learning，54（1）：45-66.

[12] Tuli S， Casale G， Jennings N R，2022.Tranad：deep transformer networks for anomaly detection in multivariate time series data［J］.arXiv：

[13] Wang H Z， Bah M J， Hammad M，2019.Progress in outlier detection techniques：a survey［J］.IEEE Access，7：107964-108000.

[14] Xu J， Wu H， Wang J，et al，2021.Anomaly transformer：time series anomaly detection with association discrepancy［J］.arXiv：2110.02642

[15] 戴剑勇，王雯雯，黄晓庆，2022.基于网络云模型的尾矿库溃坝安全评估［J］.安全与环境学报，22（1）：1-7.

[16] Dai Jianyong， Wang Wenwen， Huang Xiaoqing，2022.Safety assessment of tailings reservoir dam break based on network cloud model［J］.Journal of Safety and Environment，22（1）：1-7.

[17] 高鹏飞，2019.数据清洗技术在尾矿库监测系统中的应用研究［D］.西安：西安工业大学.Gao Pengfei，2019.Research on the application of data cleaning technology in tailings pond monitoring system［D］.Xi’an：Xi’an Technological University.

[18] 何黎，陈磊，纪莎莎，等，2023.基于K-shape聚类的连续液位监测数据异常检测方法［J］.中国给水排水，39（11）：56-61.

[19] He Li， Chen Lei， Ji Shasha，et al，2023.Abnormal detection of continuous water level monitoring data based on K-shape clustering［J］.China Water & Wastewater，39（11）：56-61.

[20] 李伟华，2019.水库健康监测大数据清洗方法研究［D］.泰安：山东农业大学. Li Weihua， 2019.Research on cleaning method of big data for reservoir health monitoring［D］.Tai’an：Shandong Agricultural University.

[21] 阮顺领，韩思淼，张宁宁，等，2023.基于CNN-aGRU融合模型的尾矿坝浸润线预测方法［J］.中国安全科学学报，33（）：119-127.

[22] Ruan Shunling， Han Simiao， Zhang Ningning，et al，2023.Prediction method of saturation line of tailings dam based on CNN-aGRU fusion model［J］.China Safety Science Journal，33（）：119-127.

[23] 石勇，史秀志，丁文智，2021.基于改进熵权法：未确知测度模型的黄金洞尾矿库综合安全评价［J］.黄金科学技术，29（1）：155-163.

[24] Shi Yong， Shi Xiuzhi， Ding Wenzhi，2021.Comprehensive safety evaluation of Huangjindong tailing pond based on improved entropy weight method-unascertained measure model［J］.Gold Science and Technology，29（1）：155-163.

[25] 王昆，杨鹏， Hudson-Edwards Karen，等，2018.尾矿库溃坝灾害防控现状及发展［J］.工程科学学报，40（5）：526-539.

[26] Wang Kun， Yang Peng， Hudson-Edwards K，et al，2018.Status and development for the prevention and management of tailings dam failure accidents［J］.Chinese Journal of Engineering，40（5）：526-539.

[27] 王鑫磊，2022.考虑相关性的尾矿库监测时间序列数据清洗方法研究［D］.阜新：辽宁工程技术大学.Wang Xinlei，2022.Research on time series data cleaning method for tailings pond monitoring considering correlation［D］.Fuxin：Liaoning Technical University.

[28] 易思成，康喜明，吴浩，等，2022.基于IF-CM-LOF的尾矿坝位移监测数据离群值诊断［J］.金属矿山，51（11）：208-215.

[29] Yi Sicheng， Kang Ximing， Wu Hao，et al，2022.Outlier diagnosis of tailings dam displacement monitoring data based on IF-CM-LOF［J］.Metal Mine，51（11）：208-215.

基金资助

国家自然科学基金面上项目“基于融合学习的湿排尾矿堆积坝时空演化及失稳预警模型研究”(52374160)