考虑注意力机制的新型深度学习模型预测滑坡位移

Landslide Displacement Prediction Based on a Deep Learning Model Considering the Attention Mechanism

摘要

现有的基于数据驱动的滑坡位移预测模型大多是基于时间序列数据的单点建模，不能考虑整个边坡的变形相关性和滑坡变形的全局建模.为了克服这一缺点，本研究提出了一种基于时空注意（spatial-temporal attention， STA）机制的深度学习模型，该模型将卷积神经网络（convolutional neural network， CNN）与长短时记忆（long short-term memory）神经网络相结合.通过CNN和卷积注意力模块提取滑坡位移的空间变形特征，利用时间注意机制和LSTM模型从外部因素的时间序列数据中捕获重要的历史信息.注意力机制输出的注意权重值可以揭示滑坡变形的时间‒空间特征.以三峡库区泡桐湾滑坡为例，对该模型的性能进行了验证.结果表明，STA-CNN-LSTM模型预测的均方根误差（RMSE）和平均绝对百分比误差（MAPE）与传统灰狼算法优化的支持向量机（GWO-SVM）模型相比分别下降了9.28%和13.88%.模型因子权重计算结果表明，在监测期内随着时间的推移，降雨对泡桐湾滑坡变形的影响逐渐增加，而库水位的影响逐渐减小.

关键词

滑坡 / 滑坡位移预测 / 深度学习 / 注意力机制 / 权重 / 三峡库区 / 工程地质

Key words

landslides / landslide displacement prediction / deep learning / attention mechanism / weight / Three Gorges reservoir / engineering geology

0 引言

滑坡是最为常见的自然灾害之一，每年都会造成大量的人员伤亡和财产损失（郑静，2006）.作为滑坡预警系统的一部分，地表位移监测对评价边坡稳定性和滑坡演化具有重要意义（Chen et al.，2005；Yin et al.，2010）.因此，准确的滑坡位移预测可以成为降低滑坡风险的有效工具.

在过去的几十年里，随着用于滑坡监测的高精度和高灵敏性传感器的开发，世界范围内建立了大量的滑坡监测系统（王志旺和李端有，2005）.这些监测设备收集的大量数据为分析滑坡变形特征和机理提供了必要的数据支持（Xia et al.，2013；Huang and Guo，2017）.Corsini and Mulas（2017）总结了目前提出的滑坡位移预测方法可分为三大类：确定性物理模型、统计模型和非线性模型.随着智能化方法的快速发展，地质大数据驱动的非线性模型在滑坡位移预测中得到了越来越多的关注.这些模型应用非线性方法来构建滑坡位移与外部触发因素之间的关系，例如，人工神经网络（ANN） （Guo et al.，2020a）、支持向量机（SVM） （徐峰等，2018）、极限学习机（ELM） （李骅锦等，2017）、速度倒数法（马海涛等，2021）和长短期记忆 （LSTM）神经网络（Xu and Niu，2018）.此外，一些研究者尝试基于时间序列理论对累积位移进行分解，并对每个位移分量进行预测后重构滑坡位移（Zhou et al.，2018）.此外，一些智能优化算法已被广泛应用于模型超参数进行优化，包括粒子群优化（PSO） （徐冲等，2011）、遗传算法（GA） （Li andKong， 2014）、灰狼优化（GWO） （Guo et al.， 2020b）等.

上述方法通常能够实现较好的预测效果.然而，滑坡的变形具有空间相关性，特别是大型滑坡，监测点的变形特征随空间位置的不同而变化.例如，由于三峡库区（TGRA）的周期性水位波动，许多滑坡从前缘开始重新激活（Yin et al.， 2016）.相反，有研究者发现，具有渐进破坏机制的滑坡，失稳区域主要位于中后缘附近（Miao et al.，2017）.由于滑坡的破坏机制复杂，很难准确捕获不同部位的变形相关性.此外，由于演化状态的不同，相似的外部环境条件可能会导致不同区域的变形行为不同.例如，黄达等（Huang et al.，2020）发现三峡库区藕塘滑坡后缘变形对降雨更为敏感，而滑坡前缘变形对水库水位波动更为敏感.这些发现暴露了一个问题，即单一监测点的位移预测结果是否可以用来揭示大规模滑坡变形的真实情况，并用于预警.仅有少数的研究（罗文强等，2016；Ma et al.，2021）考虑了边坡中不同点之间的相关性后开展了滑坡位移预测.相反，文献中大多数方法仅仅实现了单点建模，对滑坡的早期预警造成了一定的不确定性.常规的机器学习方法自身结构的局限性仅能实现输入与输出之间的映射，现实工程中输入与输出数据之间往往在时空方面无法具有的关联性，深度学习模型由于其特殊的网络结构往往可以考虑数据之间中的某些联系.为了克服这一缺点，本研究尝试提出一种混合模型，将卷积神经网络和长短期记忆结合起来，挖掘长期监测数据中的时间‒空间关系，对整体滑坡位移进行预测.

活动性滑坡通常表现为位移速度随外界诱发因素的变化（Corsini and Mulas， 2017）.在较长的监测期内，往往少数时期的诱发事件才会有导致滑坡的突然加速.水库水位的波动和降雨是我国三峡库区滑坡发生的关键因素（邓成进等，2015；Guo et al.，2020a， 2020b），在这两种因素联合作用下，该地区的滑坡位移时间序列普遍呈现出周期性加速的特征.然而，对这两个因素在滑坡变形中的量化和比较研究却很少.长期监测数据分析（尚敏等，2021）和不同工况下的数值模拟（宋琨等，2011）是揭示这一点的可能途径.然而，深度学习具有的“黑箱”性，很难解释诱发因素与滑坡变形机制之间的内部响应.为了解决这一问题，并改善非线性模型的物理可解释性，本研究引入了注意力机制.深度学习中的注意机制分配不同的权重来聚焦于重要特征（Ding et al.，2020；马欣悦等，2021），并在滑坡识别（吴琪等，2022）、风电预测（苏向敬等，2022）等任务中成功优化了原始的深度学习模型.因此，本文将上述新型深度学习方法运用到我国三峡库区具有阶梯状位移特征的大型滑坡之中，以期实现更加准确合理的滑坡位移预测.

1 考虑注意力机制的深度学习模型

1.1　STA-CNN-LSTM建模流程及模型结构

本研究提出了一种新型的基于时空注意力机制的STA-CNN-LSTM模型，用于大规模滑坡位移预测，具体的建模步骤如下：首先将影响滑坡位移的不同因素分为两类输入数据，第一类为反映滑坡整体演化状态的空间变形数据，滑坡的变形数据由位于滑坡体上各位移监测点记录.第二类数据为影响滑坡变形的外部因素，对于库岸边坡降雨以及库水位的大幅波动是影响边坡变形的主要外部因素.同时外部因素作用于滑坡时通常具有时间效应.因此本文提出了综合考虑滑坡演化状态与外部影响因素作用的滑坡位移预测模型.然后基于两类数据的不同形式（空间形式、时间形式）分别采用了两种深度模型的耦合：卷积神经网络（CNN）提取空间位移数据的相关性，长短期记忆神经网路（LSTM）提取外部环境因子的时序特征.此外针对这两种深度学习网络引入时空注意力机制，其作用在于能够从不同的方面反映滑坡变形的时空特征并揭示重要触发因子，从而使得预测模型在物理上具有可解释性.具体地将卷积神经网络（CNN）与长短时记忆（LSTM）神经网络相结合建立模型.图1为所提基于时空注意力机制的STA-CNN-LSTM滑坡变形预测模型的结构.基于两种类型的输入数据（时间和空间方面），模型包含两个模块，即空间模块和时间模块.两个模块并行处理不同类型的滑坡数据.

空间模块通过CNN网络中的卷积层和池化层可以分析各位移监测点之间的变形差异，局部变形之间的空间相关性，从而提取滑坡空间变形特征以反映滑坡的演化状态.以整个位移监测系统中各点的位移、速度、加速度等监测信息作为该滑坡位移监测点的变形特征，并按照位移监测点的空间分布处理为不同通道的数据输入到空间模块中，具体的变形数据输入方式将在下节中介绍.此外，对滑坡的变形行为有重要影响的外部因素（如降雨、水库水位、地震等）作为时间模块的输入，并采用基于LSTM神经网络的时间模块对这些因素的时间序列进行处理.时间模块的输入数据是各外部影响因素的时间序列数据，具有时间依赖特征的关键要素作为时间模块的输出.最后，滑坡整体的变形特征将结合滑坡外部因素的时间序列用于整个滑坡位移监测点的变形预测，结果由全连接层输出.每个模块的详细信息将在下面的章节中描述.

1.2　空间模块

1.2.1　卷积神经网络（CNN）

（1）输入数据. 卷积神经网络是一种前馈式神经网络，主要用于处理欧氏空间中的数据（Hakim et al.，2022）.当涉及处理彩色数字图像时（图2a），数据存储在像素中，并由三个通道（红、绿、蓝）中的度值（0到255）表示.本文监测点的空间数据输入不同于彩色数字图像.对于滑坡监测系统（图2b），变形信息是由监测点记录的，监测点对应像素点的位置，不同类型的变形数据（位移、速度和加速度）对应不同的通道.因此，对于CNN模型的输入，监测点的变形数据将被处理为三通道“图像”.

（2）数学原理.与其他神经网络相比，CNN模型包含的卷积和池化操作可以通过整合不同监测点的变形信息来提取空间特征.一个典型的CNN模型包括3层，即卷积层、池化层和全连接层.在卷积层上，输出特征矩阵 M 是通过在输入特征 F 上移动滤波器来执行卷积操作产生的.池化操作通常在卷积层之后，特征 M 的相邻元素由最大池化、平均池化或其他操作整合.卷积计算方式如下：

{\mathit{m}}_{i,j} = \sum _c \sum \mathit{k}•{\mathit{f}}_{i,j},(1)

其中 m 是矩阵 M 中的一个元素，∑表示着矩阵元素的总和，c是 F 的通道数， {\mathit{f}}_{i,j}为 F 的子矩阵，大小与滤波器相同，i， j分别为滤波器k的行、列移动步数.

当滤波器在输入特征上移动时， 滤波器重复作用于输入特征图上的不同子矩阵 f _i，j .这是CNN的参数共享机制，可以减少参数的数量和模型的复杂性.卷积和池化是矩阵数据的特殊数学运算，因此CNN在局部空间特征提取方面具有优势.

1.2.2　卷积注意力模块（CBAM）

注意力机制能够模仿人类大脑选择性处理信息的特性，它可以关注于显著信息，从大量输入中过滤掉不需要的信息.选择机制通常是通过自适应的权重分配操作来实现的，该操作将较大的权重分配给重要信息，将较低权重分配给不相关信息.在本研究中，该机制被用于构建卷积注意力模块（CBAM） （Woo and Park，2018）.

CBAM是一个轻量级但有效的模块，结合了通道和空间注意力组件.CNN输出的特征图可以表示为图3中的特征 X， CBAM在学习过程中将确定哪个通道和位置信息更有意义.对于原始的特征 \mathit{X} \in {\mathit{R}}^{C\times H\times W}， CBAM可以依次推断出通道特性图 {\mathit{X}}_c \in {\mathit{R}}^{C\times H\times W}和空间特征图 {\mathit{X}}_s \in {\mathit{R}}^{C\times H\times W}（图3）.在注意力处理的过程中，原始特征的大小没有变化，详细的特征图可以表示为：

{\mathit{X}}_c = {\mathit{A}}_c ( \mathit{X} ) \otimes \mathit{X},(2)

{\mathit{X}}^{\mathrm{\text{'}}} = {\mathit{A}}_s ( {\mathit{X}}_c ) \otimes {\mathit{X}}_c,(3)

其中 \otimes表示矩阵相乘， X _c 为通道注意力结果， X '为CBAM最终改进的特征. A _c 为通道注意力权重， A _s 为空间注意力权重.

通道注意力通过增加有效通道的权重，减少无用通道信息的权重，对特征图的不同通道进行差异化关注.对于原始的特征图 \mathit{X} \in {\mathit{R}}^{C\times H\times W}，平均池化和最大池化用于整合每个通道中的空间信息，可以表示为：

\mathit{A} = A v g P o o l ( \mathit{X} ),(4)

\mathit{M} = M a x P o o l ( \mathit{X} ),(5)

然后， A 和 M 通过一个由多层感知器（MLP）组成的共享权值网络.然后，将输出向量元素求和，得到最终的通道权重，由：

\begin{array}{l}{\mathit{A}}_c=\sigma (MLP(AvgPool(\mathit{X}))+MLP(MaxPool(\mathit{X})))\\ =\sigma (MLP(\mathit{A})+MLP(\mathit{M}))\end{array},(6)

式中 A _c 为通道注意力权重，σ为sigmoid激活函数. A _c∈ R ^C×1×1 的深度C与原始特征图 F 的通道数相同，因此 A _c 的每个位置赋予一个权值对应于原始特征图的通道.

对于通道特征图 X _c∈ R ^C×H×W，在通道维上采用平均池化和最大池化操作并进行.然后，整合两个池化操作之后的特征，并通过一个标准的卷积层.可以生成空间注意权值，归纳如下：

{\mathit{A}}_{\mathrm{s}} = \sigma ( f^{\mathrm{7}\times \mathrm{7}} ( [ A v g P o o l ( \mathit{X} ) : M a x P o o l ( \mathit{X} ) ] ) ),(7)

式中，σ为sigmoid激活函数， f ^7×7为卷积层，卷积核大小为7×7.

1.3　时间模块

1.3.1　长短时记忆（LSTM）

长期短期记忆（LSTM）（Hochreiter and Schmidhuber，1997）神经网络是循环神经网络（RNN）的一个分支.与人工神经网络（ANN）相比，RNN在隐藏层之间增加了一个状态体来存储信息，因此RNN可以从时间序列输入的数据中学习相关信息.在LSTM的结构中，状态体被一个自循环记忆块所取代，该记忆块由输入门、遗忘门、输出门和记忆单元组成，为LSTM提供长期记忆和遗忘功能.遗忘门决定了有多少历史信息可以存储在记忆单元中，输入门决定多少信息可以保存在当前时刻的记忆单元里，输出门的作用是将LSTM中当前的单元状态转换为下一个单元状态.LSTM模型的门操作和单元状态可以用式（8）~式（13）表示如下：

i_t = \sigma ( {\mathit{w}}_{xi} x_t + {\mathit{w}}_{hi} h_{t-\mathrm{1}} + b_i ),(8)

f_t = \sigma ( {\mathit{w}}_{xf} x_t + {\mathit{w}}_{hf} h_{t-\mathrm{1}} + b_f ),(9)

o_t = \sigma ( {\mathit{w}}_{xo} x_t + {\mathit{w}}_{ho} h_{t-\mathrm{1}} + b_o ),(10)

g_t = \mathrm{t} \mathrm{a} \mathrm{n} h \left({\mathit{w}}_{xc}{x}_t+{\mathit{w}}_{hc}{h}_{t-\mathrm{1}}+b_c\right),(11)

c_t = f_t \cdot c_{t-\mathrm{1}} + i_t \cdot g_t,(12)

h_t = o_t \cdot \mathrm{t} \mathrm{a} \mathrm{n} h \left(c_t\right),(13)

其中，i_t 、 f_t 、 o_t和 c_t 分别是输入门、遗忘门、输出门和存储单元的四个输出； b _i 、 b _f、 b _o 和 b _c是它们对应的偏置向量. w _xi 、 w _xf、 w _xo 、 w _xc和 w _hi 、 w _hf、 w _ho 、 w _hc是前面提到的三个门和存储单元的输入矩阵和隐藏矩阵.σ为sigmoid函数，tanh为双曲正切函数.

1.3.2　时间注意模块

（1）因子注意机制. 在时间模块中，以环境变量作为输入数据，对时间信息进行编码，并通过因子和时间注意力改进LSTM模型.具体来说，因子注意力机制在单个时间步中将权值动态分配给不同的环境因子（Liu et al.，2019），时间注意机制将权值分配给每个时间步的隐藏状态.通过采用这两种注意机制，时间模块可以动态调整注意力权重，并充分利用环境变量（Ren et al.，2021）.

时间序列数据 X = （ X ₁， X ₂， ⋯， X _T ） =（ X ¹， X ²，⋯， X ^M ） ^T ∈ R ^{T × M}，其中T表示时间步长数，M表示特征数.在滑坡位移预测的任务中，环境因素通常包括降雨、水库水位以及水库水位的变化.在时间步t中，第k个特征矩阵 X^K = （ x_{\mathrm{1}}^k , x_{\mathrm{2}}^k , . . . , x_T^k）作为输入，该因子在t时刻的注意权值 e_t^k可按如下方法计算：

{\mathit{e}}_t^k = {\mathit{v}}_f^T {\sigma }_c \left({\mathit{W}}_f\left[h_{t-\mathrm{1}};c_{t-\mathrm{1}}\right]+{\mathit{U}}_f{x}^k+{\mathit{b}}_f\right),(14)

其中 V _f ∈ R ^T， W _f ∈ R ^T×2p， U _f ∈ R ^T×T 为MLP的权值矩阵； b _f ∈ R ^T 为相应的偏置；h_t-1 ∈ R ^p 和 c_t-1 ∈ R ^p 是前一时刻的隐藏状态和单元状态；

t时刻LSTM单元的加权输入矩阵、隐藏状态和单元状态的更新如下：

{\alpha }_t^i = {\sigma }_s \left(e_t^i\right)， i=1,2,…M, (15)

{\tilde{x}}_t = ( {\alpha }_t^{\mathrm{1}} x_t^{\mathrm{1}} , {\alpha }_t^{\mathrm{2}} x_t^{\mathrm{2}} , . . . , {\alpha }_t^M x_t^M ),(16)

h_t , c_t = f ( {\tilde{x}}_t , h_{t-\mathrm{1}} , c_{t-\mathrm{1}} ),(17)

其中σ_s 是softmax函数；f是一个LSTM单元，可以根据公式（8）~式（13）计算.

（2）时间注意力机制. 在原始LSTM中添加了一个时间注意力机制，用于在整个记忆周期中选择隐藏状态.图4简要地展示了时间注意的过程.首先，在输入数据为不同时间步上LSTM 单元隐藏状态，通过全连接神经网络处理并输出时间注意权值；在每个时间步长上，将时间注意权重分配给隐藏状态.时间注意力机制的权重分配方式和最终输出如下所示：

H = [ h_{\mathrm{1}} , h_{\mathrm{2}} , . . . , h_k {]}_{k\times s},(18)

\beta = \mathrm{s} \mathrm{o} \mathrm{f} \mathrm{t} \mathrm{m} \mathrm{a} \mathrm{x} ( A_t ( H ) ) = [ {\beta }_{\mathrm{1}} , {\beta }_{\mathrm{2}} , . . . , {\beta }_k {]}_{\mathrm{1}\times k},(19)

h^{at} = {\displaystyle \sum _{i=\mathrm{1}}^k} {\beta }_i{h}_i,(20)

其中h_k 是第k步中LSTM单元的隐藏状态，s是每个隐藏状态的大小.A_t 是全连接神经网络，h^at 是LSTM单元的最终输出.

1.4　模型性能评价

通过均方根误差（RMSE）和平均绝对百分比误差（MAPE）两个标准来评估该模型的性能.它们通常用于回归模型中，以评估预测值和实际值之间的准确性.RMSE和MAPE值越低，模型结果的性能越好.对应的表达式如下：

\mathrm{R} \mathrm{M} \mathrm{S} \mathrm{E} = \sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}(s_i{-\widehat{s_i})}^{\mathrm{2}}},(21)

\mathrm{M} \mathrm{A} \mathrm{P} \mathrm{E} = \frac{\mathrm{1}}{n} {\displaystyle \sum _{i=\mathrm{1}}^n} \left|\frac{s_{i-}\widehat{s_i}}{s_i}\right| \times \mathrm{100} \mathrm{\%},(22)

s_i 和 \widehat{s_i}分别代表监测值和预测值，n是预测值的数量.

2 模型应用

2.1　研究区概况

泡桐湾滑坡位于重庆市巫山县，位于长江支流大溪河东侧.该地区的年平均降雨量和气温分别为1 000~1 400 mm和16.4 ℃.降水事件一般集中在5月至9月的雨季，这段时间的累积降雨量可达全年累积降雨量的70%.此外，为了防洪和发电，水库水位在一个水文年内呈现周期性波动.从11月到次年1月，水位保持在最高水位175 m左右，然后从1月到6月，水库水位开始下降到145 m，该水位保持大约3个月，直到9月.最后，水库水位在9月至11月期间上升至175 m的最高水位（Guo et al.，2020a， 2020b）.

2.2　泡桐湾滑坡

2.2.1　地质环境

如图5所示，泡桐湾滑坡的长度和宽度分别为310 m和350 m，总面积为10.85×10⁴ m²，总体积为3.25×10⁶ m³.滑体主要由粉质粘土和石英砂岩砾石组成，厚度为20~40 m，平均表面坡度为25°（图6）.砾石约占总体积的66%~71%，主要尺寸在10~ 50 cm.滑坡滑动方向主要为240°，面向大溪河.滑动面的轮廓是凹的.基岩为中三叠统巴东组（T₂ b），主要由互层粉砂岩和砂质泥岩组成.

2.2.2　时空变形特征

泡桐湾滑坡的变形始于1998年雨季，并于2006年9月实施GPS监测系统，以监测滑坡的动态演化过程.如图5所示，6个GPS监测站位于滑动体上.滑坡不同区域的GPS监测点提供了如图7中详述的变形数据.它清楚地显示了相似的位移时间序列曲线，表明滑坡整体变形一致.具体而言，滑坡南部I-I’剖面周围GPS站测得的累积位移数据显示变形最大，两点（WS01和WS02）的平均位移为251.5 mm.WS03与WS04在滑坡中部累积位移相似，累积位移约为200 mm，平均速度约为2.38 mm/月.记录数据表明，滑坡北部变形最小，两点（WS05和WS06）累积位移均小于170 mm.综上所述，滑坡从北向南的变形速度加快.对于同一剖面，大溪河附近滑坡前缘的WS02、WS04和WS06（海拔为180~195 m）的变形均大于位于坡冠附近的点（WS01、WS03和WS05）.可以解释为滑坡前缘被河流侵蚀，坡脚被削弱，加速了滑坡的变形.总的来说，泡桐湾滑坡的变形表现出缓慢蠕变的特征.监测点总位移范围为157~ 280 mm，平均速度为1.92 ~3.43 mm/月.该滑坡也出现了缓慢变形和加速变形交替发生的现象.加速事件分别发生在2007年、2008年、2009年和2012年的5~9月.其中，4个加速事件的完成时间为12个月（选取整个监测周期为75个月），但增加的数值约占观测总位移的60%~80%.因此，水库水位和降雨对滑坡变形的时空特征均有较大影响.

2.3　建模步骤

首先，根据监测点的空间分布生成特征矩阵 X _s 作为空间模块的输入数据，矩阵中的每个元素代表一个监测点.对于泡桐湾滑坡，特征矩阵 X _s 为一个三行两列矩阵，存储了整个监测系统的空间变形特征.由于位移监测点均匀地分布在整个滑坡体上，因此具有较少空间点的特征矩阵X_s 仍能够较好地反映滑坡变形的空间特征.在X_s 的每个元素中，分别记录了3个变形信息：累计位移、速度和加速度.最终，我们将降雨、水库水位和水库水位波动作为时间模块的输入（Li and Wu，2021； 张凯等，2021），这是参考了前人的一些研究，他们利用类似的因子进行滑坡位移预测的建模并获得了不错的效果.

根据泡桐湾滑坡的实测数据，以2007年1月至2012年3月的监测数据作为训练样本，以2012年4月至2013年3月的数据对模型的性能进行验证.然后，使用标准化函数分别对训练样本和测试样本进行标准化，可计算为：

x^{\mathrm{\text{'}}} = \frac{x-u}{\sigma }，(23)

其中x为原始值，u和σ为所选数据集的均值和方差.

所有模型均采用PyTorch 1.9.0和python 3.6进行编码，并在个人计算机（CPU：AMD Ryzen 5 2400G 3.6 GHz，8 GB）上实现，其中参数通过迭代法确定.此外，采用自适应矩估计算法（Adam）优化神经网络各层之间的权值，损失函数为RMSE.初始学习率为0.018，每30次迭代后学习率衰减0.8.在空间模块中，第一卷积层的过滤器数为32，内核大小为（1，2），第二卷积层的过滤器数为64，内核为（2，2）；时间模块中，LSTM层数为2，隐藏层数为64；迭代数为100.为了避免训练过程中的过度拟合，在某些层中设置了0.3的掉落率.

3 结果及分析

3.1　模型的预测结果和性能评估

按照2.1节所述的流程进行了泡桐湾滑坡的位移预测，选取了来自3个不同剖面的四个监测点进行结果的展示.图8显示了从STA-CNN-LSTM模型获得的部分监测点的预测值和观测值以及它们之间的残值.结果表明，泡桐湾滑坡的预测结果与实测结果基本吻合，表明该模型具有较好的预测效果.4个点预测值和观测值之间的平均残差值分别为6.45 mm（WS01）、7.93 mm（WS02）、9.02 mm（WS04）和13.21 mm（WS05）.然后，利用2.4节提出的两个指标验证了模型的准确性.计算结果显示泡桐湾滑坡各点预测位移和实际观测值之间的平均RMSE和MAPE值分别为12.61 mm和4.90%.鉴于这些监测点的总位移相当大，这样的精度表明模型预测的位移与测量值吻合良好.

3.2　空间和时间注意模块的结果

如上一节所述，注意机制可以通过不同的权重分布明确揭示数据的重要性.因此，本节将空间注意力模块和时间注意力模块中的注意力权重结果可视化，以显示不同数据对滑坡变形的重要性.

3.2.1　空间注意力权重

在空间模块中，不同变形特征在输入到CBAM之前通过CNN中的卷积操作相互融合以获得更多更高级的滑坡变形特征，因此分析通道注意力的权重很难给出其具体的物理意义.本节将重点强调滑坡的空间权重，并给出其相应的物理解释.在滑坡的测试样本中从空间模块的最后一层的卷积层中提取空间注意权重.空间注意力权重用于反映滑坡监测点不同空间位置所具有的变形特征（包括：累计位移、速度和加速度）对于最终滑坡位移预测结果的贡献.如图9所示，将权重按照空间位置重新插值以揭示滑坡不同位置对滑坡变形预测的重要性.对于泡桐湾滑坡，所有监测点的权重分布大致相似，从0.11（WS01）到0.26（WS02）.其中由于滑坡后缘的变形普遍大于滑坡体前缘，因此监测点WS02和WS04的空间权重较高，此外WS05的权重大于WS06的原因可能在于WS05的位移曲线波动较WS06大，测试集上前者的变形加速度为9.93 mm，后者为6.26 mm，因此WS05获得了更大的空间注意力权重.总的来说滑坡的权重分布与空间变形特征吻合较好，表明该模型合理地考虑了不同监测点之间的空间相关性来预测位移.

3.2.2　因素注意力权重

图10显示了从泡桐湾滑坡的不同时间步中提取的因素注意力权重分布.对于泡桐湾滑坡，3个外部因素的权重范围为0.1至0.55（权重之和为1），表明所提模型并未忽略任何导致滑坡变形的输入因素.从该图中还可以看出，外部因子权重对位移预测的影响不是恒定的，而是在一个水文年里呈现动态的周期变化.不同外部条件下的因素权重动态过程表明，因子注意力模块可以在不同外部条件下分配不同的注意力到不同的输入因子.此外，因子权重拟合线显示，监测期内，水库水位的影响从0.474减小到0.334，而降雨的影响从0.376增大到0.478.这说明水库水位是滑坡监测早期的主要变形影响因素，而降雨在监测期末期时对滑坡变形有显著贡献.

此外，因子权重在一个水文年中表现出相似的波动.库水位权重在10月份达到最大值0.5左右，然后在第二年的4月份下降到0.3左右，如图中红色方框中展示的.从7月到第二年的1月，降雨的权重则从0.3增长到0.55，如图中黑色方框所示.在雨季降雨量的权重较低可能是由于位移对于降雨的响应存在滞后效应，另一方面三峡库区的处于低水位的运作模式，这样的水位运作对于边坡的稳定是不利的，因此库水位的权重值增加较大而降雨的权重减小.旱季水库水位处于高位运行，此时库水位对于滑坡稳定性影响较小，旱季虽然降雨较少却仍可能触发较大的滑坡位移（宋琨等，2022），因此在旱季降雨的权重有所增加.此外，从图10中可以看出在监测初期的雨季，水库水位是变形主要影响因素，但在监测末期，水库水位和降雨量表现出相似的权重（0.4）.综上所述，对于泡桐湾滑坡而言，降雨是变形的主要诱发因素，但在雨季，水库水位影响增大并且权重与降雨权重相近.

3.2.3　时间注意权重

图11显示了经过训练的SAT-CNN-LSTM模型在测试集样本上的时间注意权重的可视化结果，具体的时间权重计算如上述2.3节所示，并能反映不同的前期数据对于当前预测结果的影响.结合统计分析，时间权重总体上随着时间点从t-12到t-1逐渐增加，如测试集不同时间点上的时间权重平均值从t-12的0.071增长到t-1时刻的0.103.这表明模型更关注最近几个月的数据，而长期历史数据对模型输出的影响较小.此外，考虑降雨和库水位，当输入数据呈现强降雨和降低水库水位时对应输入数据为每年的5-9月份，此期间的时间权重平均值为0.088，其余月份的时间权重均值为0.080，表明时间注意力模块能够依据不同时刻的输入数据的重要性来分配不同的时间权重，这与滑坡位移观测结果具有一致性.总的来说，考虑不同输入时刻和不同输入因素对时间权重的影响得到的计算结果较为合理.

4 讨论

4.1　不同位移预测模型的比较

为了进一步评估所提模型的性能，本文还使用支持向量机（SVM）（Cortes and Vapnik，1995）和CNN-LSTM模型预测4个监测点的位移，以便与STA-CNN-LSTM模型的预测结果进行比较.SVM是一种单点预测模型，因此针对每个点对其进行训练，并应用GWO方法（Mirjalilis et al.，2014）优化模型参数.与本文提出的模型相比，CNN-LSTM模型缺乏注意模块，无法自适应地选择强影响因素，降低了信息利用效率.此外，还采用了一种新的CNN-LSTM模型1CNN-LSTM，将CNN模型中的所有内核大小设置为1，这意味着该模型无法提取局部空间相关性，只能拟合层间的非线性关系.

表1给出了4种不同模型预测结果的定量评价指标.与单点建模模型（GWO-SVM）相比，多点建模方法（CNN-LSTM、1CNN-LSTM、STA-CNN-LSTM）能够达到相近的预测精度，并在某些点上得到了具有竞争力的预测精度.具体来说，CNN-LSTM和STA-CNN-LSTM模型精度相对较高，且STA-CNN-LSTM模型略优于CNN-LSTM模型.1CNN-LSTM模型和GWO-SVM模型的预测精度相近但落后于前两种模型.与GWO-SVM相比STA-CNN-LSTM的平均RMSE和MAPE分别降低了9.28%和13.88%.图12为4种不同模型对部分滑坡点的预测结果.4种模型对监测位移的预测趋势基本一致.而GWO-SVM模型与监测位移相比，误差和波动均大于其他3种模型.训练不同位移预测模型的时间消耗表明，1CNN-LSTM （6.87 s）和CNN-LSTM（6.80 s）的训练时间最短.基于注意力的STA-CNN-LSTM模型的训练时间（8.28 s）相较无注意力机制的CNN-LSTM增加了21.76%.此外，虽然GWO-SVM模型的单点训练时间（4.66 s）低于STA-CNN-LSTM模型，但考虑到完成整个监测网6个点的位移预测，GWO-SVM模型总的耗时（27.97 s）增加了数倍.

在CNN-LSTM模型的结构中，CNN模型考虑了边坡变形的空间相关性，在时间模块中考虑了外部环境因子的时间效应.CNN模型中相邻空间点信息在较浅的神经网络中提取，随着层深度的增加，模型可以学习整个边坡的全局相关性.LSTM模型能够连接不同时间步之间的信息，但是只能学习单个监测点的变形规则.因此，本文提出的多点建模方法通过时空模块可以有效地整合时空信息，提高不同信息的利用效果.虽然1CNN-LSTM模型与CNN-LSTM模型具有相似的结构，但大小为1的卷积核限制了空间特征的提取.因此，1CNN-LSTM模型很难学习整个边坡变形的空间变化特征，它仍然是一个时间模型.而GWO-SVM模型是一个静态模型，不能捕捉到时变和空间变化的特征仅能实现单点建模.

4.2　模型适用性及局限

三峡地区长期受库水波动以及季节性强降雨严重影响了库岸边坡的稳定性，其中具有潜在破坏性的边坡已经实施了长期的专业监测，本文所提模型可在结合滑坡长期位移监测数据的基础上实现滑坡位移的有效预测.本文所提STA-CNN-LSTM模型能够结合滑坡自身变形演化状态以及外部环境因素能够实现多个滑坡位移监测点的位移预测，适用于受外部触发条件影响的慢速大规模滑坡的位移预测.相较传统的建模方法，本模型可以通过训练一个模型达到实现多点位移预测.然而，STA-CNN-LSTM空间模块中采用CNN网络提取变形的空间相关性，这要求输入数据具有严格的欧氏空间特征.由于实际滑坡变形的特点，一些滑坡位移监测站的空间分布不规则，这将增加变形信息提取的难度.因此，提高空间信息提取的灵活性将是我们今后的工作.此外，从预测结果上看对于泡桐湾滑坡，6个预测点的RMSE范围为9.06至16.17 mm，MAPE范围为2.88至6.90.虽然多点建模方法可以获得整个边坡的变形趋势，但不同点的预测结果表现出较大的差异.然而同一边坡上不同点之间的预测误差较大，可能导致防灾决策失误.

5 结论

将滑坡不同空间演化状态和外部环境的时序因素相结合提出了一种考虑注意力的深度学习多点建模方法，其中CNN网络提取滑坡变形的空间特征，LSTM网络提取外部因素的时序关系.该模型（STA-CNN-LSTM）应用于三峡库区泡桐湾滑坡整个监测网的位移预测.计算结果表明，本文提出的预测方法与传统的GWO-SVM模型（单点建模方法）相比，平均预测误差RMSE降低了9.28%， MAPE降低了13.88%，因此具有更高的精度.此外，模型各链接层间的注意力权重能够解释影响滑坡变形的诱发因素的重要性.对于泡桐湾滑坡，水库水位在监测早期是主要的位移影响因素，而降雨的权重在监测期的后半段增加.时间注意模块将更多的权重分配给最近的输入因素，并且在水库水位较低和雨季的时间输入上时间注意力权重有一定的增加.

参考文献

[1] Chen, C.Y., Chen, T.C.C., Yu, W.H., et al., 2005. Rainfall Duration and Debris-Flow Initiated Studies for Real-Time Monitoring. Environmental Geology, 47(5): 715-724. https://doi.org/10.1007/s00254-004-1203-0

[2] Corsini, A., Mulas, M., 2017. Use of ROC Curves for Early Warning of Landslide Displacement Rates in Response to Precipitation (Piagneto Landslide, Northern Apennines, Italy). Landslides, 14(3): 1241-1252. https://doi.org/10.1007/s10346-016-0781-8

[3] Cortes, C., Vapnik, V., 1995. Support-Vector Networks. Machine Learning, 20(3): 273-297. https://doi.org/10.1007/BF00994018

[4] Deng, C.J., Wang, K.W., Yuan, Q.S., et al., 2015. Stability of Reservoir Slope under Repetitive Variation of Reservoir Water Level. Journal of Yangtze River Scientific Research Institute, 32(4): 96-100 (in Chinese with English abstract).

[5] Ding, Y. K., Zhu, Y. L., Feng, J., et al., 2020. Interpretable Spatio-Temporal Attention LSTM Model for Flood Forecasting. Neurocomputing, 403: 348-359. https://doi.org/10.1016/j.neucom.2020.04.110

[6] Guo, Z. Z., Chen, L. X., Gui, L., et al., 2020a. Landslide Displacement Prediction Based on Variational Mode Decomposition and WA-GWO-BP Model. Landslides, 17(3): 567-583. https://doi.org/10.1007/s10346-019-01314-4

[7] Guo, Z. Z., Chen, L. X., Yin, K. L., et al., 2020b. Quantitative Risk Assessment of Slow-Moving Landslides from the Viewpoint of Decision-Making: A Case Study of the Three Gorges Reservoir in China. Engineering Geology, 273: 105667. https://doi.org/10.1016/j.enggeo.2020.105667

[8] Hakim, W. L., Rezaie, F., Nur, A. S., et al., 2022. Convolutional Neural Network (CNN) with Metaheuristic Optimization Algorithms for Landslide Susceptibility Mapping in Icheon, South Korea. Journal of Environmental Management, 305: 114367. https://doi.org/10.1016/j.jenvman.2021.114367

[9] Hochreiter, S., Schmidhuber, J., 1997. Long Short-Term Memory. Neural Computation, 9(8): 1735-1780. https://doi.org/10.1162/neco.1997.9.8.1735

[10] Huang, D., Gu, D. M., 2017. Influence of Filling- Drawdown Cycles of the Three Gorges Reservoir on Deformation and Failure Behaviors of Anaclinal Rock Slopes in the Wu Gorge. Geomorphology, 295: 489-506. https://doi.org/10.1016/j.geomorph.2017.07.028

[11] Huang, D., Luo, S. L., Zhong, Z., et al., 2020. Analysis and Modeling of the Combined Effects of Hydrological Factors on a Reservoir Bank Slope in the Three Gorges Reservoir Area, China. Engineering Geology, 279: 105858. https://doi.org/10.1016/j.enggeo.2020.105858

[12] Li, S. H., Wu, N., 2021. A New Grey Prediction Model and Its Application in Landslide Displacement Prediction. Chaos, Solitons & Fractals, 147: 110969. https://doi.org/10.1016/j.chaos.2021.110969

[13] Li, X. Z., Kong, J. M., 2014. Application of GA-SVM Method with Parameter Optimization for Landslide Development Prediction. Natural Hazards and Earth System Sciences, 14(3): 525-533. https://doi.org/10.5194/nhess-14-525-2014

[14] Li, Y. J., Xu, Q., He, Y.S., et al., 2017. An ARMA-(LASSO-ELM)-Copula Framework for Landslide Displacement Prediction and Threshold Computing of the Displacement of Step-Like Landslides. Chinese Journal of Rock Mechanics and Engineering, 36(S2): 4075-4084 (in Chinese with English abstract).

[15] Liu, Y. Q., Zhang, Q., Song, L. H., et al., 2019. Attention-Based Recurrent Neural Networks for Accurate Short-Term and Long-Term Dissolved Oxygen Prediction. Computers and Electronics in Agriculture, 165: 104964. https://doi.org/10.1016/j.compag.2019.104964

[16] Luo, W.Q., Ji, Y.L., Wang, C.Y., et al., 2016. Research on Seemingly Unrelated Regressions Model of Landslide Displacement Prediction of Multiple Monitoring Points. Chinese Journal of Rock Mechanics and Engineering, 35(S1): 3051-3056 (in Chinese with English abstract).

[17] Ma, H.T., Zhang, Y.H., Yu, Z.X., 2021. Research on the Identification of Acceleration Starting Point in Inverse Velocity Method and the Prediction of Sliding Time. Chinese Journal of Rock Mechanics and Engineering, 40(2): 355-364 (in Chinese with English abstract).

[18] Ma, X.Y., Wang, L.M., Qi, K.L., et al., 2021. Remote Sensing Image Scene Classification Method Based on Multi-Scale Cyclic Attention Network. Earth Science, 46(10): 3740-3752 (in Chinese with English abstract).

[19] Ma, Z. J., Mei, G., Prezioso, E., et al., 2021. A Deep Learning Approach Using Graph Convolutional Networks for Slope Deformation Prediction Based on Time-Series Displacement Data. Neural Computing and Applications, 33(21): 14441-14457. https://doi.org/10.1007/s00521-021-06084-6

[20] Miao, F. S., Wu, Y. P., Xie, Y. H., et al., 2017. Research on Progressive Failure Process of Baishuihe Landslide Based on Monte Carlo Model. Stochastic Environmental Research and Risk Assessment, 31(7): 1683-1696. https://doi.org/10.1007/s00477-016-1224-8

[21] Mirjalili, S., Mirjalili, S. M., Lewis, A., 2014. Grey Wolf Optimizer. Advances in Engineering Software, 69: 46-61. https://doi.org/10.1016/j.advengsoft.2013.12.007

[22] Ren, Q. B., Li, M. C., Li, H., et al., 2021. A Novel Deep Learning Prediction Model for Concrete Dam Displacements Using Interpretable Mixed Attention Mechanism. Advanced Engineering Informatics, 50: 101407. https://doi.org/10.1016/j.aei.2021.101407

[23] Shang, M., Liao, F., Ma, R., et al., 2021. Quantitative Correlation Analysis on Deformation of Baijiabao Landslide between Rainfall and Reservoir Water Level. Journal of Engineering Geology, 29(3): 742-750 (in Chinese with English abstract).

[24] Song, K., Chen, L.Y., Liu, Y.L., et al., 2022. Dynamic Mechanism of Rain Infiltration in Deep-Seated Landslide Reactivate Deformation. Earth Science, 47(10): 3665-3676 (in Chinese with English abstract).

[25] Song, K., Yan, E.C., Zhu, D.P., et al., 2011. Base on Permeability of Landslide and Reservoir Water Change to Research Variational Regularity of Landslide Stability. Rock and Soil Mechanics, 32(9): 2798-2802 (in Chinese with English abstract).

[26] Su, X.J., Zhou, W.X., Li, C.J., et al., 2022. Interpretable Offshore Wind Power Output Forecasting Based on Long Short-Term Memory Neural Network with Dual-Stage Attention. Automation of Electric Power Systems, 46(7): 141-151 (in Chinese with English abstract).

[27] Wang, Z.W., Li, D.Y., 2005. Application of 3S Technology in Landslide Monitoring. Journal of Yangtze River Scientific Research Institute, 22(5): 33-36 (in Chinese with English abstract).

[28] Woo, S., Park, J., 2018. CBAM: Convolutional Block Attention Module.Proceedings of the European Conference on Computer Vision (ECCV), Munich, 3-19.

[29] Wu, Q., Zhou, C.B., Huang, F.M., et al., 2022. Optimization of the Landslide Identification Method Based on a Dual Attention Mechanism. Bulletin of Geological Science and Technology, 41(2): 246-253 (in Chinese with English abstract).

[30] Xia, M., Ren, G. M., Ma, X. L., 2013. Deformation and Mechanism of Landslide Influenced by the Effects of Reservoir Water and Rainfall, Three Gorges, China. Natural Hazards, 68(2): 467-482. https://doi.org/10.1007/s11069-013-0634-x

[31] Xu, C., Liu, B.G., Liu, K.Y., et al., 2011. Intelligent Analysis Model of Landslide Displacement Time Series Based on Coupling PSO-GPR. Rock and Soil Mechanics, 32(6): 1669-1675 (in Chinese with English abstract).

[32] Xu, F., Fan, C.J., Xu, X.J., et al., 2018. Displacement Prediction of Landslide Based on Variational Mode Decomposition and AMPSO-SVM Coupling Model. Journal of Shanghai Jiao Tong University, 52(10): 1388-1395, 1416 (in Chinese with English abstract).

[33] Xu, S. L., Niu, R. Q., 2018. Displacement Prediction of Baijiabao Landslide Based on Empirical Mode Decomposition and Long Short-Term Memory Neural Network in Three Gorges Area, China. Computers & Geosciences, 111: 87-96. https://doi.org/10.1016/j.cageo.2017.10.013

[34] Yin, Y. P., Huang, B. L., Wang, W. P., et al., 2016. Reservoir-Induced Landslides and Risk Control in Three Gorges Project on Yangtze River, China. Journal of Rock Mechanics and Geotechnical Engineering, 8(5): 577-595. https://doi.org/10.1016/j.jrmge.2016.08.001

[35] Yin, Y. P., Wang, H. D., Gao, Y. L., et al., 2010. Real-Time Monitoring and Early Warning of Landslides at Relocated Wushan Town, the Three Gorges Reservoir, China. Landslides, 7(3): 339-349. https://doi.org/10.1007/s10346-010-0220-1

[36] Zhang, K., Zhang, K., Bao, R., et al., 2021. Intelligent Prediction of Landslide Displacements Based on Optimized Empirical Mode Decomposition and K-Mean Clustering. Rock and Soil Mechanics, 42(1): 211-223 (in Chinese with English abstract).

[37] Zheng, J., 2006. Methods and Standards of Landslide Stability Evaluation. The Chinese Journal of Geological Hazard and Control, 17(3): 53-57 (in Chinese with English abstract).

[38] Zhou, C., Yin, K. L., Cao, Y., et al., 2018. Displacement Prediction of Step-Like Landslide by Applying a Novel Kernel Extreme Learning Machine Method. Landslides, 15(11): 2211-2225. https://doi.org/10.1007/s10346-018-1022-0

基金资助

国家自然科学基金项目(42307248;U23A2047;41972297)

河北省自然科学基金项目(D2022202005)