基于BiX-NAS的地震层序智能识别——以荷兰近海地区F3数据为例

Intelligent Seismic Stratigraphic Identification Based on BiX-NAS: A Case Study from the F3 Dataset in Netherlands Offshore Area

摘要

近些年来，深度学习方法在地震数据处理和解释领域得到了广泛关注和应用，其中大多数深度学习算法采用了端到端的深度卷积神经网络以实现地质体特征的提取与识别（如地层、断裂以及盐丘等）. 然而，这些算法往往含有数十万甚至百万的可训练参数，导致模型存在参数冗余、训练效率低等问题. 为了解决上述问题，构建了一个轻量化的双向多尺度网络结构模型用于地震层序智能识别. 该模型通过两阶段神经网络体系结构搜索算法（neural architecture search，NAS）剔除了双向多尺度网络结构的冗余连接，使得网络结构大幅简化，从而减少参数冗余，进而提高训练效率.采用荷兰近海地区的F3地震数据集对基于NAS算法简化的双向多尺度网络结构地层识别模型进行训练、验证和预测. 结果表明：在实际的地层识别任务中，该轻量化模型的平均识别准确率达到了95.52%，并对远离训练工区的预测集具有良好的泛化性. 此外，该模型的参数量仅为U形卷积神经网络（U-Net）模型的4.4%，在训练效率、模型参数量等方面优于前人的相关研究工作；并对地震振幅中的噪声干扰具有鲁棒性. 因此，这些结果展现了BiX-NAS网络模型在实际地震地层自动识别中良好的应用前景.

关键词

地层自动识别 / 深度学习 / 神经网络体系结构搜索算法 / 双向多尺度网络

Key words

stratigraphic identification / deep learning / neural architecture search / bi-directional multi-scale network

0 引言

地震资料的高效解释是寻找油气储层的重要一环，如何从大量的地震数据中提取有效信息，进而揭示复杂的地下空间结构，提高油气储层预测精度，是地震勘探领域长期关注的问题（Wu et al.， 2018； Zhang et al.， 2019； Qi et al.， 2020； Wang and Chen， 2021； Yu and Ma， 2021）. 地层识别是地震解释的基础任务之一，通过地层识别得到的地层层序、岩性以及层间厚度等信息，可以为寻找地下油气储层提供有力支撑. 传统地层识别主要采用人工识别方法，该方法效率低且主观性强，难免产生识别错误. 现阶段自动地层识别方法主要有以下3类：第一种是基于传统地球科学方法，主要包含层位跟踪法（Bahorich and Farmer， 1995）、交会图法（范宜仁等，1999；陶宏根等，2011）、地质建模法（Marfurt et al.， 1998）和统计学方法（曹绍贺，2019）等；传统方法过于依赖于地震数据的信噪比（S/N）和层位的横向连续性（Dorn， 1998），极易产生误判. 第二种是基于浅层机器学习方法，主要包含支持向量机（郑延斌和李国和，2009）、BP神经网络（薛文卓等，2019）和多层感知机（Zheng et al.， 2014）等方法，虽然机器学习方法相较于人工识别方法效率更高，但是训练时间成本过高，有时还会陷入局部极小值，导致效果不佳.第三种是基于深度学习方法. 近年来，在人工智能（artificial intelligence，AI）和大数据背景下，地球物理学家已经认识并开始使用深度学习算法来解决地震数据处理、解释和反演中所面临的挑战性问题（Laloy et al.， 2017； Araya-Polo et al.， 2018； Laloy et al.， 2018； Mosser et al.， 2018； Wu et al.， 2019a， 2019b， 2019c； Yang and Ma， 2019； Donald， 2021；Lopez-Alvis et al.， 2021； 马国庆等， 2021； Abdellatif et al.， 2022； 王德涛和陈国雄， 2022）. 深度学习（deep learning，DL）又称为深度神经网络，在广泛的科学和工程领域都取得了巨大的成就，DL的主要优势在于通过大量隐藏层自动从高维空间的海量数据集中提取最突出的特征信息，有效地解决了人工识别方法效率低、传统研究方法易误判、机器学习方法训练时间成本过高等问题. 为此，基于DL模型（例如，卷积神经网络（convolutional neural network，CNN））的计算机视觉和自然语言处理技术得到了快速的发展，同时也为地震数据解释提供了新思路（Ciresan et al.， 2012； Badrinarayanan et al.， 2017）. Di et al. （2018）在盐丘边界识别问题中对比了CNN与传统机器学习方法（如自组织映射神经网络、多层感知机），实验结果表明，CNN能够实现更准确的识别结果. 然而，CNN模型同样存在着运算开销大、计算效率低等问题（Ronneberger et al.， 2015）. Long et al. （2015）提出全卷积神经网络模型（fully convolutional network，FCN），FCN与CNN模型最明显的区别在于前者没有全连接层，可以接受任意尺寸的图像作为输入；缺点是网络结构存在上采样过程，导致像素定位并不准确，使得最终分割结果不够精细（Du et al.， 2020）. 此外，FCN是对各个像素进行分类，忽略了像素间的关系，缺乏空间一致性. He et al. （2016）提出残差网络模型（residual network，ResNet），该网络模型引入残差结构，避免网络结构过深时出现梯度消失现象. ResNet网络模型通过加深网络结构，实现识别结果准确性的提高；缺点是网络结构复杂、计算成本高，在实际应用中通用性不强. Ronneberger et al. （2015）提出一种应用于医学图像分割的具有跳跃连接的U形卷积神经网络（U-Net），该网络模型在地震盐丘识别中，高精度地描绘了盐体边界（Zeng et al.， 2018； Shi et al.， 2019）；同时，在地层识别中，该网络模型也能够得到高精度的地层识别结果（Wang and Chen， 2021）.

然而，上述这些算法往往含有数十万甚至百万的可训练参数，导致模型存在参数冗余、训练效率低等问题. 随着深度学习在语义分割领域的快速发展，Xiang et al. （2020）提出一种新的双向O形网络模型（bi-directional O-shape network，BiO-Net），它以递归的形式重用网络结构，避免额外参数的引入，通过加深特征提取过程，提升分割精度. 尽管BiO-Net模型可以减少网络参数，但按照预先设定的迭代次数，仍然导致计算成本的增加. 如何简化网络结构，构建既准确又高效的轻量化模型，是近阶段研究的热门课题. 神经网络体系结构搜索算法（neural architecture search，NAS）可以针对特定深度学习问题搜索出高效架构，剔除冗余连接. 经典的进化NAS算法（Real et al.， 2017；Real et al.， 2019）通过在搜索过程中随机抽取样本并分别计算每个样本模型的准确率来进化，进而确定网络结构的最佳候选者. 但经典的进化NAS算法搜索效率低，极其耗费计算资源. 可微NAS算法（Liu et al.， 2018； Guo et al.， 2020）将离散的搜索空间放宽为连续的搜索空间，依靠反向传播来搜索网络结构最佳候选者. 但可微NAS算法搜索的体系结构缺乏多样性. Wang et al. （2021）提出了一种经两阶段NAS算法简化的双向多尺度网络结构模型（bi-directional multi-scale neural architecture search，BiX-NAS）. 该模型通过高效的神经网络体系结构搜索算法在不同的网络层级和迭代中筛选出无效的多尺度跳跃连接并剔除，降低网络计算成本，最终得到一个高效和轻量化的网络结构.

总结起来，现阶段DL地震解释模型往往通过引入多尺度跳跃连接、重复结构和残差块等方式增加网络结构复杂度以获得解释精度的微小提升（Yang et al.， 2020a； Zhang et al.， 2021），这不可避免地导致了模型参数和计算成本的增加. 因此，本文通过NAS算法筛选并剔除了双向多尺度网络结构模型的冗余连接，旨在构建一个高效且轻量化的地层识别算法，在保持识别精度的基础上大幅减少模型参数量和复杂度. 本文实验过程包括以下两个阶段，一是数据预处理，构建训练、验证和预测数据集；二是基于BiX-NAS网络进行地层识别的有监督地训练、验证和预测，寻找最优网络模型，对远离训练工区的待预测地震剖面进行地层识别. 本文实验以荷兰近海地区的F3地震数据集作为数据来源（Silva et al.， 2019），并与前人相关研究工作进行对比，阐明本文方法应用于地层识别的有效性.

1 方法原理

1.1　BiO-Net网络结构基本原理

BiO-Net采用与U-Net相同的编码-解码体系结构，不同之处在于，BiO-Net在层序相同的编码块与解码块之间新增成对的双向连接（正向跳跃连接和反向跳跃连接），便于提取更深层次的语义特征，网络具体结构如图1所示.

1.1.1　正向跳跃连接

处于同一层的编码块与解码块由正向跳跃连接相连，可以将编码块提取的低层次的语义特征 f_{\mathrm{e}\mathrm{n}\mathrm{c}}保留. 推广到一般情况，第k层的解码块可以将 f_{\mathrm{e}\mathrm{n}\mathrm{c}}与从其低层块产生的输入 {\widehat{x}}_{in}相结合，并通过解码块 \mathrm{D} \mathrm{E} \mathrm{C} \left(x\right)生成高层次的语义特征 f_{\mathrm{d}\mathrm{e}\mathrm{c}}， f_{\mathrm{d}\mathrm{e}\mathrm{c}}将通过上采样处理，进一步达到更高的分辨率，上述过程定义为：

f_{\mathrm{d}\mathrm{e}\mathrm{c}} = \mathrm{D} \mathrm{E} \mathrm{C} \left(\left[f_{\mathrm{e}\mathrm{n}\mathrm{c}},{\widehat{x}}_{\mathrm{i}\mathrm{n}}\right]\right).(1)

解码块 \mathrm{D} \mathrm{E} \mathrm{C} \left(x\right)结构如图2所示：

1.1.2　反向跳跃连接

处于同一层的解码块与编码块由反向跳跃连接相连，可以将解码块提取的高层次语义特征 f_{\mathrm{d}\mathrm{e}\mathrm{c}}保留. 推广到一般情况，第k层的编码块可以将 f_{\mathrm{d}\mathrm{e}\mathrm{c}}与从其高层块产生的输入 x_{\mathrm{i}\mathrm{n}}相结合，并通过编码块 \mathrm{E} \mathrm{N} \mathrm{C} \left(x\right)生成低层次的语义特征 f_{\mathrm{e}\mathrm{n}\mathrm{c}}， f_{\mathrm{e}\mathrm{n}\mathrm{c}}将通过下采样处理，以进行更深层次的特征提取，上述过程定义为：

f_{\mathrm{e}\mathrm{n}\mathrm{c}} = \mathrm{E} \mathrm{N} \mathrm{C} \left(\left[f_{\mathrm{d}\mathrm{e}\mathrm{c}},x_{\mathrm{i}\mathrm{n}}\right]\right).(2)

编码块 \mathrm{E} \mathrm{N} \mathrm{C} \left(x\right)结构如图3所示：

1.1.3　结构递归

上述双向跳跃连接为编码-解码体系结构创建了一条O形的数据流，再将此O形结构多次递归以便于加深特征提取过程，提高最终的识别精度，同时，这种递归方式不会引入任何额外的可训练参数. 当迭代次数为i时，BiO-Net的编码块与解码块输出为：

\begin{array}{l}{x}_{\mathrm{o}\mathrm{u}\mathrm{t}}^i=\mathrm{D}\mathrm{O}\mathrm{W}\mathrm{N}\\ \left(\mathrm{E}\mathrm{N}\mathrm{C}\left(\left[\mathrm{D}\mathrm{E}\mathrm{C}\left(\left[f_{\mathrm{e}\mathrm{n}\mathrm{c}}^{i-\mathrm{1}},{\widehat{x}}_{\mathrm{i}\mathrm{n}}^{i-\mathrm{1}}\right]\right),x_{\mathrm{i}\mathrm{n}}^i\right]\right)\right)\end{array},(3)

{\widehat{x}}_{\mathrm{o}\mathrm{u}\mathrm{t}}^i = \mathrm{U} \mathrm{P} \left(\mathrm{D}\mathrm{E}\mathrm{C}\left(\left[\mathrm{E}\mathrm{N}\mathrm{C}\left(\left[f_{\mathrm{d}\mathrm{e}\mathrm{c}}^i,x_{\mathrm{i}\mathrm{n}}^i\right]\right),{\widehat{x}}_{\mathrm{i}\mathrm{n}}^i\right]\right)\right),(4)

其中：DOWN表示下采样操作，UP表示上采样操作. 但是，当迭代次数i过多时，计算成本仍不可避免地增加.

1.2　BiX-NAS网络结构基本原理

1.2.1　基于BiO-Net的多尺度升级——BiO-Net++

对于网络结构的改进，可以向其中引入多尺度机制. 例如Zhou et al. （2018）提出的U-Net++算法，基于原有的U-Net网络结构，在编码块与解码块之间添加了密集连接，加深特征提取过程，弥补了编码块与解码块特征图之间的语义鸿沟；Gao et al. （2022）提出了多尺度注意力机制卷积神经网络算法（multi-scale attention convolutional neural network， MACNN），在原有的U-Net网络结构上，将原本处于同一层的编-解码块的跳接引入多尺度注意力机制（空间注意力和通道注意力），随后再将所提取的特征拼接，得到更为准确的断层识别结果.

为了向BiO-Net网络结构中融合多尺度特征，本文使用双向跳跃连接将所有编码块与解码块进行密集连接，并利用双线性插值调整不同层序之间的空间维度差别，将融合多尺度特征的网络结构称为BiO-Net++. 例如，迭代次数为2的BiO-Net++网络结构如图4所示. 但是，这种密集连接在最终识别精度上仅带来轻微的改善，同时还伴随着计算成本的提高.

1.2.2　基于BiO-Net++的两阶段神经网络体系结构搜索简化算法——BiX-NAS

（1）阶段一：缩小搜索空间　为了高效地寻找最优结构，在这一阶段将剔除网络结构中明显的冗余连接. 将每个编码块或解码块的输入特征流数记为N，网络结构层数记为L，迭代次数记为T. 规定上述输入特征仅有k个可以被接受，其中 k \in \left[\mathrm{1},N-\mathrm{2}\right]，则搜索空间总数为 {\displaystyle \sum _{k=\mathrm{1}}^{\left(N-\mathrm{2}\right)}} {\left(\begin{array}{c}N\\ k\end{array}\right)}^{L\left(\mathrm{2}T-\mathrm{1}\right)}. 通过设置一个可训练的矩阵 M_{N\times \left(N-\mathrm{2}\right)}，来确定能被接受的输入流. 为保证输入流个数与选择矩阵维度一致，将预处理块的结果补充至非首次迭代的首个编码块.

具体地，对每个输入流x添加相对应的松弛参数α（Liu et al.， 2018），α可以同模型训练一起被初始化与更新；通过构造可训练的选择矩阵 M_{N\times \left(N-\mathrm{2}\right)}，该选择矩阵对N个传入的输入流和k个候选输入流之间的映射进行计算，表示为：

\begin{array}{l}\Phi (x,M)=\\ \mathrm{M}\mathrm{a}\mathrm{t}\mathrm{m}\mathrm{u}\mathrm{l}(x,\mathrm{G}\mathrm{u}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{l}\_\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(M))\end{array},(5)

其中 \mathrm{G} \mathrm{u} \mathrm{m} \mathrm{b} \mathrm{e} \mathrm{l} \_ \mathrm{S} \mathrm{o} \mathrm{f} \mathrm{t} \mathrm{m} \mathrm{a} \mathrm{x}（Jang et al.， 2017）使用独热编码机制，将每一列视为输入流的独热编码向量. 则在选择矩阵 M_{N\times \left(N-\mathrm{2}\right)}中，所有包含“1”的行的对应输入流被接受，反之，其他输入流被剔除，如图5所示. 经阶段一缩小搜索空间后的网络结构被称为Phase1-Searched-Net（Wang et al.， 2021）.

（2）阶段二：选取最优结构

将编码或解码阶段称为提取阶段，如图6所示. 为了进一步减少网络结构冗余，在这一阶段将使用神经网络体系结构搜索简化算法对相邻提取阶段的跳跃连接进行遍历. 由于相邻提取阶段的连通性取决于前部提取阶段的连通性，因此，这一阶段的最优结构搜索将从最后一个提取阶段开始，逐步移动至第一个提取阶段.

具体地，当在第t个提取阶段与第t+1个提取阶段间搜索时，其中 t \in \left[\mathrm{1,2}T-\mathrm{1}\right]，从第1个提取阶段到第t个提取阶段的网络结构是固定的，将其命名为头部网络（head network）；从第t+1个提取阶段到第2T个提取阶段的网络结构随着所选的不同跳跃连接方案而变化，将其命名为尾部网络（tail network），如图7所示，尾部网络共享相同的权重.

设第t个提取阶段与第t+1个提取阶段间的所有跳跃连接组合的集合为 C^{\left(t\right)}，其中 C^{\left(t\right)} = \left\{c_{\mathrm{1}}^{\left(t\right)},c_{\mathrm{2}}^{\left(t\right)},\cdots \right\}；并且设相邻提取阶段的最优网络结构保留数为S，其中： S = \left\{s_{\mathrm{1}\to \mathrm{2}},s_{\mathrm{2}\to \mathrm{3}},\cdots ,s_{t\to \left(t+\mathrm{1}\right)},\cdots ,s_{\left(\mathrm{2}T-\mathrm{1}\right)\to \mathrm{2}T}\right\}， s_{t\to \left(t+\mathrm{1}\right)}表示第t个提取阶段到第t+1个提取阶段的最优网络结构保留数.

分别对含有 c_i^{\left(t\right)}的各个子网络结构进行单独训练，设置网络的复杂度和评价标准分别为计算复杂性（multiply accumulate operations，MACs）和平均交并比（mean intersection over union，MIoU）. 平均交并比计算公式如式6所示：

\mathrm{M} \mathrm{I} \mathrm{o} \mathrm{U} = \frac{\mathrm{1}}{n+\mathrm{1}} {\displaystyle \sum _{i=\mathrm{0}}^n} \frac{p_{ii}}{{\Sigma }_{i=\mathrm{0}}^n{p}_{ij}+{\Sigma }_{i=\mathrm{0}}^n{p}_{ji}-p_{ii}},(6)

其中：n表示类别数， p_{ij}表示将类别i预测为类别j， p_{ji}表示将类别j预测为类别i， p_{ii}表示将类别i预测为类别i.

训练结束后，子网络结构存在以下4种情况：一是MIoU较高、MACs较小；二是MIoU较高、MACs同样较大；三是MIoU比较小，MACs同样较小；四是MIoU较小，MACs较大. 将符合第四种情况的子网络结构剔除，其余3种情况的子网络结构保留（Yang et al.， 2020b）. 根据预设的相邻提取阶段最优网络结构保留数，依照MIoU从大到小的顺序依次保留最终的网络结构. 至此，第t个提取阶段到第t+1个提取阶段的搜索完成，搜索区域向前移动一个提取阶段. 设第t-1个提取阶段到第t个提取阶段的所有跳跃连接的组合的集合为 C^{\left(t-\mathrm{1}\right)}，其基数为 n_{\left(t-\mathrm{1}\right)}，则此阶段需要训练的子网络结构数为 n_{\left(t-\mathrm{1}\right)} \times s_{t\to \left(t+\mathrm{1}\right)}个. 直至将第1个与第2个提取阶段搜索完成为止，得到最优的子网络结构，伪代码见算法1.

BiX-NAS在搜索过程中，由于设定头部网络结构固定，仅改变尾部网络结构，使得在搜索第t个提取阶段到第t+1个提取阶段间的网络结构时，尾部网络结构多样且接收的特征相同，避免搜索过程中因接收特征不同所带来的不公平. 并且在搜索第t个提取阶段到第t+1个提取阶段间的网络结构时，对所有尾部网络结构的损失求平均，仅计算一次梯度，提升搜索效率. 最终经两阶段神经网络体系结构搜索算法简化的轻量化网络结构如图8所示.

1.3　网络模型设计

本文基于上述BiX-NAS网络优点来构建地层自动识别网络模型. 该模型以地震振幅数据作为输入，地层识别结果作为输出. 编码与解码部分均为4层，每个编码块包含2个卷积层、批归一化处理（batch normalization， BN）（Ioffe and Szegedy， 2015）、非线性激活函数（rectified linear unit， ReLU）（Nair and Hinton， 2010）以及下采样（步长为2）过程；每个解码块包含2个卷积层、批归一化处理、非线性激活函数以及上采样（步长为2）过程. 为减少参数量和计算复杂度，Phase1-Searched-Net和BiX-NAS网络模型在下采样或上采样过程后保持通道数不变，特征融合后的通道数均限制为48，根据实验结果，此操作不会影响模型性能. 在网络的末端，卷积层的输出通道数为n，即地层类别数，并使用Softmax激活函数，将输出的n个类别以概率值 p_i的形式映射至地震剖面，其中 p_i \in \left[\mathrm{0,1}\right]，得到最终的地层识别结果.

2 实验

2.1　实验流程

本次实验采用荷兰近海地区F3地震数据集，用以验证BiX-NAS模型的准确度和轻量化. 该实验的具体实现流程如图9所示，主要包含以下两个过程：

（1）数据预处理. 对原始数据集进行筛选与抽取，并使用滑动窗口法以实现训练、验证和预测数据集的制作.

（2）模型训练、验证及预测. 将处理后的数据输入至网络模型中以有监督方式进行训练，经过多次迭代更新，使得损失函数尽可能的收敛至最小值，并且给出最优的轻量化网络结构，进而得到最终的网络模型参数；最后，将待预测的地震剖面数据输入至网络模型中，得到准确的地层识别结果.

2.2　数据来源

本次实验选取的数据集为公开的荷兰近海的F3地震数据集（Netherlands F3 seismic data set），它由951张联络测线（crossline）和651张主测线（inline）切片组成，切片尺寸分别为651×462和951×462.

在数据标签部分，按照不同振幅强度，共分为10类地层，如图10所示. 依照地层深度，从0至9升序编号，表1根据反射层的振幅和连续性简要解释每个层位的地震相特征.

2.3　数据预处理

在本次实验中，使用了联络测线和主测线两个方向的数据，采用数据清洗删除了质量较差的图像，最终得到了910张联络测线和601张主测线切片. 采用等间隔取样法，分别以50和25为间隔抽取32和62个地震剖面作为标签数据集，命名为数据集1和数据集2.

由于不同样本之间的振幅差异较大，为了消除量纲引起的网络训练问题，本文采用线性归一化对地震振幅数据进行处理，将原始数据值缩放到［0，1］区间内，

x_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}} = \frac{x-x_{\mathrm{m}\mathrm{i}\mathrm{n}}}{x_{\mathrm{m}\mathrm{a}\mathrm{x}}-x_{\mathrm{m}\mathrm{i}\mathrm{n}}},(7)

其中 x_{\mathrm{s}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{e}}表示归一化处理后的数据，x表示归一化处理前的数据， x_{\mathrm{m}\mathrm{a}\mathrm{x}\mathrm{、}} x_{\mathrm{m}\mathrm{i}\mathrm{n}}分别表示归一化处理前数据的最大值和最小值.

归一化后，为了平衡训练样本类别数，确保每个训练的图像都有一定数量的类别，对地震振幅数据和标签数据进行0值填充，联络测线和主测线切片填充后的尺寸分别为768×512和1 024×512. 为了进一步丰富数据的多样性，使用滑动窗口法对地震振幅数据和标签数据进行裁剪，窗口大小为256×256，滑动步长为128，如图11所示. 将所得到的新数据集随机抽取15%作为验证集，其余作为训练集.

为了避免训练集的影响，预测集数据需远离训练集和验证集数据，取相距于相邻两张标签数据集地震剖面中点处剖面，以此类推. 以50间隔为例，共选取出30张地震剖面，其中联络测线切片18张，主测线切片12张. 预测集的地震振幅数据及其标签数据的预处理方式与训练集数据相同，滑动步长为128.

2.4　模型参数设置

本研究中所有网络模型均使用Adam算法（Kingma and Ba， 2014）进行反向传播更新网络模型参数；并使用交叉熵损失函数（Cross Entropy Loss）刻画网络输出值和真实值之间的距离，作为网络训练过程中的损失函数：

L \left(q,p\right) = - {\displaystyle \sum _{i=\mathrm{1}}^n} q\left(x_i\right)\mathrm{l}\mathrm{o}\mathrm{g}\left(p\left(x_i\right)\right),(8)

其中： p \left(x_i\right)表示预测概率分布， q \left(x_i\right)表示真实概率分布，n表示分类数目. 网络的初始学习率（learning rate）设置为0.000 1，每轮学习率衰减指数（learning decay rate）为0.000 03：

\begin{array}{l}L\_r^{\left(i+\mathrm{1}\right)}=L\_r^{\left(i\right)}\cdot \frac{\mathrm{1}}{\mathrm{1}+\mathrm{L}\mathrm{r}\_\mathrm{d}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{y}\cdot \mathrm{b}\mathrm{a}\mathrm{t}\mathrm{c}\mathrm{h}\_\mathrm{n}\mathrm{u}\mathrm{m}\mathrm{b}\mathrm{e}\mathrm{r}} ,\\ i\in \left[\mathrm{0},\mathrm{e}\mathrm{p}\mathrm{o}\mathrm{c}\mathrm{h}\mathrm{s}-\mathrm{1}\right]\end{array} (9)

其中： L \_ r^{\left(i\right)}表示更新前的学习率， L \_ r^{\left(i+\mathrm{1}\right)}表示更新后的学习率， L r \_ d e c a y表示学习率衰减指数，batch_number表示batch数目，epochs表示网络训练轮数. 实验所使用的GPU为NVIDIA RTX 5000.

3 结果与讨论

3.1　BiO-Net模型训练

为了寻找BiO-Net网络结构最优迭代次数，分别设置BiO-Net网络结构迭代次数为1、2、3、4、5. 在数据集1和数据集2上分别训练100轮，训练结果如表2所示：

由训练结果可知，并非网络迭代次数越多，识别精度就越高. 当迭代次数为5时，使用数据集1的验证集MIoU仅有0.324 0. 因此，将网络迭代次数为4和5的实验结果舍去，在后续实验步骤中，网络迭代次数最多取至3.

3.2　Phase1-Searched-Net模型训练

为了进一步寻找Phase1-Searched-Net网络结构的最优迭代次数，由上述实验可知，分别设置Phase1-Searched-Net网络结构迭代次数为1、2、3. 在数据集1和数据集2上分别训练100轮. 训练结果如表3所示：

由训练结果可知，Phase1-Searched-Net网络结构迭代次数为2、3次的MACs远高于迭代次数为1次的网络结构. 因此，将网络迭代次数为2和3的实验结果舍去，在后续实验步骤中，仅在网络迭代次数为1的Phase1-Searched-Net网络结构中执行NAS算法，寻找最优的轻量化网络结构.

3.3　BiX-NAS模型训练和预测

由上述实验可知，将迭代次数为1的Phase1-Searched-Net网络经第二阶段神经网络体系结构搜索算法简化，设置搜索轮数为10和20，分别在数据集1和数据集2上进行搜索，共4次实验.

搜索结束后，根据1.2.2节所述子网络结构评价标准，选出上述4次实验中各自排序为前两名的子网络结构，再次进行地层识别训练，共8次实验. 子网络结构训练过程中所使用的数据集与搜索阶段的数据集保持一致，设置训练轮数为100轮. 训练结果如表4所示：

由训练结果可知，在数据集1上，最优子网络结构的验证集MIoU达到0.955 2，参数量仅为0.339 1×10⁶；在数据集2上，最优子网络结构的验证集MIoU达到0.947 7，参数量仅为0.380 5×10⁶.

将数据预处理后的预测集数据输入至上述所得最优子网络模型中，同时，为避免图像边界识别效率低的问题，在拼接经滑动窗口裁剪后子图的识别结果时，将识别结果的边缘部分舍弃，得到最终的预测结果.

3.4　结果对比

将上述实验结果与前人相关工作做对比，表5显示了本研究与U-Net网络模型（Wang and Chen， 2021）、Phase1-Searched-Net网络模型的对比结果.

在地层识别精度上，BiX-NAS模型与U-Net模型的验证集精度均达到0.94以上；相同数据集下，U-Net模型相较于BiX-NAS模型的验证集精度仅高0.013 9，但由于原始数据集的标签数据在地层横向连续性上存在一定人为标注错误，过高的识别精度可能会导致与实际情况不符.

在网络结构的参数量和计算复杂度上，从表5可以看出，BiX-NAS模型实现了轻量化，参数量为U-Net模型的4.4%，计算复杂度为U-Net模型的36.6%. 同时，图12显示了BiX-NAS模型与U-Net模型的训练损失收敛过程，其结果也可看出，轻量化的BiX-NAS模型损失函数收敛更快、效率更高，进而缩减训练时长，提升计算效率.

阶段一的Phase1-Searched-Net模型，经缩小搜索空间和限制特征通道数后，参数量减少为U-Net模型的5.4%，计算复杂度减少为U-Net模型的49.1%. 并且，相较于Phase1-Searched-Net模型，经第二阶段神经网络体系结构搜索算法简化后的BiX-NAS模型，参数量进一步减少19.7%，计算复杂度进一步减少25.4%，进而验证了两阶段神经网络体系结构搜索简化算法的必要性. BiX-NAS模型采用双向多尺度连接，以递归的形式重用网络结构，并且，在通过神经网络体系结构搜索算法简化连接后，部分编码块或解码块被整块跳过（如图8虚线标注所示），使得BiX-NAS模型在处理地层识别任务时，相较于U-Net模型和Phase1-Searched-Net模型，参数量和计算复杂度大幅减少.

图13展示了验证集中联络测线切片#851、#901和主测线切片#100、#200的标签数据和不同模型的地层识别结果. 结果表明，BiX-NAS模型不仅地层识别结果较为准确，同时识别结果也具有较强的横向连续性，并且在主测线切片#100的标签数据中含有明显标注错误时，BiX-NAS模型对其进行了修正，进一步说明BiX-NAS模型具有良好的泛化能力.

在预测实验部分，图14展示了预测集中联络测线切片#725、#975和主测线切片#125、#425在不同模型下的地层识别结果. 同时，图15展示了整个工区的三维地层识别结果；图16展示了整个工区不同地层的识别结果. 以上结果显示出，轻量化的BiX-NAS模型能够成功地学习到该区域目标地层的特征属性，在复杂地层识别精度和横向连续性上都有着优异的表现.

3.5　抗噪声实验

在实际的解释任务中，反射地震数据的有效信号通常受到各种噪声的干扰（如：随机噪音、偏移假像），本次实验通过在原始地震振幅上添加不同程度的高斯噪声来应对上述问题. 具体来说，本次实验在数据集1上添加了均值为0，方差分别为10、15、20、25、30、35、40、45、50的高斯噪声，并分别进行BiX-NAS与U-Net模型的训练. 不同高斯噪声下的预测集MIoU如图17所示：

结果显示，当噪声逐渐增加时，BiX-NAS模型的预测集MIoU受噪声影响下降趋势更缓. 在整个抗噪实验过程中，BiX-NAS模型随着噪声的增加，预测集MIoU仅下降0.012 0，而U-Net模型的预测集MIoU下降0.016 1.

图18分别展示了联络测线切片#1025在不同噪声和不同模型下的地层识别结果. 以上结果显示出，轻量化的BiX-NAS模型对地震振幅中的噪声具有更强的鲁棒性.

4 总结

本文提出了一种用于地震层序自动识别的轻量化双向多尺度网络结构模型（BiX-NAS）. 该模型通过使用两阶段神经网络体系结构搜索算法剔除了双向多尺度网络结构的冗余连接，构建了轻量化的网络结构. 实验结果表明，本文所采用的轻量化BiX-NAS模型能成功学习到目标地层的特征属性，并在整个工区都表现出良好的泛化性. 与前人相关研究相比，该模型的参数量为U-Net模型的4.4%，在训练效率、模型参数量等方面优于前人的相关研究工作，对复杂地层的识别更为准确；预测地层模型更为准确、更符合实际工区情况，对原始数据集标签数据中的明显错误进行了修正；并对地震振幅中的噪声具有鲁棒性. 以上实验表明，经两阶段神经网络体系结构搜索算法所构建的轻量化模型在地震地层解释任务中具有高效率和高准确率的表现.

参考文献

[1] Abdellatif, A., Elsheikh, A.H., Graham, G., et al., 2022. Generating Unrepresented Proportions of Geological Facies using Generative Adversarial Networks.Computers & Geosciences, 162：105085. https://doi.org/ 10.1016/j.cageo.2022.105085

[2] Araya-Polo, M., Jennings, J., Adler, A., et al., 2018. Deep-Learning Tomography. The Leading Edge, 37(1): 58-66. https://doi.org/ 10.1190/tle37010058.1

[3] Badrinarayanan, V., Kendall, A., Cipolla, R., 2017. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 39(12):2481-2495. https://doi.org/ 10.1109/TPAMI.2016.2644615

[4] Bahorich, M., Farmer, S., 1995. 3-D Seismic Discontinuity for Faults and Stratigraphic Features: The Coherence Cube. The Leading Edge, 14(10): 1053-1058. https://doi.org/ 10.1190/1.1437077

[5] Cao, S., 2019. Application of Geostatistical Inversion Method in Reservoir Prediction of Coal Measure Strata in Hangjinqi Area. Petroleum Geology and engineering, 33(5):41-44.(in Chinese with English abstract)

[6] Ciresan, D., Giusti, A., Gambardella, L., et al., 2012. Deep Neural Networks Segment Neuronal Membranes in Electron Microscopy Images. Advances in Neural Information Processing Systems, 25: 2843-2851.

[7] Di, H., Wang, Z., Alregib, G., 2018. Deep Convolutional Neural Networks for Seismic Salt-Body Delineation. In: 2018 AAPG Annual Convention and Exhibition, Search and Discovery Article, 90323.

[8] Donald, A. S., 2021. How Deep Learning Networks could be Designed to Locate Mineral Deposits. Journal of Earth Science, 32(2): 288-292. https://doi.org/10.1007/s12583-020-1399-2

[9] Dorn, G.A., 1998. Modern 3-D Seismic Interpretation. The Leading Edge, 17(9): 1262-1262. https://doi.org/ 10.1190/1.1438121

[10] Du, G., Cao, X., Liang, J., et al., 2020. Medical Image Segmentation Based on U-Net: A Review. Journal of Imaging Science and Technology, 64(2): 20508-1-20508-12. https://doi.org/ 10.2352/J.ImagingSci.Technol. 2020.64.2.020508

[11] Fan, Y., Huang, L., Dai, S., 1999. Application of Crossplot Technique to the Determination of Lithology Composition and Fracture Identification of Igneous Rock. Well Logging Technology, 23(1):53-56 (in Chinese with English abstract).

[12] Gao, K., Huang, L., Zheng, Y., et al., 2022. Automatic Fault Detection on Seismic Images Using a Multiscale Attention Convolutional Neural Network. Geophysics, 87(1):N13-N29. https://doi.org/ 10.1190/geo2020-0945.1

[13] Guo, Z., Zhang, X., Mu, H., et al., 2020. Single Path One-Shot Neural Architecture Search with Uniform Sampling. In: 2020 European Conference on Computer Vision(ECCV), Springer, Cham, 544-560. https://doi.org/ 10.1007/978-3-030-58517-4_32

[14] He, K., Zhang, X., Ren, S., et al., 2016. Deep Residual Learning for Image Recognition. In: 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), Las Vegas, NV, USA, 770-778. https://doi.org/ 10.1109/CVPR.2016.90

[15] Ioffe, S., Szegedy, C., 2015. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift. In: 2015 International Conference on Machine Learning(ICML), PMLR, 448-456.

[16] Jang, E., Gu, S., Poole, B., 2017. Categorical Reparameterization with Gumbel-Softmax. In: 2017 International Conference on Learning Representations(ICLR). https://doi.org/ 10.48550/arXiv.1611.01144

[17] Kingma, D.P., Ba, J., 2014. Adam: A Method for Stochastic Optimization. Computer Science, 14(6): 123-126. https://doi.org/ 10.48550/arXiv.1412.6980

[18] Laloy, E., Hérault, R., Lee, J., et al., 2017. Inversion Using a New Low-Dimensional Representation of Complex Binary Geological Media Based on a Deep Neural Network. Advances in Water Resources, 110: 387-405. https://doi.org/ 10.1016/j.advwatres.2017.09.029

[19] Laloy, E., Hérault, R., Jacques, D., et al., 2018. Training-Image Based Geostatistical Inversion Using a Spatial Generative Adversarial Neural Network. Water Resources Research, 54(1): 381-406. https://doi.org/ 10.1002/2017WR022148

[20] Liu, H., Simonyan, K., Yang, Y., 2018. DARTS: Differentiable Architecture Search. In: 2018 International Conference on Learning Representations(ICLR). https://doi.org/ 10.48550/arXiv.1806.09055

[21] Long, J., Shelhamer, E., Darrell, T., 2015. Fully Convolutional Networks for Semantic Segmentation. In: 2015 IEEE Conference on Computer Vision and Pattern Recognition(CVPR), 3431-3440. https://doi.org/ 10.1109/CVPR. 2015.7298965

[22] Lopez-Alvis, J., Laloy, E., Nguyen, F., et al., 2021. Deep Generative Models in Inversion: a Review and Development of a New Approach Based on a Variational Autoencoder. Computers & Geosciences, 152: 104762. https://doi.org/ 10.1016/j.cageo.2021.104762

[23] Ma, G., Wu, Q., Xiong, S., et al., 2021. Ratio Method for Calculating the Source Location of Gravity and Magnetic Anomalies Based on Deep Learning. Earth Science, 46(9): 3365-3375. https://doi.org/ 10.3799/dqkx.2020.350(in Chinese with English abstract)

[24] Marfurt, K.J., Kirlin, R.L., Farmer, S.L., et al., 1998. 3-D Seismic Attributes Using a Semblance‐Based Coherency Algorithm. Geophysics, 63(4): 1150-1165. https://doi.org/ 10.1190/1.1444415

[25] Mosser, L., Dubrule, O., Blunt, M., 2018. Stochastic Seismic Waveform Inversion Using Generative Adversarial Networks As A Geological Prior. Mathematical Geosciences, 52(1), 53-79. https://doi.org/10.3997/2214-4609. 201803018

[26] Nair, V., Hinton, G.E., 2010. Rectified Linear Units Improve Restricted Boltzmann Machines. In: 2010 International Conference on Machine Learning(ICML), Haifa, Israel, 807-814.

[27] Qi, J., Lyu, B., Wu, X., et al., 2020. Comparing Convolutional Neural Networking and Image Processing Seismic Fault Detection Methods. In: 2020 SEG International Exposition and Annual Meeting. OnePetro, 1111-1115. https://doi.org/ 10.1190/segam2020-3428171.1

[28] Real, E., Moore, S., Selle, A., et al., 2017. Large-Scale Evolution of Image Classifiers. In: 2017 International Conference on Machine Learning(ICML), PMLR, 2902-2911.

[29] Real, E., Aggarwal, A., Huang, Y., et al., 2019. Regularized Evolution for Image Classifier Architecture Search. In: 2019 AAAI Conference on Artificial Intelligence 33: 4780-4789. https://doi.org/ 10.1609/aaai.v33i01.33014780

[30] Ronneberger, O., Fischer, P., Brox, T., 2015. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention, 9351: 234-241. https://doi.org/ 10.1007/978-3-319-24574-4_28

[31] Shi, Y., Wu, X., Fomel, S., 2019. SaltSeg: Automatic 3D Salt Segmentation Using a Deep Convolutional Neural Network. Interpretation, 7(3), SE113-SE122. https://doi.org/ 10.1190/int-2018-0235.1

[32] Silva, R.M., Baroni, L., Ferreira, R.S., et al., 2019. Netherlands Dataset: A New Public Dataset for Machine Learning in Seismic Interpretation. arXiv preprint, 2019(6): 38-42. https://doi.org/ 10.48550/arXiv.1904.00770

[33] Tao, H., Cheng, R., Zhao, X., et al., 2011. Well Logging Response to the Volcaniclastic Rocks of Hailar Basin and Application. Chinese Journal of geophysics, 54(2):534-544. https://doi.org/ 10.3969/j.issn.0001-5733. 2011. 02.033(in Chinese with English abstract)

[34] Wang, D., Chen, G., 2021. Seismic Stratum Segmentation Using an Encoder-Decoder Convolutional Neural Network. Mathematical Geosciences, 53(6): 1355-1374. https://doi.org/ 10.1007/s11004-020-09916-8

[35] Wang, X., Xiang, T., Zhang, C., et al., 2021. BiX-NAS: Searching Efficient Bi-Directional Architecture for Medical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention, 229-238. https://doi.org/ 10.1007/978-3-030-87193-2_22

[36] Wang, D., Chen, G., 2022. Seismic Wave Impedance Inversion Based on Temporal Convolutional Network. Earth Science, 47(4): 1492-1506 (in Chinese with English abstract).

[37] Wu, X., Shi, Y., Fomel, S., et al., 2018. Convolutional Neural Networks for Fault Interpretation in Seismic Images. In: 2018 SEG International Exposition and Annual Meeting. OnePetro: Anaheim, California; 1946-1950. https://doi.org/ 10.1190/segam2018-2995341.1

[38] Wu, H., Zhang, B., Lin, T., et al., 2019a. Semiautomated Seismic Horizon Interpretation Using the Encoder-Decoder Convolutional Neural Network. Geophysics, 84(6): B403-B417. https://doi.org/ 10.1190/geo2018-0672.1

[39] Wu, X., Liang, L., Shi, Y., et al., 2019b. FaultSeg3D: Using Synthetic Data Sets to Train an End-to-End Convolutional Neural Network for 3D Seismic Fault Segmentation. Geophysics, 84:IM35-IM45. https://doi.org/10.1190/geo2018-0646.1

[40] Wu, X., Liang, L., Shi, Y., et al., 2019c. Multitask Learning for Local Seismic Image Processing: Fault Detection, Structure-Oriented Smoothing with Edge-Preserving, and Seismic Normal Estimation by Using a Single Convolutional Neural Network. Geophysical Journal International, 219(3): 2097-2109. https://doi.org/ 10.1093/gji/ggz418

[41] Xiang, T., Zhang, C., Liu, D., et al., 2020. BiO-Net: Learning Recurrent Bi-Directional Connections for Encoder-Decoder Architecture. Medical Image Computing and Computer： Assisted Intervention, 74-84. https://doi.org/ 10.1007/978-3-030-59710-8_8

[42] Xue, W., Chen, B., Zhang, Z., 2019. Recognition of Stratigraphic Lithology by BP-Neural Network-A Case Study of Yiner Basin. Pretrochemical Technology, 26(11):103-107. https://doi.org/ CNKI:SUN:SHJS.0.2019-11-058(in Chinese with English abstract)

[43] Yang, F., Ma, J., 2019. Deep-Learning Inversion: a Next Generation Seismic Velocity-Model Building Method. Geophysics, 84(4): R583-R599. https://doi.org/10.1190/GEO2018-0249.1

[44] Yang, D., Cai, Y., Hu, G., et al., 2020a. Seismic Fault Detection Based on 3D Unet++ Model. In: 2020 SEG International Exposition and Annual Meeting. OnePetro, 1631-1635. https://doi.org/ 10.1190/segam2020-3426516.1

[45] Yang, Z., Wang, Y., Chen, X., et al. 2020b. CARS: Continuous Evolution for Efficient Neural Architecture Search. In: 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), 1829-1838. https://doi.org/ 10.48550/arXiv.1909.04977

[46] Yu, S., Ma, J., 2021. Deep Learning for Geophysics: Current and Future Trends. Reviews of Geophysics, 59(3), e2021RG000742. https://doi.org/10.1029/2021RG000742

[47] Zeng, Y., Jiang, K., Chen, J., 2018. Automatic Seismic Salt Interpretation with Deep Convolutional Neural Networks. In: 2019 International Conference on Information System and Data Mining, 16-20. https://doi.org/ 10.1145/3325917.3325926

[48] Zhang, H., Liu, Y., Zhang, Y., et al., 2019. Automatic Seismic Facies Interpretation Based on an Enhanced Encoder-Decoder Structure. In: 2019 SEG Technical Program Expanded Abstracts, 2408-2412. https://doi.org/ 10.1190/segam2019-3215516.1

[49] Zhang, H., Chen, T., Liu, Y., et al., 2021. Automatic Seismic Facies Interpretation Using Supervised Deep Learning. Geophysics, 86(1): IM15-IM33. https://doi.org/ 10.1190/geo2019-0425.1

[50] Zheng, Y., Li, G., 2009. Application of Support Vector Machine to Stratum Recognition. Journal of Henan Normal University(Natural Science), 37(2):37-39 (in Chinese with English abstract).

[51] Zheng, Z.H., Kavousi, P., Di, H.B., 2014. Multi-Attributes and Neural Network-Based Fault Detection in 3D Seismic Interpretation. Advanced Materials Research, 838-841: 1497-1502. https://doi.org/ 10.4028/www.scientific.net/AMR.838-841.1497

[52] Zhou, Z., Siddiquee, M.M.R., Tajbakhsh, N., et al., 2018. UNet++: A Nested U-Net Architecture for Medical Image Segmentation. In: 2018 Deep Learning in Medical Image Analysis and Multimodal Learning for Clinical Decision Support, 3-11. https://doi.org/ 10.1007/978-3-030-00889-5_1

[53] 曹绍贺, 2019. 地质统计学反演方法在杭锦旗区块煤系地层储层预测中的应用. 石油地质与工程, 33(5):4.

[54] 范宜仁, 黄隆基, 代诗华, 1999. 交会图技术在火山岩岩性与裂缝识别中的应用. 测井技术, 23(1):53-56.

[55] 马国庆, 吴琪, 熊盛青, 等, 2021. 基于重磁数据梯度比值的深度学习技术实现场源位置反演方法. 地球科学, 46(9): 3365-3375.

[56] 陶宏根, 程日辉, 赵小青, 等, 2011. 海拉尔盆地火山碎屑岩的测井响应与应用. 地球物理学报,(2):534-544.

[57] 王德涛, 陈国雄, 2022. 基于时间卷积网络的地震波阻抗反演. 地球科学, 47(4): 1492-1506.

[58] 薛文卓, 陈彪, 张哲豪, 2019. BP-神经网络识别地层岩性-以银额盆地为例. 石化技术,(11):103-107.

[59] 郑延斌, 李国和, 2009. 支持向量机在地层识别中的应用. 河南师范大学学报(自然科学版),(2):37-39.

基金资助

国家自然科学基金面上项目(41972305)

原创探索计划项目(42050103)

地质过程与矿产资源国家重点实验室科技部专项经费资助(MSFGPMR2022-3)