基于模型迁移学习的铸铁管漏水信号检测研究

Leak Detection of Cast Iron Pipes Based on Model Transfer Learning

摘要

为解决管道漏水检测模型泛化能力低、各种材质管道漏水数据难以全面采集导致数据缺失，设计并提出基于一维卷积神经网络构建的PVC管道漏水检测模型（1D_CNN），检测铸铁管是否漏水。为提高PVC漏水检测模型的泛化能力，通过基于模型的迁移学习方法，微调PVC管道漏水检测模型（1D_CNN）的卷积层数目、激活函数、池化层大小、学习率与优化器等参数与结构，使已有的检测模型（1D_CNN）学习铸铁管漏水数据的特征分布，检测铸铁管是否存在漏水情况。实验使用的铸铁管道漏水数据集中有204 800个样本，已有的PVC管道漏水数据集中有409 600 000个样本，两者均为时序数值型数据。实验结果显示：基于模型的迁移学习方法，使PVC漏水检测模型（1D_CNN）对铸铁管漏水数据检测的准确率由60%提升至92%，表明提出的方法有效。

Abstract

To address the problems that leak detection models for pipelines have a weak generalization ability and data missing can be caused due to the difficulty in comprehensively collecting leak data for various types of pipelines， this study designed and proposed an approach to transfer a PVC pipe leak detection model based on one-dimensional convolutional neural network （1D_CNN）， so as to detect leaks of cast iron pipes. To improve the generalization ability of 1D_CNN， model-based transfer learning was used to fine-tune its parameters and structures such as the number of convolutional layers， activation function， pooling layer sizes， learning rate， and optimizers. This made the existing detection model 1D_CNN can learn the feature distribution of leak data from cast iron pipes and thus detect their leaks. There were 204 800 samples in the cast iron pipe leak dataset for the experiment， and the existing PVC pipe leak dataset contained 409 600 000 samples， both of which were time-series numerical data. The experimental results showed that the model-based transfer learning approach improved the accuracy of the 1D_CNN in detecting leaks of cast iron pipes from 60% to 92%， indicating the effectiveness of the proposed method. This method can shorten the time required to train new detection models， reduce data dependency， and has generalizability.

Graphical abstract

关键词

漏水检测 / 数据缺失 / 检测模型 / 神经网络 / 迁移学习

Key words

leak detection / data missing / detection model / neural network / transfer learning

城市供水系统是一项重要的基础设施，由于管道在使用过程中的老化或损坏等原因，常出现管道漏水问题。因此准确检测供水管道的漏水现象对保障居民生活和经济发展至关重要。

近年来，随着机器学习和深度学习的蓬勃发展，管道泄露检测研究也在逐步发展。聂维等^［1］提出一种基于一维卷积神经网络（1D_CNN）和长短期记忆网络（LSTM）相结合的管道漏水识别方法，该方法可以更有效地提取漏水数据特征参数，使漏水的检测精度显著提升。李旭光^［2］通过天然气管道首末端流量时间序列特征，提出一种基于巴氏距离判断首末端时间序列相似性方法，进行天然气管道泄漏检测，该方法可及时发现天然气管道泄露事件，提高了天然气管道的安全性与可靠性。罗东浩^［3］提出基于深度学习的海底管道泄漏检测方法，通过对海底管道图像的处理，使用基于深度学习的目标分割网络与目标检测网络，判断可疑管道是否存在泄露的情况。季舒瑶等^［4］针对供水管道泄漏检测方法缺乏识别分类功能，设计了一套基于HHT变换和BP神经网络的供水管道泄漏检测和分类方案，通过功率谱和HHT变换提取出典型频率特征用于泄漏检测；IMF分量的归一化能量结合BP神经网络用于分类识别泄漏类型，经研究证明，该方法在检测与分类的精确度上有一定优势。

尽管基于机器学习和深度学习的管道泄漏检测技术已经取得一定成果，但通过对现有文献的分析可以发现，绝大多数研究均在管道网络拥有充分历史数据的条件下进行。深度学习方法在故障检测任务中，通常依赖大量的历史数据用于模型训练，在数据稀缺的情况下，模型的检测性能难以达到理想水平。

迁移学习是目前应对小样本数据集的主要研究方法之一。Gopalakrishnan等^［5］使用预训练的深度卷积神经网络（DCNN）模型和迁移学习实现了路面裂缝的自动检测，从而显著提升在数据极小下深度卷积神经网络（DCNN）的检测性能。王晓霞等^［6］提出一种基于迁移学习的小样本光伏发电功率短期预测方法，解决了新建光伏电站历史数据匮乏导致功率预测精度不足的问题。Zhang等^［7］采用基于迁移学习的卷积神经网络（convolutional neural network，CNN）和长短期记忆网络（LSTM）的方法来分析供应链数据，并对潜在的供应链风险进行精准的预测。郭俊锋等^［8］提出基于二次迁移学习的滚动轴承不平衡数据集故障诊断方法，解决了滚动轴承在运行过程中正常工作状态时间长、故障时间短导致数据集不平衡的问题。王克定等^［9］通过拼接CNN⁃双向门控循环网络（bidirectional gated recurrent unit， BiGRU）⁃随机森林（random forest， RF）结合迁移学习的方法，解决了轴承样本少导致故障诊断率低的问题，模型具有更优的诊断准确率与泛化能力。

供水管道漏水检测模型预测泛化能力低导致各种材质的管道漏水数据难以全面采集，可用的数据集有限，某种管道的漏水检测模型不能准确识别出其他材质的管道是否漏水。为解决这一问题，本文探索使用迁移学习的方法。通过基于模型的迁移学习，将已有的PVC管道漏水检测模型（1D_CNN）迁移到铸铁管的漏水检测工作上，从而降低铸铁管漏水检测中对数据完备性与质量的要求，应对漏水检测模型泛化能力低的问题，省去构建新漏水检测模型的时间成本。

1 迁移学习

迁移学习的主要目的是通过利用一个或多个源领域中已获取的知识或模型，应用到不同但相关的领域中，从相关领域中迁移标注数据或者知识结构，来完成或改进目标领域或任务的学习效果^［10-11］。领域（D）和任务（T）是迁移学习问题中形式化的两个基本概念。领域是进行迁移学习的主体，通常用公式（1）表示。X，Y分别表示域的样本特征空间和样本的标签空间，（x_i，y_i ）表示训练样本，x_i ∈X，y_i ∈Y。

D=\left\{(x_i,y_i)\in X\times Y:\mathrm{1}\le i\le N\right\}。（1）

任务（T）是进行迁移学习的目标，任务由标签和标签对应的函数两部分组成。用f（·）表示一个学习函数，则任务为

T=\{Y,f(·)\}，（2）

其中，学习函数f（·）由公式（1）中的训练样本（x_i，y_i ）学习得到，在统计学中可以表示为条件概率分布f(x)=Q(x|y)。迁移学习可以总体概括为将源领域D_S（source domain）学习到的知识迁移到目标域D_T（target domain）中，目标域的问题往往没有或很少有相关的解决方法，源域则可以提供更多的解决方法。

本文提出基于模型迁移学习的方法进行铸铁管漏水数据检测。将基于卷积神经网络构建的PVC管道漏水检测模型（1D_CNN），迁移到铸铁管漏水检测的过程，包括预训练模型、模型的微调优化和检测。具体步骤如下：（1）在数据输入网络模型之前对数据进行标准化处理；（2）选择模型作为预训练模型； （3）模型微调，将预训练模型迁移到目标任务中，并使用目标域数据的训练集及其标签，按照反向传播算法有监督地训练该目标任务模型，训练期间根据模型的表现，冻结和调整特征提取部分并且对预测部分进行训练学习，达到模型的微调优化目的；（4）使用微调后的模型计算网络输出，得到漏水预测结果。

2 预训练模型

预训练模型选择基于卷积神经网络构建的PVC管道漏水检测模型（1D_CNN）^［12］，结构如图1所示。模型由输入层、卷积层、Dropout层、最大池化层、全平均池化层和全连接层组成。其中各卷积层的卷积核大小×通道数依次为：32×16、64×16、64×8、128×6、56×8，步长均设置为1。最大池化层的池化大小为7，步长设置为64。考虑到后续层提供更多的灵活性，第一层卷积没有设置激活函数，其余卷积层与全连接层选择的激活函数分别为relu、tanh、softmax。此模型中卷积层和池化层交替出现，并最终通过全连接层的激活函数输出漏水标签。

3 数据集采集与模型验证

3.1 数据采集

本研究采用CT1005LC压电加速度传感器作为模拟信号的采集器，采集铸铁管的漏水数据，各参数见表1。

本研究中的网络模型是基于Anaconda3、Pycharm集成开发环境，Python3.7和torch深度学习框架搭建的，数据预处理过程通过调用pandas、numpy等库实现。为便于后续数据标注，将采集到的时序数值型数据根据漏水与不漏水，分别制作存放为csv格式的表格。在分析铸铁管数据采集过程中数据变化波形的周期情况时，发现数据波动周期主要集中在1 024点以内。为使数据样本最少包含一个周期波形，则排除前期传感器启动时的误差并去掉采集数据末尾不足一个周期的数据。将每次采集的铸铁管数据以1 024个样本为一行，每行的末尾放置标签，漏水数据的标签为1，不漏水数据的标签为0，制作成csv格式的数据集存入data表中，如图2所示。其中，采集铸铁管数据时漏水程度大小不一，按照漏水程度由大到小依次存为data 1~data 6，采集不漏水数据存为data 7。每个data表格以1 024个样本为一行，存100行。因为数据采集过程中传感器启动和关闭时，传感器的稳定性会影响数据的质量，所以将传感器处于稳定状态下采集到的data 3、data 4两个表中包含的200行数据带入预训练模型进行二次训练。

3.2 验证模型

本研究使用准确率（A）、损失率（L）作为训练模型的评价指标。准确率计算公式为

A=\frac{V_{\mathrm{T}\mathrm{P}}+V_{\mathrm{T}\mathrm{N}}}{V_{\mathrm{T}\mathrm{P}}+V_{\mathrm{T}\mathrm{N}}+V_{\mathrm{F}\mathrm{P}}+V_{\mathrm{F}\mathrm{N}}}，（3）

V_TP是被正确预测为漏水的样本数，V_TN是被正确预测为不漏水的样本数，V_FP是被错误预测为漏水的样本数，V_FN是错误预测为不漏水的样本数。A越大说明模型对漏水数据的检测准确率越高。损失率选择二分类问题中常用的二元交叉熵损失函数表示，计算公式为

L=-(y_{\mathrm{t}}\times \mathrm{1}\mathrm{o}\mathrm{g}(y_{\mathrm{p}})+(\mathrm{1}-y_{\mathrm{t}})\mathrm{l}\mathrm{o}\mathrm{g}(\mathrm{1}-y_{\mathrm{p}}))，（4）

y_t表示数据的真实标签，y_p表示数据的预测标签值。损失率通常用来衡量模型的预测结果与真实结果之间的误差，损失率越低表示模型对漏水数据的预测结果越接近于真实值。

将采集的铸铁管数据预处理后加载到预训练模型（1D_CNN）进行训练，没有调整任何参数，结果如图3所示。

从图3可知，当模型在Epoch接近60的时候，准确率只能达到约为0.85的最优值，其余均在60%左右，效果不理想并且模型继续训练至Epoch=100时，仍无法收敛，所以基于PVC管道的漏水检测模型（1D_CNN），并不能完全识别并检测铸铁管所产生的漏水数据。

4 模型的迁移优化

模型的表现受卷积层数目、激活函数、池化层大小、训练样本数量等因素的影响。预训练模型仅识别PVC管道上采集到的数据，为使预训练模型能够对铸铁管上采集到的数据进行检测识别，通过迁移学习的方法对预训练模型从以下几方面微调修改，从而降低对数据量的要求和依赖性，省去重新训练模型的时间及计算资源。

4.1 调整适合的卷积层数目

调整模型的卷积层数目能够使模型提高准确率并快速的收敛。为确定适用于铸铁管管道的1D_CNN检测模型中卷积层的数量，调整卷积层数目时，先固定优化器、卷积核数目、池化大小、激活函数与正则化策略，只改变网络的卷积层数目。对比卷积层数目不同时模型对同一漏水问题的分类准确率与损失率，从而确定目标模型的卷积层数目。由于第一层卷积只提取低级的特征，如图像中的边缘、颜色、梯度方向等^［13］，更多层的卷积层网络再从基本低特征中迭代提取复杂特征^［14］，所以卷积层数目从2开始选取。图4是不同卷积层数目对准确率的影响，以Epoch=60为界线，可以看出卷积层数目分别为2、3、4、6时，准确率接近于1.0的速度，当卷积层数目为6时，模型的准确率能快速接近1.0且趋于稳定。图5为将卷积层数目设置为6时模型的训练过程，由图5可知，当卷积层数目为6时，模型的准确率能够较快接近于1.0且趋于稳定，故将预训练模型（1D_CNN）中的卷积层数目调整为6。

4.2 调整适合的激活函数

激活函数（activition function）是深度学习神经网络中的一个非常重要的组件。在基于卷积神经网络的漏水检测模型中，激活函数的作用是引入非线性特性，判定神经元的输出和进行特征空间的变换，从而帮助神经网络更好地学习和识别漏水信号，适应复杂的数据分布。应用的激活函数有sigmoid函数、tanh函数和relu函数。

本研究的本质是对管道数据信号进行分类（即漏水与不漏水），而在分类问题中常用于输出层的激活函数有sigmoid、softmax等，sigmoid常用于二分类问题，softmax常用于多分类问题。故在输出层选择sigmoid函数，其函数式为

a^l=\frac{\mathrm{1}}{\mathrm{1}+{\mathrm{e}}^{-yl}}（5）

tanh函数又称双曲正切函数，在漏水检测模型中，tanh激活函数可以帮助网络学习并捕捉漏水信号与不漏水信号之间的复杂非线性关系。由于tanh函数的输出范围是-1~1，可方便地将输出解释为某种程度的漏水信号（0表示不漏水状态，1表示漏水状态），其数学表达式为

a^l=\frac{{\mathrm{e}}^{y^l}-{\mathrm{e}}^{-y^l}}{{\mathrm{e}}^{y^l}+{\mathrm{e}}^{-y^l}}。（6）

relu函数又称为线性整流函数，在漏水信号检测模型中，relu激活函数同样可以帮助网络学习并捕捉漏水信号与不漏水信号之间的复杂关系。因为其简单性和缓解梯度消失的能力，relu可以加速网络的训练过程，使得模型能够更快地收敛到最优解。此外，relu的稀疏性也有助于模型在训练过程中自动选择对检测漏水信号更为重要的特征，进一步提高模型的检测性能，其表达式为

a^l=\mathrm{m}\mathrm{a}\mathrm{x}(\mathrm{0},y^l)。（7）

同4.1的方法，保持其他参数不变，调整激活函数。在对比使用不同激活函数所展示的训练效果后，在隐藏层中考虑交叉使用tanh与relu函数作为激活函数，而sigmoid函数作为最后的分类器函数。由于上文中确定卷积层数目为6，故激活函数数目也确定为6（图6）。由图6可知，当卷积层数目为6且使用原1D_CNN模型中的激活函数tanh进行训练时，激活函数tanh并不能对模型的收敛速度与稳定性起到积极的促进作用。

将激活函数换为relu进行训练（图7）。由图7可知，当卷积层数目为6且使用激活函数relu进行训练时，虽然使模型的收敛速度加快，但在训练过程中，模型的准确率与损失率不能稳定地向单一趋势发展。综合图6-7，激活函数tanh与relu并不能对模型训练过程产生相应的积极作用，甚至仅使用激活函数tanh时弊大于利^［15］。尝试将激活函数tanh与relu以交替的方式来使用（图8）。由图8可知，当交替使用激活函数tanh与relu时，能提升模型的收敛速度并且提高准确率，降低损失率。

4.3 调整池化层大小

池化层实际上是一种形式的降采样，分为最大池化、平均池化、全局平均池化与全局最大池化，池化层会不断减小数据的空间大小，因此参数的数量和计算量也会下降，这在一定程度上也控制了过拟合^［16］，池化层一般在卷积层之后周期使用。同理，改变池化层大小为2、4、6、7、8、9，对比模型在不同池化大小时的训练效果，从而确定池化大小（表2）。

从表2可知，不同的池化层大小对应的收敛批次都在20左右。但随着训练批次的加深，池化大小为2、4、9的模型，都在后续出现了损失率loss接近最优值时多次振荡的情况，且损失率最大值过高，池化大小为6、7、8的模型未出现上述情况。综合收敛批次、loss振荡批次以及loss最大值，将池化层大小调整为7。

4.4 调整学习率与优化器

batch_size是模型一次训练样本的数量大小，它对模型准确率、损失率以及收敛情况有重要影响^［17］，同样固定参数，只改变batch_size的大小。图9-10是不同batch_size大小对训练过程中损失率和准确率的影响。

由图9-10可知，当batch_size为9时，损失率降低很快，准确率可很快地接近1.0，反之亦然。则先前已训练好1D_CNN模型在使用rmsprop优化器和学习率为0.004的条件下，越小的batch_size收敛所需批次越小；其次从loss值的振荡角度来看，越小的batch_size振荡次数越少。考虑到不同的batch_size都存在着loss振荡情况，并且与rmsprop相比，adam优化器在接近最优值时振荡较少，训练速度更快。为求模型在不同的训练样本数量的情况下，能更快地收敛与减少接近最优值时的振荡次数，在先前的1D_CNN模型中将优化器从rmsprop更换为adam，学习率变为0.001。图11是已改变模型的其他参数再调整优化器与学习率后获得的训练效果。由图11可知，当准确率与损失率接近最优值时，未出现振荡的情况，且模型收敛的速度较快，这证明模型的各项性能已达到了目标要求。

5 实验结果分析

在之前PVC管道上采集的数据训练出的检测模型（1D_CNN）基础上，对卷积层数目、激活函数、优化器与学习率、池化大小进行微调。经微调操作后的检测模型（1D_CNN）通过验证，能够很好地识别铸铁管上采集的数据。将样本量为200×1 024的铸铁管数据集进行数据预处理后，加载到经过调整后的模型，图12是对铸铁管测试数据集进行检测的结果，检测准确率为92%，达到了较为理想的检测值。上述过程完成了将PVC管道漏水检测模型1D_CNN迁移到铸铁管的优化。

6 结语

本文针对管道漏水检测模型泛化能力低、各类管道的漏水数据难以采集导致数据集缺失的问题，设计并提出迁移PVC管道漏水检测模型（1D_CNN）检测铸铁管是否漏水。基于迁移学习的理论，可以从基于模型的迁移学习角度解决这个问题，通过实验证明了迁移学习在管道漏水检测领域的可行性。该方法可以缩短训练检测模型的时间、减少数据依赖性且具有推广性。在后续的工作中，会继续探索如何使用迁移学习的其他方法来提高模型的适用性与泛化性。

参考文献

[1] 聂维， 江竹， 刘伯相， 等. 一维卷积长短期记忆神经网络的管道泄漏检测方法［J］. 中国农村水利水电， 2022（1）： 147-152.

[2] 李旭光. 基于时间序列相似性度量的天然气管道泄漏检测方法研究［D］. 重庆： 重庆大学， 2022.

[3] 罗东浩. 基于深度学习的海底管道泄漏检测方法［D］. 哈尔滨： 哈尔滨工程大学， 2019.

[4] 季舒瑶， 袁飞， 程恩， 等. 基于声传播特性的供水管道泄漏检测与分类［J］. 南京大学学报（自然科学）， 2015， 51（S1）： 64-71.

[5] GOPALAKRISHNAN K， KHAITAN S K， CHOUDHARY A， et al. Deep convolutional neural networks with transfer learning for computer vision-based data-driven pavement distress detection［J］. Construction and Building Materials， 2017， 157： 322-330.

[6] 王晓霞， 艾兴成， 王涛. 基于实例迁移学习的小样本光伏功率短期预测［J］. 太阳能学报， 2024， 45（6）： 325-333.

[7] ZHANG Y P， SHANKAR A. Enhancing supply chain transparency and risk management using CNN-LSTM with transfer learning［J］. Journal of Organizational and End User Computing， 2023， 35（1）： 1-22.

[8] 郭俊锋， 王淼生， 王智明. 基于对不平衡数据集进行二次迁移学习的滚动轴承剥落类故障诊断方法［J］. 上海交通大学学报， 2023， 57（11）： 1512-1521.

[9] 王克定， 李敬兆， 石晴， 等. 基于深度迁移学习的矿井通风机轴承故障诊断［J］. 机床与液压， 2023， 51（22）： 209-214.

[10] WEISS K， KHOSHGOFTAAR T M， WANG D D. A survey of transfer learning［J］. Journal of Big Data， 2016， 3（1）： 9.

[11] 陈文艺， 许洁， 杨辉， 等. 基于深度学习的单张图像畸变校正［J］. 激光与光电子学进展， 2020， 57（24）： 323-330.

[12] 左保成.漏水信号数据集的增强处理研究［D］.呼和浩特：内蒙古师范大学，2023.

[13] 刘艳鹏， 朱立新， 周永章. 卷积神经网络及其在矿床找矿预测中的应用：以安徽省兆吉口铅锌矿床为例［J］. 岩石学报， 2018， 34（11）： 3217-3224.

[14] 姬晓飞， 秦琳琳， 王扬扬. 基于RGB和关节点数据融合模型的双人交互行为识别［J］. 计算机应用， 2019， 39（11）： 3349-3354.

[15] CHEN G Y， WANG Q Y， LI X， et al. Target detection based on a new triple activation function［J］. Systems Science & Control Engineering， 2022， 10（1）： 629-635.

[16] 赵昭. 基于深度神经网络的肺部肿瘤的检测与分割［D］. 南京： 东南大学， 2020.

[17] 曲建岭， 余路， 袁涛， 等. 基于一维卷积神经网络的滚动轴承自适应故障诊断算法［J］. 仪器仪表学报， 2018， 39（7）： 134-143.

基金资助

中央引导地方科技发展资助项目“基于‘人工智能+’管道漏水检测系统的实现”(2024ZY0144)

内蒙古自治区研究生教育教学改革资助项目“多维度创新型研究生导师团队建设提升培养研究生创新能力的探索”(JG2024001Z)