基于深度学习的水下混凝土结构表观缺陷智能化识别研究

Intelligent Identification of Apparent Defects in Underwater Structures Based on Deep Learning

摘要

受水体浑浊度、水下光线、水流速度等复杂因素的影响，传统的人工检测方法难以对水下混凝土结构的表观缺陷实施精确的检测与识别。本文提出基于深度学习算法的水下结构表观缺陷智能化识别技术，通过模拟复杂水域环境建立水下结构典型表观缺陷的数据库，再由图像增强算法进行小样本数据扩充和预处理，最后通过YOLOv5 （You Only Look Once）目标识别算法实现不同类别缺陷的自动化识别与定位。结果表明，该技术能够取得良好的效果，平均精度均值mAP值、查准率（Precision）都达到了83%以上，在一定程度上能解决因水下场景复杂、采集样本量少而导致的模型识别精度不高的问题。

Abstract

Apparent defects in underwater concrete structures are significantly challenged by complex environmental factors including water turbidity， variable lighting conditions， and flow velocity. These interferences lead to difficulties in defect localization and low recognition accuracy during underwater inspections. To address these limitations， this study proposes an intelligent recognition framework based on deep learning. The methodology integrates three key components： generation of a multi-scenario defect database replicating complex underwater environments； application of small-sample expansion and image enhancement algorithms for robust preprocessing； implementation of the YOLOv5 target detection algorithm for multi-category defect identification and localization. Experimental results demonstrate that the proposed approach achieves a mean average precision （mAP） of 83% and a recognition precision exceeding 83%. This framework effectively mitigates accuracy degradation caused by underwater environmental complexities and limited sample sizes， providing a reliable technical solution for automated structural health monitoring of submerged infrastructure.

Graphical abstract

关键词

水下结构 / 表观缺陷 / 识别 / YOLO算法 / 深度学习

Key words

underwater structures / apparent defects / identification / YOLO algorithm / deep learning

0 引 言

在水下检测过程中，因水体对光的吸收和散射、水体浑浊度等因素的影响，会出现成像雾化模糊、比度差、清晰度低等问题，使得检测过程中缺陷定位以及识别难度增大^［1］。近年来有不少学者将各式各样的图像处理和计算机视觉技术应用于水下结构检测领域。陈龙彪^［2］等对水下图像进行深度卷积重建，解决了水下图像分辨率低的问题。Ledig等^［3］运用超分辨率生成对抗网络，解决了水下图像退化现象，同时应用深度学习技术对水下图片进行分类。谢坤^［4］为了解决水下数据集匮乏的问题，使用GAN来生成更多的水下图像数据。骆剑彬等^［5］、吉同元等^［6］运用声呐系统测量水下结构桩墩缺陷，并结合深度学习网络进行桥墩缺陷的分类、定位及评价。Li等^［7］应用YOLOv3对大坝表面裂缝进行检测，可以快速有效地识别坝面的裂缝位置。Ali等^［8］提出了一种用于混凝土结构裂缝检测的定制卷积神经网络。面对水下环境复杂多变，能够获取的水下目标图像数量有限，无法覆盖所有场景的问题，Zeng等^［9］提出在Faster R-CNN检测器中加入对抗网络进行训练的方法，克服了水下相机性能、光源和自然光环境等因素的影响，但会导致提取的面板区域光照不均的问题。夏坚等^［10］提出了一种基于VGG16深度神经网络与迁移学习相结合的创新方法，有效解决了数据稀少的问题，同时显著提升了裂缝检测的准确率。周中等^［11］引入并优化了最新的YOLO系列神经网络，提升了裂缝识别的精准度。

针对水下成像清晰度低、难以实现缺陷精确检测等问题，本文提出了基于深度学习的方法来实现常见水下表观缺陷的自动化识别与定位，通过YOLOv5模型对三种水下混凝土表观缺陷进行测试，能达到准确识别各类缺陷和识别准确率（Precision）达到83%以上的效果。

1 YOLO算法基本理论

YOLO系列算法作为较为成熟的算法之一，在计算机视觉领域得到了广泛的应用，运用在水下结构缺陷检测分类中具有速度较快等特点，本文在目标自动识别方面采用较为先进的YOLOv5结构模型。

YOLOv5的网络结构主要由输入端（Input）、特征提取网络（CSPDarknet）、特征融合网络（PANet）、预测网络（YOLO head）四个模块组成，其网络结构如图1所示。

相比于其他版本的YOLO网络，YOLOv5模型最有效的改进是在图像的输入端采用Focus结构。该结构将输入的图像进行切片处理，具体处理方法是在一张图像内间隔一个像素取一个值，如同邻近下采样一般，最后可以得到四张特征图，四张特征图互补，整体差别不大，但是这个过程中没有出现特征的丢失。如此，W、H特征信息就集中到了通道空间中来，输入通道变成了原来的4倍。拼接成的图像相对于原来的RGB三通道变成了12个通道，最后将获得的新图像通过卷积操作，得到没有特征丢失情况下的2倍下采样特征图。其切片操作如图2所示。

同时，在YOLOv5的预测网络部分采用了GIOULoss^［12］损失函数以及非极大值抑制（NMS）。通过在上一层输出的特征图中添加锚框，同时输出内容为目标框位置的向量和目标对象的种类概率。在YOLOv5的训练阶段，使用的定位损失box_loss为GIOULoss，模型生成预测框并与真实框进行比较，使用GIOU计算预测框与真实框之间的重叠度，得到GIOU损失值，计算公式为

GIOU=IoU-\frac{A^{\mathrm{C}}-U}{A^{\mathrm{C}}}（1）

式中：A^{\mathrm{C}}是两个矩形的最小边界面积，也就是图3中所示的虚线框的面积；IoU为原始交并比，计算示意如图3所示。

图3中绿色框表示A^p；黑色框表示的是A^g，IoU的计算公式为

IoU=\frac{I}{U}（2）

式中：I表示图3中的阴影部分；U表示的是两个矩形面积之和A^p+A^g去掉两个矩形相交面积I。

因此IoU的具体计算公式为：

IoU=\frac{I}{U}=\frac{I}{A^{\mathrm{p}}+A^g-I}（3）

在YOLOv5的预测阶段，非极大值抑制（NMS）作为后处理步骤，该算法通常使用一个检测器来检测出可能存在的物体，并给出其位置和大小的预测框。然而，同一个物体可能会被多次检测出来，从而产生多个预测框。NMS在YOLOv5中的主要作用就是去除掉这些重叠的框，只保留最优的一个，从而实现检测结果的优化。值得注意的是，NMS的阈值通常需要根据具体的数据集和应用场景进行调整，以兼顾准确性和召回率。

2 数据库建立与验证

2.1　水下表观缺陷数据库的建立

水下基础作为建筑结构的承重构件，主要以混凝土结构为主。这些基础在水中长期服役，其结构会受水流的冲刷而产生裂缝；受承载力的影响会出现钢筋的裸露与锈蚀，同时表面易出现风化、剥落现象。本文的数据集是通过在实验室中模拟复杂水环境作用下，水下结构的三种典型缺陷特征（裂缝、露筋、剥落）而制作的。该试验的试件来自于压载试验后破坏的梁体，经过处理后置于水池中一段时间，运用水下相机进行缺陷数据的采集。具体来说，在试验室环境下制造了一批尺寸为70 cm×20 cm×12 cm的钢筋混凝土（RC）试块，并在28 d的养护期后，使用压力试压机对试块进行压载破坏，同时人工制造了形态各异的裂缝、露筋和剥落等典型缺陷特征。将受损试块浸入水中，并在15 cm的拍摄距离下使用GoPro相机记录试块的状态。视频记录后，从视频中按照每秒20帧的频率截取图像，得到的图像分辨率设定为512×512。之后将这些图像进行归一化操作，并筛选掉拍摄角度不佳或无缺陷的图片，将不同的缺陷按照剥落（B）、裂缝（L）、露筋（G）进行命名，三种表观缺陷如图4所示。

2.2　图像预处理

水下图片受水体抖动、光照以及拍摄环境的影响，会出现图像质量差的问题；同时试验采集的样本数据有限，因此在制作数据集之前本研究对部分图像进行了预处理，主要分为数据扩充和图像增强两部分。

（1） 数据扩充

为防止网络的过拟合，通过算法对图像进行转变，引入噪声来增加图像的多样性。如：通过旋转90°、180°、270°，水平翻转、垂直翻转，添加噪声等方法进行数据的扩充。

（2） 图像增强

为了使训练的模型能更好地适用于复杂的水域环境，采用带颜色保护的多尺度Retinex（MSRCP）^［13］算法对部分低质量水下缺陷图像进行增强。MSRCP算法为MSR算法的改进版本，MSR算法主要通过结合不同尺度的中心围绕函数经由加权平均后来预测光照分量，同时可以生成动态范围压缩良好的单一输出图像，计算公式为

r_i(x,y)={\displaystyle \sum _{k=\mathrm{1}}^N}{W}_k[log{l}_i(x,y)]-[log{l}_i(x,y)\times F_k(x,y)]（4）

式中：N是尺度个数，在MSR中N的取值为3，表示使用3个不同尺度的高斯滤波器对输入图像进行滤波处理；W_k 表示第k个尺度的加权系数，通常取W₁=W₂=W₃=1/3。

然而MSR算法明显带有过曝光的缺陷，不利于下一阶段的检测识别，而带颜色保护的多尺度Retinex算法（MSRCP）不仅能更清晰地揭示物体的细节和轮廓，还能明显降低过曝光的缺陷，便于观察图像中的病害。因此，本文选用MSRCP算法作为预处理阶段的图像增强手段。3种不同缺陷在浑浊水域中的增强效果对比结果如图5所示。

为进一步评价其效果，采用无参考水下彩色图像质量评估（UCIQE）和水下清晰度测量指标（UISM）来进行量化评价，其中UISM值越高，图像重建的质量就越好。而UCIQE值不宜超过0.35，否则会导致过曝光，具体评价指标见表1。

由表1可以看出，本文选用的MSRCP算法综合效果最好，UISM最高且UCIQE并未超过0.35，不会影响下一阶段的检测识别。

2.3　数据集的标准及划分

将预处理好的图片数据使用开源数据标注工具Labelimg进行PascalVOC^［14］格式的标注。标注的制作形式如图6所示。

从标注示意图中可以看出，每一张缺陷图片可能有多个标签，所以标签的数量会比图片的数量多。其中各种缺陷图片以及标签个数见表2。

为了验证算法鲁棒性，即该算法在复杂水域下对不同缺陷的识别效果，数据集中各种缺陷图片均为只通过简单图像预处理操作的图片。将数据集按照8∶2的比例划分为训练集、验证集用于YOLOv5s的训练和验证。数据集一共3 449张图片，即清水训练集2 792张，验证集657张，其中验证集中的429张是浑水数据集，为MSRCP增强过后的图片。

3 模型的训练与验证分析

3.1　试验环境

本文采用基于pytorch的深度学习框架进行训练和验证，选用YOLOv5的轻量化模型YOLOv5s对水下表观缺陷进行定位及分类检测。该实验训练与验证的计算机配置见表3。

实验的训练次数设置为150回合。在训练前50个回合，初始学习率和最小学习率分别设置为10e-3和10e-5。50回合后初始学习率和最小学习率则分别设置为10e-4和10e-5。前50回合批量大小为8，50回合后批量大小为16，训练用的初始模型权重为YOLOv5s.pt。为评估算法的训练效果，选择第150回合训练后的模型权重用于验证集预测。

3.2　评价指标

从定量和定性两个指标进行测试评估。定性指标是指模型对水下环境的缺陷识别过程中，能否准确地对缺陷进行定位和分类；定量指标主要通过查准率（Precision）、平均精度（AP）、平均精度均值mAP来评价^［15］。

3.3　结果分析

为了更为直观地体现YOLOv5s的性能，在同样的硬件环境下，将同一数据集按照同样的划分方式，运用SSD和YOLOv5s网络进行对比，验证结果mAP_0.5值（表示IoU阈值0.5时的mAP值）、查准率（Precision）对比见表4。

从表中可以看出，对于相同的水下结构表观缺陷数据集，YOLOv5s模型在平均精度均值 （mAP）和召回率（Recall）方面表现优异，而SSD模型在查准率（Precision）方面表现更好。综合来看，YOLOv5s模型在整体性能上更为平衡和优秀，更适合用于水下缺陷检测。

基于YOLOv5s和SSD模型的三种水下表观结构缺陷识别对比结果如图7所示。

图中框边的字母表示水下表观缺陷的类别，数字代表置信度。可以明显看出，对于水下环境下的各种缺陷类型，YOLOv5s网络能很好地识别，三种情况的检测结果都比较好，该标注的缺陷基本上得到很好地定位，并且每个种类的标注都正确无误。

4 结 论

本文提出了基于深度学习的图像识别算法，构建YOLOv5s模型进行水下结构表观缺陷识别。通过对水下受力破坏梁体的数据采集，再经过数据集的划分及数据增强，然后进行训练和验证，最后对试验结果进行分析。本文提出的YOLOv5s模型在水下结构检测中能够很好地对表观缺陷进行定位和分类，可以为桥梁桩墩、码头、大坝等水下建筑的维修和养护工作提供技术支撑。

参考文献

[1] 陈从平，邹雷，汪卫.基于轮廓特征的水下混凝土结构表面裂缝检测算法［J］.计算机测量与控制，2014，22（5）：1496-1498.

[2] CHEN Congping，ZOU Lei，WANG Wei.Underwater concrete structure surface crack detection algorithm based on contour features［J］.Computer Measurement and Control，2014，22（5）：1496-1498.（in Chinese）

[3] 陈龙彪，谌雨章，王晓晨，基于深度学习的水下图像超分辨率重建方法［J］.计算机应用，2019，39（9）：2738-2743.

[4] CHEN Longbiao，CHEN Yuzhang，WANG Xiaochen，et al.Underwater image super-resolution reconstruction method based on deep learning［J］.Journal of Computer Applications，2019，39（9）：2738-2743.（in Chinese）

[5] LEDIG C，THEIS L，HUSZAR F，et al.Photo-realistic single image super-resolution using a generative adversarial network［C］.2017 IEEE Conference on Computer Vision and Pattern Recognition，2016：105-114.

[6] 谢坤.基于暗通道先验和水体浑浊度识别的水下图像增强算法［D］.厦门：厦门大学，2018.

[7] XIE Kun.An underwater image enhancement algorithm based on dark channel prior and water turbidity recognition［D］.Xiamen：Xiamen University，2018.（in Chinese）

[8] 骆剑彬，姜绍飞，沈圣，基于声呐成像的水下桩墩表观病害深度学习与智能检测［J］.土木工程学报，2021，54（7）：90-100.

[9] LUO Jianbin，JIANG Shaofei，SHEN Sheng，et al.Deep learning and intelligent detection of apparent defects on underwater foundations of bridges with sonar imaging［J］.China Civil Engineering Journal，2021，54（7）：90-100.（in Chinese）

[10] 吉同元，李鹏飞，张润，三维成像声呐在水下灌注桩缺陷检测中的应用探讨［J］.岩土工程学报，2021，43（S2）：170-173.

[11] JI Tongyuan，LI Pengfei，ZHANG Run，et al.Application of 3D imaging sonar in defect detection of underwater bored piles［J］.Chinese Journal of Geotechnical Engineering，2021，43（S2）：170-173.（in Chinese）

[12] LI L，ZHANG H，PANG J，et al.Dam surface crack detection based on deep learning［C］//2019 International Conference on Robotics，Intelligent Control and Artificial Intelligence，New York，USA：738-743.

[13] ALI L，ALNAJJAR F，JASSMI H A，et al.Performance evaluation of deep CNN-based crack detection and localization techniques for concrete structures［J］.Sensors，2021，21（5）：1688.

[14] ZENG L，SUN B，ZHU D.Underwater target detection based on Faster R-CNN and adversarial occlusion network［J］.Engineering Applications of Artificial Intelligence，2021，100（4）：104190.

[15] 夏坚，周利君，张伟.基于迁移学习与VGG16深度神经网络的建筑物裂缝检测方法［J］.福建建设科技，2022（1）：19-22，60.

[16] XIA Jian，ZHOU Lijun，ZHANG Wei.Building crack detection method based on transfer learning and VGG16 deep neural network［J］.Fujian Construction Science and Technology，2022（1）：19-22，60.（in Chinese）

[17] 周中，闫龙宾，张俊杰，基于YOLOX-G算法的隧道裂缝实时检测［J］.铁道科学与工程学报，2023，20（7）：2751-2762.

[18] ZHOU Zhong，YAN Longbin，ZHANG Junjie，et al.Real-time detection of tunnel cracks based on YOLOX-G algorithm［J］.Journal of Railway Science and Engineering，2023，20（7）：2751-2762.（in Chinese）

[19] REZATOFIGHI H，TSOI N，GWAK J Y，et al.Generalized intersection over union：A metric and a loss for bounding box regression［J］.IEEE，2019.

[20] GUO T，WEI Y，SHAO H，et al.Research on underwater target detection method based on improved MSRCP and YOLOv3［C］//2021 IEEE International Conference on Mechatronics and Automation （ICMA）.IEEE，2021：1158-1163.

[21] EVERINGHAM M，ZISSERMAN A，WILLIAMS C K I，et al.The PASCAL visual object classes challenge 2006 （VOC2006） results［R］.2006.

[22] PADILLA R，PASSOS W L，DIAS T L B，et al.A comparative analysis of object detection metrics with a companion open-source toolkit［J］.Electronics，2021，10（3）：279.

基金资助

国家自然科学基金项目(51908136)