基于改进YOLOv8的道路缺陷检测

Road Defect Detection Based on Improved YOLOv8

摘要

针对道路缺陷小目标在复杂背景下检测精度低、 漏检误检率高、 泛化能力欠佳的问题， 提出了一种改进YOLOv8的道路缺陷检测算法SGBNet。首先， Neck部分用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network， BiFPN）替换PANet， 提升模型的特征融合能力； 其次， Neck引入全局注意力机制（Global Attention Machanism， GAM）， 在特征融合阶段进行注意力调整， 提高检测精度； 最后， 添加小目标检测层， 进一步增强深层语义信息与浅层语义信息的结合， 提高对道路缺陷小目标的检测能力。与原始YOLOv8n算法相比， 算法SGBNet的精确率、 召回率和平均精度分别提升了3.3%， 2.5%和2.5%， 实现了对道路缺陷更精准的检测。

Abstract

A road defect detection algorithm SGBNet， which improves YOLOv8， is proposed to address the issues of low detection accuracy， high missed and false detection rates， and poor generalization ability of small targets with road defects in complex backgrounds. Firstly， the Neck part replaced PANet with BiFPN weighted bidirectional feature pyramid to improve the feature fusion ability of the model. Secondly， GAM is introduced into Neck to adjust attention in the feature fusion stage and improve the detection accuracy. Finally， a small target detection layer is added to further enhance the combination of deep semantic information and shallow semantic information. and improve the ability to detect small objects with road defects. Compared with the original YOLOv8n algorithm， the accuracy， recall， and average accuracy of the algorithm SGBNet has been improved by 3.3%， 2.5%， and 2.5%， respectively， achieving more accurate detection of road defects.

Graphical abstract

关键词

道路缺陷检测 / 双向特征金字塔网络（BiFPN） / 全局注意力机制（GAM） / 小目标检测层

Key words

road defect detection / bi-directional feature pyramid network（BiFPN） / global attention machanism（GAM） / small object detection layer

0 引　言

随着城市人口和交通流量的逐渐增加， 道路病害引起了人们广泛关注， 如凹坑、 裂缝、 坑洞以及塌陷等异常问题将直接影响交通效率和行车安全。在“十四五”现代综合交通运输体系发展规划中明确规定， 要强化交通运输领域关键核心技术研发， 利用科技手段开展公路风险动态监测预警和分析研判^［1］。因此， 对道路损伤进行快速准确检测已成为当务之急。

传统的道路缺陷检测主要是通过数字图像处理技术识别裂缝的颜色、 形状、 边缘等特征。王兴^［2］利用小波变换识别复杂道路裂缝， 然而数据采集容易受噪声影响， 对分散的缺陷检测精度低。人工方法效率低、 鲁棒性差， 不能满足日益增加的道路养护需求。随着人工智能技术的不断革新， 深度学习算法被应用于路面缺陷检测中， 主要包括两阶段检测算法和单阶段检测算法。两阶段检测算法有R-CNN、 Fast R-CNN、 Faster R-CNN等。如Cha等^［3］开发了两阶段目标检测算法Faster R-CNN检测混凝土路面的病害， 但其检测效率不能满足工程中实时检测的需求。单阶段检测算法有SSD算法和YOLO系列算法。YOLO算法不仅速度快， 而且检测精度高， 得到很多人关注。陈旭丹等^［4］运用YOLOv1算法对道路缺陷进行检测， 实现了对路面病害的准确识别。Zhang等^［5］对YOLOv3算法进行了改进， 首先在具有相似几何形状的数据集上进行预训练， 之后引入批量正则化和Focal loss来提高检测精度， 实验结果表明该方法性能优于YOLOv3和Faster R-CNN算法。罗晖等^［6］提出了改进YOLOv4多尺度道路病害检测算法， 采用CSPDarknet-53骨干网络代替普通卷积， 使用Focal loss优化YOLOv4中的损失函数， 同时利用裁剪、 翻转、 调整亮度、 噪声扰动等数据增强方式扩充数据集。Yu等^［7］使用YOLOv5进行道路裂缝检测， 并进行了轻量化改进， 大幅度缩减了模型参数体量， 提升了检测速度到85帧/s。倪昌双等^［8］改进YOLOv7算法并运用于沥青路缺陷检测中， 使用K-means++聚类算法和漏斗激活函数F-ReLU有效解决了传统卷积网络检测精度低、 定位不准等问题。

基于此， 本文以单阶段YOLOv8算法为基础， 为解决其在复杂背景下道路缺陷小目标检测中准确性低、 泛化能力欠佳的问题， 提出了一种改进YOLOv8道路缺陷检测算法SGBNet。

1 YOLOv8算法

YOLOv8作为最新的YOLO模型， 是一种单阶段目标检测算法， 能对图像中的目标进行快速有效的定位和识别。本文使用的YOLOv8n由4个部分构成， 包括输入端（Input）、 主干网（Backbone）、 Neck模块和Head输出端， 其结构如图 1 所示。

输入端进行Mosaic数据增强^［9］、 自适应锚框计算和自适应灰度填充。主干网由Conv、 C2f和SPPF构成， C2f借鉴YOLOv7的ELAN思想^［10］， 通过并行更多分支保证轻量化同时获得更加丰富的梯度流信息， 并增加Split操作。Neck模块采用PANet结构捕获上下文信息， 加强网络特征融合能力。输出端将分类和检测过程进行解耦。

YOLOv8是一种检测精度高、 速度快的算法， 但其对复杂背景下道路缺陷小目标检测精度低， 因此， 本文提出了SGBNet算法。

2 SGBNet算法

SGBNet网络结构如图 2 所示， 首先在Neck中用双向特征金字塔网络（Bi-directional Feature Pyramid Network， BiFPN）替换PANet， 通过跨尺度加权连接， 实现自顶向下和自底向上双向特征融合， 提升模型的特征融合能力。其次， Neck引入全局注意力机制（Global Attention Machanism， GAM）， 在特征融合阶段进行注意力调整， 提高检测精度。最后， 添加小目标检测层， 进一步增强深层语义信息与浅层语义信息的结合， 提高对道路缺陷小目标的检测能力。

2.1 BiFPN

YOLOv8n采用PANet结构， 如图 3 所示， 由特征金字塔网络（Feature Pyramid Network， FPN）和路径聚合网络（Path Aggregation Network， PAN）两部分组成， 用于融合不同尺度特征图的语义信息和空间信息， 采用单一的自顶向下和自底向上进行特征融合^［11］。

FPN可获取多张不同尺度的图像提高算法性能， 获得更加鲁棒的语义信息， 但FPN对不同层存在语义差异， YOLOv8n直接使用至路面缺陷检测过程中同样存在这个问题。

BiFPN是在FPN的基础上改进的， 增加了上下文信息的边， 并对每个边乘以一个相应的权重， 从而更加有效地进行特征融合， 对于算法缺陷检测精度提升明显。BiFPN思路为： 假设一个节点仅有一个输入边， 且没有特征融合， 那么删除它来简化双向网络。在此基础上， 如果输入和输出在同一水平且通道数相同， 则增加额外的边， 不增加太多成本融合更多特征^［12］。PANet使用一个双向路径^［13］， 而BiFPN重复使用双向路径达到更高层次特征融合， 并通过神经架构搜索（Neural Architecture Search， NAS）技术计算使用次数^［14］。BiFPN网络结构如图 4 所示。

本文用BiFPN替换原来的PANet， 通过在P3、 P4层的输入和输出节点加两条边来保留更多语义信息， 且删除同一层只有一条输入边的节点来简化网络。

2.2 GAM

GAM不仅能减少信息的弥散， 同时也能扩大全局交互性， 从而优化网络性能^［15］， 其主要包括通道和空间两大注意模块。通道注意力子模块主要储存维度信息， 其储存原理依赖于3D序列， 然后用两层的编码-解码器结构（MLP）放大跨维度通道-空间依赖性。空间注意力子模块包含两个卷积层， 可以使更多空间信息聚焦。由于最大池化操作容易造成信息丢失从而影响整体性能， 所以， 省略池化操作以达到更优的映射特性保留^［16］。

通道注意力模块和空间注意力模块分别如图 5 和图 6 所示。

GAM整体计算过程如图 7 所示。将上述2个子模块进行融合， 假设输入特征为F1， 经通道注意力后得到特征为F2， 最终输出特征为F3， 通道注意力模块为Mc， 空间注意力为Ms， 则中间状态F2和输出结果F3的计算公式如下

F\mathrm{2}=Mc(F\mathrm{1})\mathrm{}F\mathrm{1},（1）

F\mathrm{3}=Ms(F\mathrm{2})\mathrm{}F\mathrm{2}\mathrm{。}（2）

2.3 小目标检测层

由于YOLOv8网络受锚定框尺寸限制， 不能对微小道路缺陷进行标定， 无法精确地识别这些小目标。为了解决这一问题， 给原始网络引入一个更小的目标检测层。此检测层输出特征图的大小为160×160， 可以有效提取分辨率在8×8以下的裂缝图像信息， 能够满足复杂场景下道路缺陷检测的要求， 较好地解决了YOLOv8模型不能精确识别小目标的问题^［17］。

3 实验分析

3.1 实验环境

实验参数设计如表 1 所示。

3.2 数据集及预处理

本文使用开源RDD2022中国数据集， 共4 378张图像， 该数据集包括China_Drone图像集和china_motorcycle图像集。China_Drone图像集包含2 401张缺陷图像， 共计3 068个道路缺陷； china_motorcycle图像集包含1 977张缺陷图像， 共计4 650个道路缺陷。缺陷种类有纵向裂缝、 横向裂缝、 复合裂缝、 坑洞4类^［18］， 缺陷代码分别为D00、 D10、 D20、 D40， 如图 8 所示。

由于RDD2022数据集环境复杂， 道路类别多变、 不均衡等特点， 导致识别精度低， 模型的泛化能力低。通常采用数据增强方法来提高模型的泛化能力。本文采用图像对比度增强处理数据集， 通过改变图像灰度级之间的级差， 将图像灰度级增强到指定范围， 突出图像细节信息， 最终得到8 756张图片， 实验将数据集按8∶1∶1分为训练集、 验证集、 测试集， 其中训练集7 092张， 验证集788张， 测试集876张。

由于数据集D00、 D10、 D20、 D40中均存在小目标， D00小目标最多， D40特征区域小， 导致检测精度低。因此， 本文将重点分析D00、 D40精度是否提升， 如果有提升说明当前改进对小目标有效。

3.3 评价指标

本文使用的模型评价指标包括精确率（Precision， P）， 召回率（Recall， R）， 平均精度均值（mAP）， 参数量（Parameters）， 模型体积， FPS（每秒传输帧数）。精确率指正确检测目标的比例， 召回率表示数据集目标中实际检测出的比例， 计算公式为

P=\frac{TP}{TP+FP},（3）

R=\frac{TP}{TP+FN},（4）

AP={\int }_{\mathrm{0}}^{\mathrm{1}}P(R)dR,（5）

mAP=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}AP(i),（6）

式中： TP为正例且预测正确； FP为正例但预测错误； FN为负例且预测错误。

3.4 实验结果分析

图 9 和图 10 分别为YOLOv8n和SGBNet算法平均精度均值和边界框损失曲线对比， 可以看出SGBNet算法精度提升幅度更大， 损失收敛更快， 模型的预测结果更接近真实值。

3.4.1 消融实验对比

为了验证本文算法的准确性， 引入不同模块进行对比。如表 2 所示， 第3组在YOLOv8n中添加了BiFPN， 虽然Precision有所损失， 但Recall和mAP分别提高0.9百分点和0.2百分点， D00和D40分别提高0.4百分点和0.6百分点， 说明BiFPN可有效提升模型的特征融合能力。第6组在第3组基础上增加GAM， 与原算法相比精确率不变， 召回率提升3.4百分点， mAP提高了1.1%， D00和D40分别提高1.2百分点和1.0百分点， 说明GAM可有效放大全局维交互特征。第9组在第6组基础上加入小目标检测层（本文模型）， 相较于原算法， Precision、 Recall、 mAP分别提高了3.3百分点、 2.5百分点和2.5百分点， D00和D40分别提高3.3百分点和2.4百分点， 说明小目标检测层可有效提高对小目标特征提取能力， SGBNet对D00、 D40平均精度都有较大提升， 证明了本文算法有效性。

图 11 为原算法与SGBNet算法检测效果对比图， 从第1张图中可以明显看出D00置信度分数提升0.5， 第2张SGBNet算法检测出更多D00， 并额外检测出D10， 第3张图D20置信度分数提升0.1， 第4张图D40提升0.1， 说明改进后算法对不同尺度缺陷识别和定位更准确。

3.4.2 与不同算法比较

为了进一步验证算法的性能， 比较了本文算法和其他算法的检测效果， 结果如表 3 所示， 可以看到随着YOLO的发展， 其检测精度、 检测速度都显著提升。两阶段算法Faster R-CNN检测精度虽比单阶段SSD高， 但检测速度远不如单阶段SSD。本文算法在mAP上明显高于其他模型， 证明了本文算法实现了对道路缺陷高精度检测。

4 结　论

为解决道路缺陷小目标在复杂背景下存在漏检、 误检等问题， 本文提出了SGBNet网络模型对道路缺陷进行检测识别： 1） 用BiFPN替换PANet， 进行多尺度特征融合； 2） Neck中引入GAM， 在特征融合阶段进行注意力调整， 提高检测精度； 3） 添加小目标检测层， 进一步提高深层语义信息与浅层语义信息的结合， 提高对道路缺陷小目标检测能力。实验结果表明， 算法SGBNet的精确率、 召回率和平均精度较原算法分别提升了3.3百分点、 2.5百分点和2.5百分点， 实现了对道路缺陷更精准的检测。未来将研究如何进一步提升对小目标的检测精度， 同时降低模型体积， 实现轻量化部署。

参考文献

[1] RUSERUKA C， MWAKALONGE J， COMERT G， et al. Augmenting roadway safety with machine learning and deep learning： pothole detection and dimension estimation using in-vehicle technologies［J］. Machine Learning with Applications， 2024， 16： 100547.

[2] 王兴. 基于小波变换方向性分量重构的复杂环境公路裂缝识别方法［J］. 山西交通科技， 2021（4）： 52-55.

[3] WANG Xing. Road crack identification method in complex environment based on directional component reconstruction of wavelet transforms［J］. Shanxi Science & Technology of Transportation， 2021（4）： 52-55. （in Chinese）

[4] CHA Y J， CHOI W， SUH G， et al. Autonomous structural visual inspection using region-based deep learning for detecting multiple damage types［J］. Computer-Aided Civil and Infrastructure Engineering， 2018， 33（9）： 731-747.

[5] 陈旭丹， 姜男， 董丽娜， 等. 基于深度学习YOLO模型的高原山区沥青路面病害自动识别［J］. 公路交通科技（应用技术版）， 2019， 15（11）： 75-78.

[6] CHEN Xudan， JIANG Nan， DONG Lina， et al. Automatic identification of asphalt pavement diseases in mountainous mountains based on deep learning YOLO model［J］. Highway Traffic Technology （Applied Technology Edition）， 2019， 15（11）： 75-78. （in Chinese）

[7] ZHANG C， CHANG C， JAMSHIDI M. Concrete bridge surface damage detection using a single-stage detector［J］. Computer-Aided Civil and Infrastructure Engineering， 2020， 35（4）： 389-409.

[8] 罗晖， 贾晨， 李健. 基于改进YOLOv4的公路路面病害检测算法［J］. 激光与光电子学进展， 2021， 58（14）： 336-344.

[9] LUO Hui， JIA Chen， LI Jian. Road surface disease detection algorithm based on improved YOLOv4［J］. Laser & Optoelectronics Progress， 2021， 58（14）： 336-344. （in Chinese）

[10] YU G， ZHOU X. An improved YOLOv5 crack detection method combined with a bottleneck transformer［J］. Mathematics， 2023， 11（10）： 2377.

[11] 倪昌双， 李林， 罗文婷， 等. 改进YOLOv7的的沥青路面病害检测［J］. 计算机工程与应用， 2023， 59（13）： 305-316.

[12] NI Changshuang， LI Lin， LUO Wenting， et al. Disease detection of asphalt pavement based on improved YOLOv7［J］. Computer Engineering and Applications， 2023， 59（13）： 305-316. （in Chinese）

[13] ZHANG H， CISSE M， DAUPHIN Y N， et al. Mixup： beyond empirical risk minimization［EB/OL］. arXiv： 1710.09412， 2017.

[14] WANG C Y， BOCHKOVSKIY A， LIAO H Y M. YOLOv7： trainable bag-of-freebies sets new state-of-the-art for real-time object detectors［C］//IEEE Conference on Computer Vision and Pattern Recognition， 2023： 7464-7475.

[15] LI Y， FAN Q， HUANG H， et al. A modified YOLOv8 detection network for UAV aerial image recognition［J］. Drones， 2023， 7（5）： 304.

[16] 刘家豪， 陆玉芳. 面向小目标检测的改进YOLOv5算法［J］. 实验室研究与探索， 2023， 42（8）： 105-110.

[17] LIU Jiahao， LU Yufang. Improved YOLOv5 algorithm for small object detection［J］. Research and Exploration in Laboratory， 2023， 42（8）： 105-110. （in Chinese）

[18] 张志远， 罗铭毅， 郭树欣， 等. 基于改进YOLOv5的自然环境下樱桃果实识别方法［J］. 农业机械学报， 2022， 53（S1）： 232-240.

[19] ZHANG Zhiyuan， LUO Mingyi， GUO Shuxin， et al. Cherry fruit detection method in natural scene based on improved YOLOv5［J］. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（S1）： 232-240. （in Chinese）

[20] 池小波， 张伟杰， 贾新春， 等. 基于改进YOLOv5s的轻量级绝缘子缺失检测［J］. 测试技术学报， 2024， 38（1）： 19-26.

[21] CHI Xiaobo， ZHANG Weijie， JIA Xinchun， et al. Lightweight insulator missing detection based on improved YOLOv5s［J］. Journal of Test and Measurement Technology， 2024， 38（1）： 19-26. （in Chinese）

[22] LIU Y， SHAO Z， HOFFMANN N. Global attention mechanism： retain information to enhance channel-spatial interactions［J］. arXiv： 2112.05561， 2021.

[23] ZHAO Y， JU Z， SUN T， et al. TGC-YOLOv5： an enhanced yolov5 drone detection model based on transformer， GAM & CA attention mechanism［J］. Drones， 2023， 7（7）： 446.

[24] TANG F， YANG F， TIAN X. Long-distance person detection based on YOLOv7［J］. Electronics， 2023， 12（6）： 1502.

[25] ARYA D， MAEDA H， GHOSH S K， et al. RDD2022： a multi-national image dataset for automatic road damage detection［EB/OL］. arXiv： 2209.08538， 2022.