改进YOLOv5的复杂场景下水泥路面病害检测

Disease detection of cement pavement based on improved YOLOv5 in complex scenarios

摘要

针对国内水泥路面病害检测数据集缺乏、规模小、场景单一，以及深度学习算法在复杂场景下泛化能力不足的问题，提出一种基于改进YOLOv5的路面病害检测算法。收集并构建包含11 862张图像的水泥路面病害检测数据集，覆盖9类场景下的3类最常见病害类型；通过融合以IoU度量的 K-Means 聚类算法和遗传算法获取模型训练的先验锚框；在特征增强阶段，引入轻量级上采样模块（CARAFE），减少特征重组过程中的信息损失；引入顾及通道、高度和宽度维度的多维协同注意力模块（MCA），增强多尺度病害特征的辨别力。实验结果表明：所提算法在保持较快推理速度的前提下，F₁分数和平均精确率（mAP）分别达到75.5%和81.6%，优于5种主流的目标检测算法。实例分析表明：基于改进YOLOv5的路面病害检测算法能够满足大规模水泥路面病害智能检测与破损状况评价的实际需求。

Abstract

Aiming at the problems of lack of domestic cement pavement disease detection data sets, small scale, single scene, and insufficient generalization ability of deep learning algorithms in complex scenes, a pavement disease detection algorithm based on improved YOLOv5 is proposed. A cement pavement disease detection dataset containing 11 862 images was collected and constructed, covering 3 most common disease types in 9 scenarios. The prior anchor frame of model training is obtained by combining the K-Means clustering algorithm measured by IoU and genetic algorithm. In the feature enhancement stage, a lightweight upsampling module (CARAFE) is introduced to reduce the information loss in the feature recombination process. A multi-dimensional collaborative attention module (MCA) considering channel, height and width dimensions is introduced to enhance the discrimination of multi-scale disease features. The experimental results show that under the premise of maintaining fast inference speed, the average of F₁ score and average precision (mAP) of the proposed algorithm reach 75.5% and 81.6%, respectively, which are better than the five mainstream target detection algorithms. The example analysis shows that the pavement disease detection algorithm based on improved YOLOv5 can meet the actual needs of large-scale cement pavement disease intelligent detection and damage condition evaluation.

Graphical abstract

关键词

水泥路面 / 深度学习 / ISTD-PDD3数据集 / 病害检测 / ISTD-YOLO模型

Key words

cement pavement / deep learning / ISTD-PDD3 data set / disease detection / ISTD-YOLO model

0 引言

水泥混凝土路面作为路网的重要组成部分之一，具有强度高、稳定性好、使用寿命长、维护成本低等特点。实际运营过程中，受各种载荷和自然因素的影响，各类路面病害逐渐产生，并严重影响路面的功能性和安全性^[1]。因此，定期开展路面状况调查、病害检测和修复，对延长道路使用寿命至关重要。然而，现有结合路面图像的人工视觉检测方法存在检测周期长、花费高、主观性强等问题，难以满足快速、大范围路面技术状况自动检测与评价的需求^[2]。

早期，路面病害自动检测方法主要采用基于数字图像处理（如阈值分割^[3]、边缘检测^[4]、形态学^[5]、最小路径选择^[6]、区域生长^[7]等）和机器学习技术（如支持向量机^[8]（SVM）、浅层人工神经网络^[9]（ANN）等）。此类算法依赖预先设立的特征，但受到多源噪声影响，容易导致漏检或误检^[10]。随着人工智能算法的快速发展，基于深度学习模型的路面破损检测成为研究的焦点^[11]。基于深度学习的目标检测算法可以分为两大类，第一类为包括R-CNN算法、SPP-Net算法、Fast R-CNN算法、Faster R-CNN算法等两阶段方法，第二类为以YOLO算法、SSD算法等为代表的单阶段方法^[12]。两阶段检测器在小目标检测中表现良好，具有较高的平均精度（mAP），但计算速度慢。单阶段方法可以在快速检测的同时准确检测和定位小目标，因此被广泛采用^[13]。近年来，国内外研究者基于不同深度学习算法实现了路面病害的自动检测。文献[14]采用Faster R-CNN算法检测沥青路面的多种裂缝类型，包括坑槽和龟裂，但推理速度较慢。文献[15]将深度可分离卷积和Focal loss应用于YOLOv4算法，并使用了迁移学习的训练策略，有效提高了沥青路面多类型病害检测的速度和准确率。文献[16]基于全球道路损伤大赛提供的数据集RDD算法，比较了YOLOv5算法、CenterNet算法和EfficientDet算法在路面病害检测性能上的差异，结果表明YOLOv5算法综合性能最佳，但在横向裂缝检测方面精度较低。

目前，路面病害检测的研究主要集中在沥青路面，而对水泥路面的病害检测研究相对较少^[17]。原因如下：首先，缺乏足够的水泥路面病害数据集，这制约了最有效算法的研发；其次，复杂场景下水泥公路路面图像中的病害有3个显著特点：图像质量受光照强度、路面干燥度、阴影及其他干扰噪声影响较大；防滑槽、伸缩缝与裂缝具有高度的灰度相似性，易产生假阳性预测；不同病害拓扑结构更复杂，灰度特征差异较小^[18]。在图像识别中，路面颜色差异将直接影响病害检测算法的准确性^[19]。因此，在缺乏大规模、多类型、复杂场景的水泥路面病害数据集的情况下，病害检测具有极大挑战性。

综上，筛选并构建专注于复杂场景下的水泥多类型路面病害目标检测任务的数据集ISTD-PDD3，以此为数据基础，研究先验锚框的优化选择策略。基于易于部署的YOLOv5框架，引入顾及输入特征的轻量上采样算法和多维协同注意力机制模块，设计平衡检测精度和效率的多类型路面病害检测网络（ISTD-YOLO模型），实现复杂场景下路面病害的检测与破损状况自动评价。

1 数据集构建与分析

1.1 数据集构建

为构建具有复杂场景和显著样本差异性的数据集，依托辽宁工程技术大学交通时空大数据研究中心（institute of spatiotemporal transportation date，ISTD），采用辽宁省多年份路面图像数据库。通过专家筛选，从该数据库中挑选出11 862张水泥路面病害图像，构建ISTD-PDD3数据集。数据集图像具有不同的清晰度、光照强度、路面干燥程度，以及包含各种干扰物的情况。此处干扰物包括伸缩缝、防滑槽、阴影、污渍和路面杂物等元素，其目的是提高模型的鲁棒性。病害类型包含常见的水泥裂缝（SC）、破碎板（PSB）和坑洞（KD）。样本图像如图1所示。使用LabelImg进行精准的标注，并保存为Pascal VOC的数据格式。新数据集按8∶1∶1的比例划分训练集、验证集和测试集。无病害的负样本不进行标注处理。样本图像见图1，标注样例见图2。

in complex scene

1.2 数据集对比分析

变异系数（coefficient of variation，CV）可反映不同数据集样本总体的离散程度，选择图像像素灰度的平均值、标准差和信息熵（information entropy，IE）3个度量指标的变异系数分析不同数据集图像场景的复杂度^[20]。图像像素灰度平均值可定量反映图像的平均亮度；图像像素灰度的标准差可反映图像像素灰度相对于灰度均值的离散程度，也可反映图像对比度的强弱；IE从信息论的角度衡量图像中灰度分布的聚集特征所包含的平均信息量。

将ISTD-PDD3数据集与3个公开数据集进行比较分析。这3个公开数据集包括2个基于前方景观图像的数据集CNRDD^[21]和RDD^[16]，1个基于大视角的谷歌街景图像数据集PID^[22]。不同数据集的定性比较如图3所示。不同数据集3项对比指标的变异系数见图4。由图3可知，与其他3个数据集相比，ISTD-PDD3数据集中的样本图像更关注路面场景，且为经过正射校正后的图像，更符合国内道路养护部门进行路面破损状况定量评价的业务场景。由图4可知，ISTD-PDD3数据集在三项指标的上的变异系数均最高，说明其样本复杂度和离散度最大。

1.3 先验锚框优化选择

对于YOLO系列的单阶段目标检测算法，先验锚框的作用类似于网络的初始化权重，样本先验锚框是否合适将直接影响模型的准确度。YOLOv5采用基于欧式距离（euclidean distance，ED）的K-means算法聚类训练集的先验锚框，与较小的标注框相比，这种度量样本与聚类中心的方法会导致较大的标注框产生更多的误差^[23]。为此，本文以先验锚框与标签样本框间的交并比（IoU）作为度量指标，即以d(bbox,anchor)=1-IoU(bbox,anchor)代替欧式距离。改进的K-means聚类算法获取9先验锚框后使用遗传算法（genetic algorithm，GA）优化锚框的宽、高，最后获取与训练数据集具有最高适应度的先验锚框。表1给出了基于不同样本距离聚类及是否采用遗传算法的先验锚框计算结果。可以看出，采用“K-means(1-IoU)+GA”方法生成的锚框与ISTD-PDD3数据集适应度最佳。

2 路面病害检测算法

2.1 ISTD-YOLO概述

ISTD-YOLO网络结构见图5。ISTD-YOLO由输入端、主干特征提取网络、特征增强网络和检测头组成。输入端使用1.3节获取的最优先验锚框，并将输入图像的分辨率大小统一转换为640×640。保留原始的骨干特征提取网络，以更好地使用迁移学习来训练模型，提取不同尺度的病害特征信息。在特征增强网络中，使用顾及输入特征的轻量上采样模块CARAFE^[24-25]替换原始的最近邻上采样，以增强特征重组时病害信息的恢复能力；引入多维协同注意力模块MCA^[26-27]，提升多尺度路面病害的检测性能。最后输出特征图的分辨率分别为20×20、40×40、80×80，并馈送至检测头，经过非极大似然抑制，输出包含病害名称和概率的边界框。

2.2 顾及输入特征的轻量上采样模块

原始YOLOv5模型在特征增强阶段使用最近邻算法进行特征上采样，该算法未利用特征图的语义信息进行特征重组，且感受野较小（1×1）。为此，在特征增强阶段引入具有较大感受野且能顾及输入特征图像语义信息的轻量级上采样模块CARAFE^[24]，CARAFE上采样算子见图6。假定输

入特征图\mathit{X}\in {\mathbf{R}}^{C\times H\times W}，设上采样倍率为σ，CARAFE首先根据每个目标位置的内容预测一个重组核，进而依据预测的核对输入特征进行重组，最终生成大小为{\mathit{X}}^{\text{'}}\in {\mathbf{R}}^{C\times \sigma H\times \sigma W}的新特征图。

如图6所示，内核预测模块负责以内容感知的方式生成重组内核。\mathit{X}上的每个位置对应于{\mathit{X}}^{\text{'}}上大小为σ²的目标区域。每个目标区域都需要一个大小为k_up×k_up重组内核。首先使用一个1×1的卷积，将\mathit{X}的通道压缩至C_m（C_m=64），以减少后续计算量；进而采用k_encoker×k_encoker（k_encoker=3）的卷积层预测上采样核，输出尺寸为H\times W\times {\sigma }^{\mathrm{2}}{k}_{\mathrm{u}\mathrm{p}}^{\mathrm{2}}（k_up=5）的特征图，并将其通道维在空间维展开生成一个形状为\sigma H\times \sigma W\times k_{\mathrm{u}\mathrm{p}}^{\mathrm{2}}的上采样核，最终采用softmax函数进行归一化处理，使其权重和为1。

特征重组模块首先将输出特征图中的每个位置映射回原输入特征图，并取出以之为中心的k_up×k_up的区域，进而与预测出的该点的上采样核，并作点积运算，得到最终输出值。特征重组过程中相同位置的不同通道将共享同一个上采样核。重组后的特征图的语义比原始特征图的语义更强，因为来自局部区域中相关点的信息可以得到更多关注。

2.3 轻量级多维协同注意力机制模块

注意机制可以在提高目标特征表达的同时，抑制无用特征的表达，从而提升目标检测的性能^[25]。最近的研究表明，对于YOLO系列的模型，将注意力机制模块应用于特征增强阶段最能提升模型的目标检测精度^[26]。考虑到模型的计算成本和不同病害类型的多尺度特征，本文拟在基线模型的特征增强阶段引入轻量级的多维协同注意力机制模块MCA，它不是单独的计算空间和通道注意，而是强调捕获跨域交互的重要性，从而丰富区域特征表示^[27]。MCA模块由3个并行分支组成，其结构见图7，其中分支1、2分别负责捕获空间维度中的特征相互依赖性，分支3用于捕获通道间的交互。

具体而言，对输入的特征向量\mathit{X}\in {\mathbf{R}}^{C\times H\times W}，首先将其传递给多维协同注意力模块中的3个分支。在分支1中， X 沿H轴被逆时针旋转90°，得到{\widehat{\mathit{X}}}_W\in {\mathbf{R}}^{W\times H\times C}。然后，为构建高度维度H和通道维度C之间的交互，对{\widehat{\mathit{X}}}_W挤压变换得到特征图{\widehat{\mathit{X}}}_W\in {\mathbf{R}}^{W\times \mathrm{1}\times \mathrm{1}}，再通过激励变换捕获通道维度C和空间维度W之间的交互关系，得到W方向上的特征权重{\tilde{\mathit{X}}}_W\in {\mathbf{R}}^{\mathrm{1}\times \mathrm{1}\times W}。接下来，在W维度上，通过对{\tilde{\mathit{X}}}_W的矩阵转换和sigmoid函数生成特定的注意力权重{\mathit{ƛ}}_W\in {\mathbf{R}}^{W\times \mathrm{1}\times \mathrm{1}}；将{\mathit{ƛ}}_W与{\widehat{\mathit{X}}}_W逐元素相乘得到具有空间维度W与通道维度C交互关系的特征映射矩阵{\mathit{X}}_W^{\mathrm{\text{'}}}\in {\mathbf{R}}^{W\times H\times C}；最后，将{\mathit{X}}_W^{\mathrm{\text{'}}}沿H轴顺时针旋转90°，得到与原始输入相同形状的特征图{\mathit{X}}_W^{\mathrm{\text{'}}\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H\times W}。

在分支2中，输入特征向量 X 沿W轴被逆时针旋转90°，得到{\widehat{\mathit{X}}}_H\in {\mathbf{R}}^{H\times C\times W}。之后，类似于分支1中的操作，实现空间维度H与通道维度C交互关系的建模，最终生成一个原始输入相同形状的特征{\mathit{X}}_H^{\mathrm{\text{'}}\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H\times W}。

分支3包含通道注意力机制，主要负责从通道域的角度赋予图像不同位置不同的权重，以获得更重要的特征信息。首先，通过恒等映射（identity mapping）生成与 X 相同的特征图{\widehat{\mathit{X}}}_C\in {\mathbf{R}}^{C\times H\times W}。然后，将{\widehat{\mathit{X}}}_C依次输入到挤压及激励模块中，获得通道特征权重{\mathit{ƛ}}_C\in {\mathbf{R}}^{C\times \mathrm{1}\times \mathrm{1}}；接着对特征图 X 进行赋值，获得特征映射图{\mathit{X}}_C^{\mathrm{\text{'}}\mathrm{\text{'}}}\in {\mathbf{R}}^{C\times H\times W}。最后，对不同维度的注意力权重做平均聚合，并重新校准三个分支的所有输出，即可推导出更加细化的病害信息特征图{\mathit{X}}_{}^{\mathrm{\text{'}}\mathrm{\text{'}}\mathrm{\text{'}}}\in {\mathbf{R}}^{H\times W\times C}，其表达式为

{\mathit{X}}_{}^{\mathrm{\text{'}}\mathrm{\text{'}}\mathrm{\text{'}}}=\frac{\mathrm{1}}{\mathrm{3}}\otimes \left({\mathit{X}}_W^{\mathrm{\text{'}}\mathrm{\text{'}}}\oplus {\mathit{X}}_H^{\mathrm{\text{'}}\mathrm{\text{'}}}\oplus {\mathit{X}}_C^{\mathrm{\text{'}}\mathrm{\text{'}}}\right)，（1）

式中：\otimes表示两特征图逐点相乘；\oplus表示两特征图逐点相加。

3 实验与分析

3.1 实验细节设置

（1）实验平台与训练参数。实验采用Window10操作系统，Intel(R) Core(TM) i7-8700 CPU核心处理器，NVIDIA GTX 2070图形处理器。程序开发框架为Python3.8.5、CUDA11.0.221，Pytorch1.7.1。迁移学习采用各模型在COCO数据集上的预训练权重。训练过程采用Mosaic数据增强对输入图像进行处理，使用SGD优化器对模型进行优化，设学习率Init_lr为1×10^-2，输入图像分辨率为640×640，模型训练批处理量为4，学习率为1×10^-4，训练Epoch次数为500，动量和权重衰减分别为0.937和5×10^-4。

（2）对比算法。本文将ISTD-YOLO模型与5种主流目标检测模型进行对比，包括基于候选区域的Faster R-CNN模型^[28]，基于边框回归的SSD模型^[29]、基于中心点回归的无锚框CenterNet模型^[30]、单阶段检测的YOLOv5模型与YOLOv7模型^[31]。所有模型使用相同的训练策略，并在ISTD-PDD3的训练和测试集上进行模型训练和性能评估。

（3）评估指标。为评估ISTD-YOLO模型在路面病害检测中的性能，采用F₁得分、评价精度AP（average precision）、mAP作为定量评价指标。

F₁得分是精确率P和召回率R的调和平均值，可以衡量模型的综合性能，可表示为

F_{\mathrm{1}}=\frac{\mathrm{2}PR}{\left(P+R\right)}。（2）

平均精度AP是通过对每个类别的P-R（精确率-召回率）曲线进行积分得到，可表示为

\mathrm{A}\mathrm{P}={\int }_{\mathrm{0}}^{\mathrm{1}}P(R)\mathrm{d}R。（3）

在多类型目标检测任务中，通过计算所有类型的mAP来评估模型的检测精度，如式（4）所示，C取3。

\mathrm{m}\mathrm{A}\mathrm{P}=\frac{\mathrm{1}}{C}{\displaystyle \sum _{i=\mathrm{1}}^C}\mathrm{A}{\mathrm{P}}_i。（4）

此外，通过参数量Par（单位：MB）和浮点运算次数（floating point operations，FLOPs）表示运算复杂度。参数量大，导致训练和推理时间延长。以单张图像的平均推理时间（单位：ms）衡量推理效率。

3.2 消融实验

为揭示所提3项改进方法对基准模型的影响，设计如下消融实验：将先验锚框优选策略（1-IoU）、CARAFE和MCA分别添加到YOLOv5模型中进行实验。消融实验评价指标统计见表2。

由表2可知，与原始的YOLOv5模型相比，仅采用本文所提出的初始锚框选择策略，F₁和mAP分别提高了5.3个百分点和4.3个百分点，说明结合具体任务场景使用1-IoU代替欧式距离来获取锚框聚类结果，可提升病害检测性能；此外，仅引入轻量级上采样算子CARAFE，F₁和mAP分别提高了3.2个百分点和3.7个百分点，证明顾及输入内容和较大感受野的上采样可减少上采样的信息损失，进而有效提高模型的检测性能；再者，仅在特征增强阶段引入MCA注意力机制模块，计算量有微小增加，但F₁和mAP分别提高了4.4个百分点和5.0个百分点，说明该模块能够有效捕捉病害目标特征中的通道和空间之间的长距离依赖关系，有利于提高预测精度；最后，将3项改进同时融入YOLOv5模型中，模型的浮点运算次数增加了1.354×10⁹、参数量增加了0.351 6 MB，推理速度降低了1.4 ms，但F₁和mAP分别提高了7.3个百分点和8.1个百分点，在平衡检测速度的同时，有效提升了检测精度。

基于不同网络的不同病害类别及平均值的P-R曲线见图8。由图8（a）可知，对于单一病害的P-R曲线，ISTD-YOLO模型的优化先验锚框选择策略对裂缝灾害的检测性能最优。由图8（b）、图8（c）可知，单独引入MAC注意力机制模块后，破碎板和坑洞的检测性能得到最大提升。综上可见，本文提出的3项针对性改进措施显著提高了水泥路面多尺度病害的检测精度，但检测速度仅减慢1.7 ms。由图8（d）可知，在同一召回率下，融合3项改进措施算法的平均路面病害检测精确度优于其他组合算法，证明本文算法的综合检测性能最优。

3.3 不同算法对比实验与分析

表3给出了ISTD-YOLO模型与5种主流目标检测模型在测试集上的定量比较结果。分析可知，与其他5种模型相比，本文算法在保持较低计算复杂度、参数量和较快检测速度的同时，取得了最佳的病害检测性能。相较于Faster R-CNN模型，ISTD-YOLO模型的mAP提升了17.1个百分点，检测效率提升约4倍。SSD模型舍弃了区域提议（region proposal）阶段，推理速度明显提升，但其mAP仅为65.3%。CenterNet模型去除了复杂的Anchors和非极大似然抑制操作，推理速度为20.5 ms，但检测精度较低。相较于YOLOv7模型，ISTD-YOLO模型的mAP提升了7.8个百分点，单张图像的推理时间降低了15.3 ms。此外，仅增加模型的深度会降低细小裂缝的检测性能。对比结果表明，ISTD-YOLO模型更适合计算资源受限的任务场景。

不同的网络模型对3类水泥路面病害的检测效果展示见图9。由图9可知，ISTD-YOLO模型在不同亮度条件、不同病害共存及阴影干扰的场景中，获得了最佳的检测效果。对比最后两列检测结果可见，相比基线网络其他模型，ISTD-YOLO模型在对灾害的检查中更能顾及细小裂缝的定位和分类。

3.4 实例分析

（1） 基于ISTD-YOLO模型输出结果的路面破损状况指数计算方法。公路路面状况的定量评价是基于图像自动病害检测手段能够走向实用化的关键^[32]，评价指标选用路面破损状况指数（pavement condition index，PCI），可表示为

\mathrm{P}\mathrm{C}\mathrm{I}=\mathrm{100}-a_{\mathrm{0}}{\left(\mathrm{100}\times {\displaystyle \sum _{i=\mathrm{1}}^n}{w}_i{A}_i/A\right)}^{a_{\mathrm{1}}}，（5）

式中：A_i 为第i类路面病害损坏的累计面积，m²；w_i 为第i类病害的权重；A为调查的路面面积的评价单元，取100 m²或1 000 m²；a_{\mathrm{0}}、a_{\mathrm{1}}分别取10.66、0.461。

由ISTD-YOLO模型的预测结果可转换为图像中病害矩形框（bbox）左上角坐标（x₁,y₁），右下角坐标（x₂,y₂），各坐标可表示为

\left\{\begin{array}{c}\begin{array}{l}{x}_{\mathrm{1}}=W{x}_{\_}-\mathrm{0.5}W{w}_{\_}\\ y_{\mathrm{1}}=H{y}_{\_}-\mathrm{0.5}H{h}_{\_}\end{array}\\ \begin{array}{l}{x}_{\mathrm{2}}=W{x}_{\_}+\mathrm{0.5}W{w}_{\_}\\ y_{\mathrm{2}}=H{y}_{\_}+\mathrm{0.5}H{h}_{\_}\end{array}\end{array}\right.，（6）

式中：x_{_} 为bbox中心点坐标x_{_c}与图像宽W的比；y_{_} 为bbox中心点坐标y_{_c}与图像高H的比；w_{_} 为bbox的w与W的比；h_{_} 为bbox的h与H的比，则病害矩形框实际的宽W_T、高H_T、对角线长度L_T分别为

\left\{\begin{array}{c}{W}_{\mathrm{T}}=\mathrm{3.2}\times \sqrt[]{{\left(x_{\mathrm{1}}-x_{\mathrm{2}}\right)}^{\mathrm{2}}}/W\\ H_{\mathrm{T}}=\mathrm{2.0}\times \sqrt[]{{\left(y_{\mathrm{1}}-y_{\mathrm{2}}\right)}^{\mathrm{2}}}/H\\ L_{\mathrm{T}}=\sqrt[]{{W_{\mathrm{T}}}^{\mathrm{2}}+{H_{\mathrm{T}}}^{\mathrm{2}}}\begin{array}{cc}& \end{array}\begin{array}{cc}& \end{array}\end{array}\right.。（7）

实验所使用的路面图像经过正射校正后的W×H为3 517×2 193，对应实际路面的宽和高分别为3.2 m和2.0 m；根据式（6）和式（7）可得单张图像上第i类病害矩形框的面积为

S_{\mathrm{T}i}=W_{\mathrm{T}i}{H}_{\mathrm{T}i}，

对角线长度为

L_{\mathrm{T}i}=\sqrt[]{W_{\mathrm{T}i}^{\mathrm{2}}+H_{\mathrm{T}i}^{\mathrm{2}}}，

式中，W_Ti 、H_Ti 分别为单张图像中第i类病害的检测框对应的实际宽和高，m。

进而可计算各评价单元的每类病害的总损坏面积A_i，并由式（6）计算评价单元的PCI指标。

（2） 综合应用性能分析。为验证ISTD-YOLO模型在工程中的应用价值，选取湖北省十堰市、天门市4条不同路面破损程度的水泥公路，共116个评价单元（评价单元面积为100 m²），5 800张图像，3类病害的数量统计及采集现场见图10。分别由3位路面检测养护领域的专家通过目视判别的方式对各评价单元的路面破损状况评分，并统计耗时。使用ISTD-YOLO模型完成对路面病害的自动检测及PCI计算，并统计模型计算耗时。以检测的准确率、漏检率、误检率和耗时评估ISTD-YOLO模型的综合检测性能。准确率为检测正确病害数和实际病害数的比；漏检率为未检出病害数与实际病害数的比；误检率为错误检测的病害数和总检测病害数的比。以PCI差值绝对值的均值、中误差评价单元占比评估本文算法在路面破损状况评价方法的应用价值。

ISTD-YOLO模型在116个评价单元的综合性能展示见图11。对于图像中面积占比较大的PSD和KD病害，ISTD-YOLO模型的检测准确率达到了93.32%，而对SC病害的检测中出现了较高的漏检率和误检率。观察检测结果发现，漏检现象主要出现在具有细小裂缝的图像中，误检现象则多发生在含有边缘不明显的伸缩缝图像中。ISTD-YOLO模型的平均漏检率为6.91%，误检率为0.60%。与人工目视判别法相比，ISTD-YOLO模型的计算耗时仅为13.3 min，而人工方法的计算耗时为464 min，对比可见，ISTD-YOLO模型的计算效率提高了约35倍。

ISTD-YOLO模型与人工目视判别在各评价单元上得到的PCI对比结果见图12。由图12可见，两种方法所得的PCI较为吻合，其中差值绝对值最小为0.01，最大为6.19，差值绝对值均值为1.65，中误差为1.47。这表明在大规模水泥公路路面破损状况自动评价方面，本文提出的ISTD-YOLO模型有一定的工程应用价值。

4 结论

本文提出一种改进的YOLOv5模型用于复杂场景下水泥路面病害检测，实现路面破损状况指标的鲁棒性计算，并获得如下结论。

（1）基于辽宁省实测路面图像数据库，创建了ISTD-PDD3数据集，用于多类型水泥公路路面病害目标检测。解决了国内水泥混凝土路面病害智能检测数据集规模小、场景少的问题，推动了智能检测算法的工程化应用。

（2）采用交并比度量的K-Means聚类算法与遗传算法对ISTD-PDD3进行先验锚框选择，有效提升裂缝灾害的检测精度。在特征增强阶段，使用CARAFE和MCA模块，避免特征重组过程中细小目标的丢失，并获取了丰富的病害区域特征表示。

（3）与5种主流目标检测模型对比，改进的YOLOv5模型对3类路面病害的评估指标均得分最高，证明该模型在复杂场景下水泥路面病害检测方面的优越性。

（4）综合应用性能分析结果表明，改进的YOLOv5模型在检测准确率上表现优秀，且与人工目视判别法的PCI一致性较高，但该模型仍有改进空间，未来的研究可着重于扩展更多病害类型的样本库，以及提升模型在病害检测方面的实时性。

参考文献

[1] HAO X L, SHA A M, SUN Z Y,et al.Laser-based measuring method for mean joint faulting value of concrete pavement[J].Optik,2016,127(1):274-278.

[2] 晏班夫,徐观亚,栾健,等.基于Faster R-CNN与形态法的路面病害识别[J].中国公路学报,2021,34(9):181-193.

[3] YAN Banfu, XU Guanya, LUAN Jian,et al.Pavement distress detection based on faster R-CNN and morphological operations[J].China Journal of Highway and Transport,2021,34(9):181-193.

[4] CHENG H D, SHI X J, GLAZIER C.Real-time image thresholding based on sample space reduction and interpolation approach[J].Journal of Computing in Civil Engineering,2003,17(4):264-272.

[5] AYENU-PRAH A, ATTOH-OKINE N.Evaluating pavement cracks with bidimensional empirical mode decomposition[J].EURASIP Journal on Advances in Signal Processing,2008,2008(1):861701.

[6] HE Y Q, QIU H X, WANG J,et al.Studying of road crack image detection method based on the mathematical morphology[C]//2011 4th International Congress on Image and Signal Processing. October 15-17,2011,Shanghai,China.IEEE,2011:967-969.

[7] AMHAZ R, CHAMBON S, IDIER J,et al.Automatic crack detection on two-dimensional pavement images:an algorithm based on minimal path selection[J].IEEE Transactions on Intelligent Transportation Systems,2016,17(10):2718-2729.

[8] ZHANG D J, LI Q Q, CHEN Y,et al.An efficient and reliable coarse-to-fine approach for asphalt pavement crack detection[J].Image and Vision Computing,2017,57:130-146.

[9] LI N N, HOU X D, YANG X Y,et al.Automation recognition of pavement surface distress based on support vector machine[C]//2009 Second International Conference on Intelligent Networks and Intelligent Systems.November 1-3,2009,Tianjian,China.IEEE,2009:346-349.

[10] HOANG N D.An artificial intelligence method for asphalt pavement pothole detection using least squares support vector machine and neural network with steerable filter-based feature extraction[J].Advances in Civil Engineering,2018(1):7419058.

[11] 李章维,胡安顺,王晓飞.基于视觉的目标检测方法综述[J].计算机工程与应用,2020,56(8):1-9.

[12] LI Zhangwei, HU Anshun, WANG Xiaofei.Survey of vision-based object detection methods[J].Computer Engineering and Applications,2020,56(8):1-9.

[13] DU Z Y, YUAN J, XIAO F P,et al.Application of image technology on pavement distress detection:a review[J].Measurement,2021,184:109900.

[14] RAJESHWARI P, ABHISHEK P, VINOD P S,et al.Object detection:an overview[J].International Journal of Trend in Scientific Research and Development,2019,3(3):1663-1665.

[15] LIU Y C, LIU F, LIU W,et al.Pavement distress detection using street view images captured via action camera[J].IEEE Transactions on Intelligent Transportation Systems,2024,25(1):738-747.

[16] LI J Q, ZHAO X F, LI H W.Method for detecting road pavement damage based on deep learning[C]//Health Monitoring of Structural and Biological Systems XIII. April 4-7,2019,Denver,Colorado,United States. Bellingham.Washingtion:SPIE,2019:517-526.

[17] 罗晖,贾晨,李健.基于改进YOLOv4的公路路面病害检测算法[J].激光与光电子学进展,2021,58(14):336-344.

[18] LUO Hui, JIA Chen, LI Jian.Road surface disease detection algorithm based on improved YOLOv4[J].Laser & Optoelectronics Progress,2021,58(14):336-344.

[19] MANDAL V, MUSSAH A R, ADU-GYAMFI Y.Deep learning frameworks for pavement distress classification: a comparative analysis[C]//2020 IEEE International Conference on Big Data.December 10-13,2020.Atlanta,GA,USA.IEEE,2020:5577-5583.

[20] GAO M X, WANG X, ZHU S L,et al.Detection and segmentation of cement concrete pavement pothole based on image processing technology[J]. Mathematical Problems in Engineering,2020,2020:1360832.

[21] SADATI S, CHAGAS BRITO DA SILVA L E, WUNSCH D C I I,et al.Artificial intelligence to investigate modulus of elasticity of recycled aggregate concrete[J].ACI Materials Journal,2019,116(1):51-62.

[22] 惠冰,郭牧,王洲,等.基于三维激光技术的路面坑槽多维度指标检测[J].同济大学学报(自然科学版),2018,46(1):60-66.

[23] HUI Bing, GUO Mu, WANG Zhou,et al.Multi-dimensional index detection of potholes based on 3D laser technology[J].Journal of Tongji University(Natural Science),2018,46(1):60-66.

[24] 郭小英,李文书,钱宇华,等.可计算图像复杂度评价方法综述[J].电子学报,2020,48(4):819-826.

[25] GUO Xiaoying, LI Wenshu, QIAN Yuhua,et al.Computational evaluation methods of visual complexity perception for images[J].Acta Electronica Sinica,2020,48(4):819-826.

[26] SU B Y, ZHANG H, WU Z H,et al.FSRDD:an efficient few-shot detector for rare city road damage detection[J].IEEE Transactions on Intelligent Transportation Systems,2022,23(2):24379-24388.

[27] MAJIDIFARD H, JIN P, ADU-GYAMFI Y,et al.Pavement image datasets:a new benchmark dataset to classify and densify pavement distresses[J].Transportation Research Record: Journal of the Transportation Research Board,2020,2674(2): 328-339.

[28] REDMON J, FARHADI A.YOLO9000:better, faster, stronger[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition.July 21-26,2017,Honolulu,HI,USA.IEEE,2017:6517-6525.

[29] WANG J Q, CHEN K, XU R,et al.CARAFE:content-aware ReAssembly of FEatures[C]//2019 IEEE/CVF International Conference on Computer Vision.October 27- November 2,2019,Seoul,Korea.IEEE,2019:3007-3016.

[30] CAO Y, XU J R, LIN S,et al.GCNet:non-local networks meet squeeze-excitation networks and beyond[C]//2019 IEEE/CVF International Conference on Computer Vision Workshop. October 27-28, 2019, Seoul, Korea. IEEE, 2019: 1971-1980.

[31] YAO H, LIU Y H, LI X,et al.A detection method for pavement cracks combining object detection and attention mechanism[J].IEEE Transactions on Intelligent Transportation Systems,2022,23(11): 22179-22189.

[32] YU Y, ZHANG Y, CHENG Z Y,et al.MCA: multidimensional collaborative attention in deep convolutional neural networks for image recognition[J]. Engineering Applications of Artificial Intelligence,2020, 126: 107079.

[33] REN S Q, HE K M, GIRSHICK R,et al.Faster R-CNN: towards real-time object detection with region proposal networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 39(6): 1137-1149.

[34] LIU W, ANGUELOV D, ERHAN D,et al.SSD:single shot MultiBox detector[C]//2016 European Conference on Computer Vision, October 8-16,2016,Amsterdam,Netherlands.Berlin:Springer International Publishing,2016:21-37.

[35] DUAN K W, BAI S, XIE L X,et al.CenterNet:keypoint triplets for object detection[C]//2019 IEEE/CVF International Conference on Computer Vision. October 27-November 2,2019,Seoul,Korea. IEEE,2019:6568-6577.

[36] WANG C Y, BOCHKOVSKIY A, LIAO H M.YOLOv7:trainable bag-of-freebies sets new state-of-the-art for real-time object detectors[C]//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition. June 17-24,2023,Vancouver,BC,Canada.IEEE,2023:7464-7475.

[37] 徐鹏,祝轩,姚丁,等.沥青路面养护智能检测与决策综述[J].中南大学学报(自然科学版),2021,52(7):2099-2117.

[38] XU Peng, ZHU Xuan, YAO Ding,et al.Review on intelligent detection and decision-making of asphalt pavement maintenance[J].Journal of Central South University (Science and Technology),2021,52(7): 2099-2117.

基金资助

国家自然科学基金项目(42071343)

黑龙江省省属本科高校基本科研业务费(2020-KYYWF-0690)