基于弱监督生成对抗网络的路面阴影去除与病害检测

Pavement shadow removal and disease detection based on weakly supervised generative adversarial network

摘要

针对复杂道路场景下阴影干扰造成病害检测精度降低的问题，该文提出一种基于弱监督生成对抗网络的道路阴影去除算法。该算法通过构建动态自适应归一化策略与改进残差模块，可在阴影配对样本数量有限的前提下优化图像特征表达，具体设计如下：首先，引入带注意力机制的辅助分类器，增强网络对道路场景的语义感知能力；其次，采用跨层跳跃连接改进残差结构，有效缓解深层网络梯度消失问题；最后，设计融合感知损失与对抗损失的混合损失函数，提升阴影去除的结构保持能力。研究结果表明：阴影去除算法的图像质量评价指标E_RMSE、R_PSNR、S_SSIM分别为1.083 4、27.568 2、0.794 9。将经该算法阴影去除后的图像输入检测模型，对裂缝、坑洞等6类典型道路病害识别精度可提升3.3%~10.2%，充分验证了该方法的有效性。

Abstract

To address the problem of decreasing disease detection accuracy due to shadow interference in complex road scenes, this study proposed a road shadow removal algorithm based on a weakly supervised generative adversarial network. By constructing a dynamic adaptive normalization strategy and an improved residual module, the algorithm optimized image feature representation under the condition of limited shadow pairing samples. The specific design was as follows: First, an auxiliary classifier with an attention mechanism was introduced to enhance the semantic perception ability of the network for road scenes. Second, the residual structure was improved by adopting cross-layer skip connections to effectively alleviate the problem of gradient vanishing in deep layers of the network. Finally, a hybrid loss function that combined the perceptual loss and the adversarial loss was designed to enhance the structure preservation ability of shadow removal. The experimental results show that the image quality evaluation metrics E_RMSE, R_PSNR, and S_SSIM of the shadow removal algorithm are 1.083 4, 27.568 2, and 0.794 9. The images after shadow removal using the proposed algorithm were fed into the detection model. The recognition accuracy of six typical road diseases such as cracks and potholes are improved by 3.3%‒10.2%, which verifies the effectiveness of the method.

Graphical abstract

关键词

路面病害 / 深度学习 / 对抗网络 / 阴影去除 / 目标检测

Key words

pavement disease / deep learning / adversarial network / shadow removal / object detection

0 引言

截至2023年底，中国公路通车总里程数达到540万km，其中，高速公路通车总里程数已经达到18.4万km，公路养护里程占公路总里程的99.9%，规模庞大、结构复杂的道路交通网络，给以公路为核心的道路基础设施可持续养护工作带来了诸多挑战。传统道路病害一般通过人工巡检检测，可靠性强，但效率低，每日人均检测里程不足10 km^［1］；面对大规模、常态化的持续检测作业，传统检测手段落地实施难度较大。随着深度学习、计算机视觉、建筑信息模型（Building Information Modeling， BIM）等技术应用于道路病害检测后，大幅提升了检测效率^［2-5］。然而，在实际道路场景中，受自然光照变化影响，图像中阴影区域亮度常显著低于周围区域。这种阴影效应严重干扰图像质量，影响目标检测、跟踪及配准等关键计算机视觉任务的鲁棒性与精度。因此，有效削弱阴影干扰，不仅有助于提升图像整体质量，还对提高病害检测算法的稳定性与准确性具有重要意义。

随着深度学习的迅速发展，越来越多的研究者致力于目标检测和图像阴影去除。高凡等^［6］通过数字图像技术优化路面裂缝图像质量、强化关键特征，该方法在混凝土路面裂缝图像处理领域具有较大的应用价值；陈占权^［7］研究图像处理算法，提出一种裂缝宽度计算方法，可较好地解决沥青混合料中集料缝隙对裂缝识别产生干扰的问题；刘昆等^［8］自建路面病害数据集，提出了一种网络结构，能较好识别路面小尺度病害；Khan等^［9］利用卷积神经网络提取图像边缘和位置信息检测阴影，精度较高；Hosseinzadeh等^［10］结合Patched-CNN和物理方法去除阴影；Zou等^［11］提出了一种阴影去除算法，保留道路病害的同时构建道路病害概率图，增强道路病害分割后的连接性；潘广贞等^［12］提出了一种基于目标检测模型的道路目标阴影去除算法，结合Hessenberg分解法和主成分分析法（Principal Component Analysis， PCA），可实现对行驶车辆的阴影检测与消除处理；Carlson等^［13］提出一种单图像阴影去除框架，可实现合成图像与真实图像之间阴影去除效果的迁移；Wang等^［14］提出了堆叠化条件生成对抗网络，该网络通过联合阴影检测和去除技术，能够保留全局场景信息，实现图像的细粒度自然恢复。然而，该模型在计算资源方面，占据较多的位置。以上方法大多是基于完全监督学习，在训练前需要标注成对的阴影图像和相应的非阴影图像，其数量庞大，工作繁杂，投入的时间和精力成本高。

相比之下，弱监督学习因其对数据配对要求较低，被认为是未来阴影去除的研究趋势。Hu等^［15］提出Mask-Shadow GAN网络，可利用不成对图像数据实现阴影去除，但该网络对灰色或白色等接近消色差的柔和阴影图像处理效果欠佳；Liu等^［16］提出LG-Shadow Net（亮度引导网络）可在未配对数据开展训练，专注于亮度渐变建模，忽略了残差学习机制，无法有效建模阴影区域的亮度渐变特性；Cun等^［17］提出DHAN，其利用双层次聚合网络和阴影遮罩生成对抗网络，可处理阴影去除区域边界颜色不一致和伪影的问题；Liu等^［18］提出G2R-Shadow Net，该方法将阴影生成、删除和优化集成到一个对抗损失框架中。然而，在处理复杂场景时，过度平滑可能会导致重要细节丢失；Jin等^［19］发现DC-Shadow Net采用静态实例归一化处理单图像的硬阴影和软阴影，无法根据图像内容动态调整特征分布，导致高频细节在处理过程中丢失；Kubiak等^［20］发现S3R-Net在双分支WGAN框架内采用自监督方法，使用了固定归一化比例，忽视了不同频段特征的差异性。

为了克服上述问题，提升道路病害智能检测效率，本文提出一种基于生成对抗网络弱监督学习的阴影去除算法。该算法基于弱监督图像转换生成对抗网络框架，引入辅助分类器，并采用动态适应实例归一化模块，有效保留道路纹理细节；设计多任务融合损失函数，结合残差亮度建模和边界平滑约束，显著减少伪影生成，提升算法在动态光照道路环境下的鲁棒性；利用有限配对图像实现弱监督训练，有效增强后续道路病害检测模型对阴影干扰的抵御能力；在公共数据集及实际道路病害检测任务中验证了算法的有效性和适用性。

1 阴影去除算法

1.1 生成对抗网络

生成对抗网络^［21］（Generative Adversarial Nets， GAN）利用深度学习技术，通过模拟训练数据集的分布，生成与真实数据分布类似的数据，其在高分辨率图像生成、去噪低质量图像以及图像风格转换等多个领域均展现出良好的普适性与应用前景。基于深度卷积网络架构的生成对抗网络^［22］（Deep Convolutional Generative Adversarial Networks， DCGAN），采用深度卷积网络架构改进生成器和判别器，用两个卷积神经网络增强对抗博弈，舍弃卷积神经网络的池化层，判别器维持卷积网络的核心架构，而生成器则引入反卷积层和批量归一化层，不仅优化了模型训练的初始状态，还提升了训练效率和稳定性，模型收敛速度加快。在深度卷积生成对抗网络的基础上，Kim等^［23］提出的无监督图像转换生成对抗网络（Unsupervised Generative Attentional Networks With Adaptive Layer-Instance Normalization For Image-To-Image Translation， UGATIT）具有多任务鲁棒性，网络通过整合辅助注意力分类器，利用获得的注意力图来辨识源域与目标域，引导模型转换关注更有针对特征的区域，忽略不相关区域。将辅助分类器嵌入生成器和鉴别器中，这样不仅能够处理需要全面变化的图像转换任务，还能有效转换在特征上存在显著差异的图像。

1.2 算法总体结构

本文提出基于弱监督图像转换生成对抗网络的道路场景阴影去除算法。算法核心包括：① 借鉴UGATIT^［23］思想，引入辅助注意力分类器；② 采用动态适应归一化策略优化生成对抗过程；③ 改进残差模块，引入跨层跳跃连接缓解梯度消失；④ 设计混合阴影去除损失函数。模型整体结构如图1所示。生成器和鉴别器在原阴影图像与阴影去除图像间相互映射。生成器网络中引入残差网络，包含多个残差模块，其通过跳跃连接加快深层网络中的信息流动和梯度传播的速度，避免梯度消失，有效去除图像的局部阴影区域。基于阴影判别辅助分类器获得注意图，将其嵌入生成器和鉴别器中，引导模型转换关注更有阴影针对特征的区域，忽略次要区域，增加生成器和鉴别器的阴影区域关注权重，最后去除道路病害背景存在的阴影。

给定带阴影输入图像I_s，生成器G_sr的目标是实现阴影图像I_s到无阴影图像O_sr的映像，而判别器D_r的目标是区分真实无阴影图像I_r和生成的无阴影图像O_sr。生成器及其判别器的优化目标函数定义为对抗损失：

L_{\mathrm{G}\mathrm{A}\mathrm{N}}^a(G_{\mathrm{s}\mathrm{r}},D_{\mathrm{r}})={\epsilon }_{I_{\mathrm{r}}~p_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(I_{\mathrm{r}})}\left\{\mathrm{l}\mathrm{o}\mathrm{g}[D_{\mathrm{r}}(I_{\mathrm{r}})]\right\}+{\epsilon }_{I_{\mathrm{s}}~p_{\mathrm{d}\mathrm{a}\mathrm{t}\mathrm{a}}(I_{\mathrm{s}})}\mathrm{l}\mathrm{o}\mathrm{g}\left\{\mathrm{1}-D_{\mathrm{r}}[G_{\mathrm{s}\mathrm{r}}(I_{\mathrm{s}})]\right\}（1）

式中：ε为误差；p_data为数据分布；I_r ~p_data（I_r）和I_s ~ p_data（I_s）分别表示从无阴影和阴影数据集上的数据分布p_data中选择I_r和I_s。

单独使用对抗损失来优化生成器，生成的图像上可能存在伪影，因此生成器G_rs将生成的无阴影图像转换回原始阴影图像。有阴影和无阴影分别由s、s_r代表，生成器G_rs由编码器（E_{\mathrm{s}}^{\mathrm{g}}）、解码器（F_{\mathrm{s}}^{\mathrm{g}}）和辅助分类器（{\sigma }_{\mathrm{s}}^{\mathrm{g}}）组成。鉴别器D_r判定阴影去除输出的质量，由编码器（E_{\mathrm{s}\mathrm{r}}^{\mathrm{d}}）、分类器（C_{\mathrm{s}\mathrm{r}}^{\mathrm{d}}）和辅助分类器（{\sigma }_{\mathrm{s}\mathrm{r}}^{\mathrm{g}}）组成，采用辅助分类器{\sigma }_{\mathrm{s}}^{\mathrm{g}}和{\sigma }_{\mathrm{s}\mathrm{r}}^{\mathrm{g}}对G_{\mathrm{s}\mathrm{r}}和D_{\mathrm{r}}的输入图像进行分类，并将其集成至生成器与鉴别器内部，引导网络重点关注阴影区域，鉴别器的分类器C_{\mathrm{s}\mathrm{r}}^{\mathrm{d}}可用来判断图像是否含有阴影。阴影去除生成器用G_rs表示，由编码器E_{\mathrm{r}}^{\mathrm{g}}、解码器F_{\mathrm{r}}^{\mathrm{g}}和辅助分类器{\sigma }_{\mathrm{r}}^{\mathrm{g}}组成，鉴别器D_rs由编码器E_{\mathrm{r}}^{\mathrm{d}}、分类器C_{\mathrm{r}}^{\mathrm{d}}和辅助分类器{\sigma }_{\mathrm{r}}^{\mathrm{g}}组成。输入阴影图像I_s对应的无阴影图像输出O_sr，输入未配对的无阴影图像I_r，利用G_rs重建阴影图像并返回，辅助分类器{\sigma }_{\mathrm{r}}^{\mathrm{g}}和{\sigma }_{\mathrm{r}}^{\mathrm{g}}在G_rs和D_rs中分类图像是否包含阴影。

1.3 模型训练

1.3.1 训练数据增强

本模型训练使用阴影图像三元组公开数据集（Image Shadow Triplets Dataset， ISTD），在ISTD数据集基础上筛选调整1 280个图像配对组，并按4∶1的比例增加320组存在阴影的道路病害数据集图像，最终形成1 600对图像配对组数据集作为阴影去除数据集。将筛选调整后的阴影数据集按照15∶1的比例分成训练集和测试集，其中训练集包括1 500对阴影与无阴影图像，测试集选取100张具有阴影背景且包含多类型道路病害的图像，充分覆盖不同光照强度、阴影密度及病害复杂度场景，确保模型评估的全面性与合理性。

1.3.2 动态适应实例归一化

归一化是能够提升模型的训练效率和泛化性能的数据预处理方法。层归一化^［24］（Layer Normalization， LN）在每个隐藏层的通道维度上都归一化，能够缓解梯度消失。实例归一化^［25］（Instance Normalization， IN）适用于数据多样的图像转换，其忽略批次信息对每个输入数据点独立归一化，使模型专注于图像的整体信息，但泛化能力有限。动态适应实例归一化函数计算方法（Instance and Layer Normalization， ILN）通过结合实例归一化和层归一化的优势，不预设固定的归一化参数，依据输入数据的统计特征动态调整，寻找适应不同任务的最佳平衡参数，使网络适应多样化的输入数据分布，计算方法如下：

\mathrm{I}\mathrm{L}\mathrm{N}(a,\gamma ,\beta )=\gamma \cdot \left[\rho \cdot {\widehat{a}}_I+(\mathrm{1}-\rho )\cdot {\widehat{a}}_L\right]+\beta（2）

{\widehat{a}}_{\mathrm{I}}=\frac{a-{\mu }_{\mathrm{I}}}{\sqrt[]{{{\sigma }_{\mathrm{I}}}^{\mathrm{2}}+\epsilon }},{\widehat{a}}_{\mathrm{L}}=\frac{a-{\mu }_{\mathrm{L}}}{\sqrt[]{{{\sigma }_{\mathrm{I}}}^{\mathrm{2}}+\epsilon }}（3）

{\widehat{a}}_{\mathrm{L}}=\frac{a-{\mu }_{\mathrm{L}}}{\sqrt[]{{{\sigma }_{\mathrm{I}}}^{\mathrm{2}}+\epsilon }}（4）

\rho \stackrel{}{\leftarrow }\mathrm{c}\mathrm{l}\mathrm{i}{\mathrm{p}}_{[\mathrm{0,1}]}(\rho -\tau \mathrm{\Delta }\mathit{\rho })（5）

式中：{\widehat{a}}_{\mathrm{I}}、{\widehat{a}}_{\mathrm{L}}为经过实例归一化和层归一化处理后的激活函数值；µ_I、µ_L和σ_I、σ_L分别为每个输入数据点及所有数据的均值和标准差；γ和β为注意力图中的完全连接层动态计算出的仿射变换参数；ρ为能够在训练过程中学习调整的权重参数，通过实例归一化和层归一化间的动态调整找到不同任务的最优平衡参数；τ为学习率；∆ ρ 为优化器确定的参数更新向量。clip函数限定参数ρ的更新边界为［0，1］。实例归一化中ρ接近于1，层归一化中ρ接近于0。在保留图像细节特征的任务中，ρ初始值接近于1；在处理整体图像转换任务中，ρ初始值接近于0。一般ρ值在解码器的残差块中初始化为0.9，在解码器的上采样块中初始化为0.1，ILN模块计算流程和结构如图2所示。

1.3.3 辅助注意力分类器模块

类激活映射^［26］（Class Activation Mapping， CAM）在模型分类决策时能直观探寻关键像素部分，其通过生成空间注意力图来突出显示图像中对目标特征更重要的区域，且对具有复杂背景或多个目标图像的适用性更强。基于类激活映射的辅助注意力分类器模块结构如图3所示。

生成器中的注意图将注意力集中在区分源域和目标域的特定区域，而鉴别器中的注意图通过关注目标图像区域中真假图像的差异来协助模型微调。图像经过改进残差模块得到的特征图能够捕捉输入图像的不同特征和细节，经过全局平均池化和全局最大池化后得到基于通道数的特征向量，其是更突出针对特征的区域注意力图。之后创建可学习权重参数Weight，经过全连接层压缩到B×1维，对特征图的每个通道均赋予权重，其值决定通道对应特征的重要程度，从而强化针对性更强的目标特征。经过全局平均池化和全局最大池化后，再特征融合并判断目标的源域和目标域分类，最后生成目标图像。

1.3.4 损失函数

为了实现较好的阴影去除效果，采用损失函数，其由循环一致损失L_cyc、对抗一致损失L_adv、残差损失L_res、类激活映射损失L_cam和阴影边缘平滑损失L_boundary 5部分组成。循环一致损失L_cyc能够约束拟合图像与真实图像的相似性；对抗一致损失L_adv对生成器映射及判别器进行优化，拟合数据更逼真，真假分类判断更准确；类激活映射损失L_cam通过处理辅助分类器的信息，聚焦于图像中的阴影区域；阴影边缘平滑损失L_boundary能够平滑过渡阴影区域与非阴影区域的边界；残差损失L_res衡量的是模型预测的残差图像与真实残差图像之间的差异，能够使生成器准确预测出阴影区域内的亮度变化。总损失函数为：

L={\lambda }_{\mathrm{1}}{L}_{\mathrm{c}\mathrm{y}\mathrm{c}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{a}\mathrm{d}\mathrm{v}}+{\lambda }_{\mathrm{3}}{L}_{\mathrm{c}\mathrm{a}\mathrm{m}}+{\lambda }_{\mathrm{4}}{L}_{\mathrm{b}\mathrm{o}\mathrm{u}\mathrm{n}\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{y}}+{\lambda }_{\mathrm{5}}{L}_{\mathrm{r}\mathrm{e}\mathrm{s}}（6）

式中：λ₁、λ₂、λ₃、λ₄、λ₅为混合阴影去除损失函数系数。

1.3.5 训练参数及环境

训练测试环境为：Intel（R） Core（TM） i7-12800H CPU@ GHz，NVIDIA GeForce GTX3060，在增加数据后的ISTD数据集上联合训练，训练轮次（epoch）设置为10 000次。设置初始学习率为λ=0.000 2，并在训练500个轮次后开始线性衰减至0。为了提高本文算法在道路巡检中的泛化性，将训练图像分辨率调整为600×600后随机裁剪为512×512，随机旋转α度，考虑道路巡检图像通常保持大致水平，α的范围取［-10，10］，并随机翻转。混合阴影去除损失函数系数λ₁、λ₂、λ₃、λ₄、λ₅的参数分别设为10、1、1 000、1、10。

2 试验结果与分析

2.1 图像质量评价指标

图像质量评价指标用于衡量图像经过处理后的视觉质量，本文采用峰值信噪比R_PSNR、图像结构相似度S_SSIM和均方根误差E_RMSE定量评价，并对比本文算法与其他对比网络的阴影去除效果，以及修复后图像的视觉质量。其中，R_PSNR、S_SSIM的值越高，E_RMSE的值越低，表明效果越好。

2.2 阴影去除性能试验

本文所提出的算法在道路病害数据集背景中的阴影去除结果如图4所示。

在生成器引入ILN处理的残差模块后，网络更加关注图像中的阴影部分，使生成图像更真实。混合阴影去除损失函数使算法阴影去除特征更有区分度，本算法可以较好地处理复杂场景中的阴影，尤其是保留图像细节和纹理方面。

2.3 消融试验

为分析残差ILN模块和混合阴影损失函数的有效性，本节在增加存在阴影的道路病害ISTD数据集上进行消融试验以分析阴影去除算法的效果。消融试验结果见表1。

采用残差ILN模块使R_PSNR、S_SSIM值分别提升6.8%、8.0%，通过动态调整归一计算方法得到的最优平衡参数，使网络有效适应随机性强的复杂数据分布，并加快深层网络中的信息流动，有效调整图像的局部阴影区域并保留原有图像信息。采用混合阴影去除损失函数使R_PSNR、S_SSIM值分别提升29.7%、26.4%，通过多任务损失函数提高模型的阴影区域识别能力，从而更精确地定位、去除阴影，并在阴影边界和非阴影区域间过渡得更平滑，减少了色彩失真。本节的消融试验表明；改进阴影去除算法在复杂道路场景下的阴影去除效果较好，增强了道路病害目标检测在复杂场景下抵御阴影干扰的能力。

2.4 与其他算法性能对比试验

本节将提出的阴影去除网络与以下几种方法进行比较：基于物理图像方法的改进Retinex方法、无监督阴影去除方法Mask-ShadowGAN以及基于图像转换的阴影检测与去除法（Shadow Detection and Shadow Removal， ST-CGAN）。在混合ISTD测试集上的阴影去除试验结果见表2。

本文提出的基于弱监督图像转换生成对抗网络算法在阴影去除处理上表现较好，相较于改进Retinex方法，Mask-ShadowGAN及STC-GAN，本文算法图像质量指标值R_PSNR分别提高9.742 3、0.583 0、0.442 3，图像质量指标值S_SSIM分别提高0.653 7、0.244 7、0.142 8。本文算法指标值在R_PSNR和S_SSIM上最高，表明图像在经过阴影去除后质量较好且阴影去除图像与原图像结构相似度也较高；E_RMSE指标值最低，表明图像误差较小，在减少图像失真的情况下可实现良好的阴影去除效果。Mask-ShadowGAN和ST-CGAN两种阴影去除算法均基于生成对抗网络，两种算法均取得较高的指标值，但是Mask-ShadowGAN的S_SSIM较低，代表着该算法阴影去除后图像结构相似度较低，可能会出现图像色彩失真；ST-CGAN和本文算法的S_SSIM相差较小，采用自适应颜色均衡处理颜色偏差，减少了图像整体颜色失真的问题，但是其均方根误差大于其他算法，这是因为算法在进行阴影去除时采用了部分先验知识，而此类先验知识并不适用所有场景，因此难以适应复杂多变的道路病害场景。而本文提出的阴影去除算法相较于其他算法在图像质量指标值上具有优势。阴影去除效果如图5所示。

2.5 阴影去除对病害检测模型的普适性验证

为验证所提出阴影去除方法的有效性和普适性，本节基于自有数据集，将该网络与应用广泛的两阶段目标检测算法Faster R-CNN和Cascade R-CNN、单阶段目标检测算法SSD和YOLOv8基准模型进行比较。数据集采用车载设备拍摄获取，进行处理后用于训练与测试。将阴影去除后数据集与原数据集中阴影图像按照1∶1的比例融入道路病害数据集中，在未去除阴影图像数据集D_SD与阴影去除图像数据集D_RD上进行性能对比试验。数据集组成如图6所示。

以召回率R、精确率P和平均精确率P_mAP以及F1分数F_1-score作为评价指标。R和P值越高，表明模型的综合检测能力越强；P_mAP值越大，表明算法的检测精确率越高；多个模型的P‑R曲线交叉时难以判断优劣，通过精确率和召回率计算得到F_1-score来评判模型性能的优劣，结果见表3。

由表3可知：阴影去除数据集训练后，病害检测精确率、平均精确率、召回率以及F_1-score均呈现一致性提升，平均提升1.7%、1.2%、0.8%、1.3%。阴影去除并非特定于某种检测架构，而是通过恢复被阴影掩盖的纹理特征，普遍增强病害的可检测性。YOLOv8的领先性可能源于其锚点自适应机制与本文阴影去除算法的协同优势：动态归一化层（ILN）对光照分布进行了优化，结合YOLOv8的C2f模块共同增强多尺度特征提取能力，同时借助CAM注意力机制，实现对阴影区域的精准定位，减少YOLOv8对负样本的误检；两阶段模型提升效果有限，由于区域提议网络（RPN）自带阴影鲁棒性，导致对齐优化的增益产生边际效应。

2.6 间接性能评估试验

本节使用统一的参数配置YOLOv8基准网络的模型训练性能指标结果作为评价指标，具体而言，采用Mask-ShadowGAN和本文阴影去除网络算法对自有道路病害巡检数据集D_SD进行阴影去除，将去除后的道路病害数据集设定为D_RD1（Mask-ShadowGAN）、D_RD2（本文算法）和D_SD数据集，使用YOLOv8基准网络分别在数据集上进行模型训练性能指标试验。YOLOv8基准网络使用经过不同算法处理后的图像数据集进行模型训练，通过检测模型的评价指标间接评估阴影去除算法的效果。受到阴影干扰的图像存在细节特征信息容易丢失的问题，使得检测模型难以有效表征小目标。因此，本文的阴影去除算法能够有效地降低阴影对图像的影响，恢复图像的细节信息，为检测模型提供更丰富的信息，从而提高检测效果。间接性能对比试验结果如表4所示。

由表4可知：在处理后的数据集上进行目标检测，相较于原始数据集D_SD，本文算法检测精度在6类病害上分别提高了2.5%、2.9%、0.24%、3.2%、1.6%、2.7%。相较于未进行图像阴影去除的数据集，在阴影去除图像后的数据集上进行目标检测的效果明显提升，主要原因可能是阴影去除算法能够有效地抑制阴影对道路裂缝特征提取过程的干扰，减少图像丢失特征信息的概率，增强后续道路病害目标检测在复杂场景下抵御阴影干扰的能力，提高道路病害目标检测的准确性。在6类病害的间接性能评估中，网状裂缝的检测精度提升幅度仅为0.24%，显著低于其他病害类型的平均提升水平。这可能是在网状裂缝检测任务中，包括阴影、光照以及其他道路基础设施边缘交界处在内的路面噪声图像灰度值与待检测目标的灰度值差异较小，并且目标裂缝和噪声都与背景图像（路面）的灰度值差异较大，导致道路病害目标检测任务呈假阳性。道路不均匀材质将裂缝纹理复杂化，增加了网状裂缝目标的特征提取难度，道路标线在图像中通常具有高对比度、轮廓标识线清晰的特点，但标线与网状裂缝在角点特征、形态特征上存在相似性，易造成特征混淆，最终引发检测误差。

热力图能够直观分析和理解深度学习模型在处理图像时的焦点关注区域，标识线与网状裂缝交织的道路病害图像模型特征提取热力图如图7所示。除了已经检测到的病害区域，模型的高响应区域（以方框表示）也倾向于集中在道路标识线的边缘，虽然模型能识别出网状裂缝，但道路标识线的边缘也会引起模型关注，影响检测结果的置信度，从而降低模型完整提取网状裂缝特征的性能。在处理复杂背景的图像时模型存在局限性，即模型可能会将与病害特征相似的非病害元素错误判别为关联特征。

混淆矩阵可以展示不同类别的预测准确性和误判情况，本文采用阴影去除算法进行图像处理后，对目标检测网络性能有一定改善，通过混淆矩阵图（图8）可以发现，模型对6类道路病害的识别精确度均有所提高，具体来说，各类病害的正确分类实例指标分别提升了10.2%、3.4%、3.3%、4.4%、3.4%、5.6%，阴影的有效消除有助于减少模型在道路病害检测中的误判情况，从而提升整体的预测准确性。

3 结论

本文提出一种基于弱监督生成对抗网络的道路阴影去除算法。主要结论如下：

（1） 设计动态自适应实例归一化（ILN）模块，融合实例归一化与层归一化两者优势，根据输入图像动态调整特征分布，能有效保留道路纹理细节。试验结果表明：引入ILN模块后，R_PSNR提升约6.8%，S_SSIM提升约8.0%。

（2） 构建融合循环一致损失、对抗损失、残差损失、类激活映射损失与阴影边缘平滑损失的多任务混合损失函数，大幅优化阴影边界处理效果，增强图像结构保真能力。采用该混合损失，R_PSNR提升约29.7%，S_SSIM提升约26.4%。

（3） 基于公开数据集D_ISTD开展对比试验，结果表明：该算法在R_PSNR、S_SSIM和E_RMSE指标上，性能均优于改进Retinex、Mask-ShadowGAN和ST-CGAN等现有对比算法。与此同时，经本算法去除阴影后的图像，能够有效改善Faster R-CNN、Cascade R-CNN、SSD、YOLOv8等主流道路病害检测模型的识别精度，精确率、平均精确率、召回率以及F_1-score分别提升1.7%、1.2%、0.8%和1.3%。基于YOLOv8的验证结果显示，主要典型病害检测精度提升3.3%~10.2%。

尽管该算法在数据集上取得了优异效果，但落地至真实道路场景仍存在难点：自然环境下极端光照、动态变化阴影会干扰处理效果，且模型计算效率难以满足道路实时检测需求。后续研究将从以下几个方面展开：扩充场景丰富度更高的训练数据集；引入多任务学习策略进一步提升病害识别整体精度；精简网络结构实现模型轻量化；优化推理速度以增强实时处理能力，推动该算法应用于道路病害检测工程。

参考文献

[1] Oliveira H, Correia P L. Supervised strategies for cracks detection in images of road pavement flexible surfaces[C]//2008 16th European Signal Processing Conference. Lausanne, Switzerland. IEEE, 2008: 1-5.

[2] Fei Y, Wang K C P, Zhang A, et al. Pixel-Level cracking detection on 3D asphalt pavement images through deep-learning-based CrackNet-V[J]. IEEE Transactions on Intelligent Transportation Systems, 2020, 21(1): 273-284.

[3] Liu Y H, Yao J, Lu X H, et al. DeepCrack: A deep hierarchical feature learning architecture for crack segmentation[J]. Neurocomputing, 2019, 338: 139-153.

[4] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436-444.

[5] 颜鲁鹏, 吴逸飞, 陈波, 等. 融合BIM与现实捕捉技术的高速公路病害检测信息化技术研究[J]. 中外公路, 2020, 40(2): 300-306.

[6] Yan Lupeng, Wu Yifei, Chen Bo, et al. Research on information technology in highway defect inspection based on BIM and reality capture technology[J]. Journal of China & Foreign Highway, 2020, 40(2): 300-306.

[7] 高凡, 贺春光, 王鹏章, 等. 数字图像处理在混凝土路面裂缝中的应用[J]. 中外公路, 2023, 43(1): 44-51.

[8] Gao Fan, He Chunguang, Wang Pengzhang, et al. Application of digital image processing in cracks of concrete pavement[J]. Journal of China & Foreign Highway, 2023, 43(1): 44-51.

[9] 陈占权. 沥青路面表面纹理的检测方法及其精准度分析[J]. 中外公路, 2023, 43(6): 74-78.

[10] Chen Zhanquan. Detection method and accuracy analysis of asphalt pavement surface texture[J]. Journal of China & Foreign Highway, 2023, 43(6): 74-78.

[11] 刘昆, 莫洪柳, 刘衍锋, 等. 复杂环境下路面病害识别模型优化研究[J]. 公路工程, 2024, 49(5): 106-115, 166.

[12] Liu Kun, Mo Hongliu, Liu Yanfeng, et al. Research on optimization of pavement distress identification model in complex environment[J]. Highway Engineering, 2024, 49(5): 106-115, 166.

[13] Khan S H, Bennamoun M, Sohel F, et al. Automatic shadow detection and removal from a single image[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(3): 431-446.

[14] Hosseinzadeh S, Shakeri M, Zhang H. Fast shadow detection from a single image using a patched convolutional neural network[C]//2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS). Madrid, Spain. IEEE, 2018: 3124-3129.

[15] Zou Q, Cao Y, Li Q Q, et al. CrackTree: Automatic crack detection from pavement images[J]. Pattern Recognition Letters, 2012, 33(3): 227-238.

[16] 潘广贞, 孙艳青, 王凤. 基于Fast RCNN模型的车辆阴影去除[J]. 计算机工程与设计, 2018, 39(3): 819-823.

[17] Pan Guangzhen, Sun Yanqing, Wang Feng. Removal of vehicle shadow based on Fast RCNN model[J]. Computer Engineering and Design, 2018, 39(3): 819-823.

[18] Carlson A, Vasudevan R, Johnson-Roberson M. Shadow transfer: Single image relighting for urban road scenes[PP/OL]. V2. arXiv (2019-09-26)[2025-9-30].

[19] Wang J F, Li X, Yang J. Stacked conditional generative adversarial networks for jointly learning shadow detection and shadow removal[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Salt Lake City, UT, USA. IEEE, 2018: 1788-1797.

[20] Hu X W, Jiang Y T, Fu C W, et al. Mask-ShadowGAN: Learning to remove shadows from unpaired data[C]//2019 IEEE/CVF International Conference on Computer Vision (ICCV). Seoul, Korea. IEEE, 2019: 2472-2481.

[21] Liu Z H, Yin H, Mi Y, et al. Shadow removal by a lightness-guided network with training on unpaired data[J]. IEEE Transactions on Image Processing, 2021, 30: 1853-1865.

[22] Cun X D, Pun C M, Shi C. Towards ghost-free shadow removal via dual hierarchical aggregation network and shadow matting GAN[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2020, 34(7): 10680-10687.

[23] Liu Z H, Yin H, Wu X Y, et al. From shadow generation to shadow removal[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). Nashville, TN, USA. IEEE, 2021: 4925-4934.

[24] Jin Y Y, Sharma A, Tan R T. DC-ShadowNet: Single-image hard and soft shadow removal using unsupervised domain-classifier guided network[C]//2021 IEEE/CVF International Conference on Computer Vision (ICCV). Montreal, QC, Canada. IEEE, 2021: 5007-5016.

[25] Kubiak N, Mustafa A, Phillipson G, et al. S3R-net: A single-stage approach to self-supervised shadow removal[C]//2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW). Seattle, WA, USA. IEEE, 2024: 5898-5908.

[26] Creswell A, White T, Dumoulin V, et al. Generative adversarial networks: An overview[J]. IEEE Signal Processing Magazine, 2018, 35(1): 53-65.

[27] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[PP/OL]. V2. arXiv (2016-01-07)[2025-09-30].

[28] Kim J, Kim M, Kang H, et al. U-GAT-IT: Unsupervised generative attentional networks with adaptive layer-instance normalization for image-to-image translation[PP/OL]. V4. arXiv (2020-04-08)[2025-09-30].

[29] Ba J L, Kiros J R, Hinton G E. Layer normalization[PP/OL]. V1. arXiv (2016-07-21)[2025-9-30].

[30] Ulyanov D, Vedaldi A, Lempitsky V. Instance normalization: The missing ingredient for fast stylization[PP/OL]. V3. arXiv (2017-11-06)[2025-09-30].

[31] Zhou B L, Khosla A, Lapedriza A, et al. Learning deep features for discriminative localization[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). Las Vegas, NV, USA. IEEE, 2016: 2921-2929.

基金资助

江西省交通运输厅科技项目(2023H0046)