混凝土构件表面裂缝分割的改进SegFormer方法

Improved SegFormer Model for Surface Crack Segmentation in Concrete Components

摘要

混凝土结构常常会产生表面裂缝，及时对这些表面裂缝进行检测对结构状况评估有重要意义。本文提出了一种改进SegFormer的方法，用于表面裂缝的分割。该方法利用SegFormer模型的网络架构和创新模块（CA），在解码器部分加入了坐标注意力机制模块，其中创新性地引入了沿对角线方向池化，显著提升了模型在像素级预测时对细长形状空间关系的理解能力。通过对公共数据集Concrete3k的实验结果进行对比，改进SegFormer模型展现出最高的IoU值，表明其在裂缝分割任务中表现最佳，在参数量较低的情况下，改进SegFormer模型仍能保持高性能。

Abstract

Concrete structures commonly exhibit visible surface cracks and detecting these surface cracks is of great significance for structural condition assessment. This paper presents an improved attention mechanism mode for surface crack segmentation. The method leverages the network framework and innovative module （CA） of the improved attention mechanism mode， adds a coordinate attention module to the decoder， and by introducing pooling along the diagonal direction significantly enhances the model's understanding of elongated spatial relationships in pixel-level predictions. Comparative experiments on the public dataset Concrete3k demonstrate that the improved attention mechanism mode achieves the highest IoU value， indicating superior performance in crack segmentation tasks. Additionally， the improved attention mechanism mode maintains high performance with a relatively low parameter count.

Graphical abstract

关键词

混凝土构件 / 表面裂缝 / 图像分割 / 改进SegFormer模型 / 深度学习 / 鲁棒性

Key words

concrete components / surface cracks / image segmentation / improved attention mechanism mode / deep learning / robustness

0 引 言

在过去二十年里，我国建筑行业飞速发展，许多基础设施和建筑物相继拔地而起。然而，随着时间的推移，早期建设的混凝土结构逐渐进入维修和维护阶段，其中裂缝的出现和发展是最明显的损伤标志之一^［1-3］。因此，在混凝土结构的维修和维护中，裂缝损伤检测成为研究的热点。表面裂缝的分割作为损伤检测的关键步骤，对其分割方法的研究具有重要意义。

近年来，深度学习^［4-7］已成为推动人工智能发展的核心技术，许多学者将其应用于表面裂缝分割领域。徐国整等提出一种基于HU-Res Net卷积神经网络的裂缝提取算法，结合ResNet与SCSE模块增强特征全局信息，提高了分割精度^［8］ 。Chen等提出一种多阶段语义分割方法，通过提取多分辨率特征与类别像素关联特征聚合，优化损失函数，实现了裂缝高精度分割^［9］。Xiang等提出DTrC-Net双编码器网络，结合Transformer与CNN提升检测性能^［10］。张俊杰基于DeepLabv3+框架融合Swin Transformer和逆残差结构，提出SCDeepLab算法增强泛化能力^［11］。张明星等在U-net的基础上引入改进的ResNet50主干网络、注意力机制的特征融合模块及特征细化头提升分割表现^［12］ 。王琳琳等提出了一种改进DeepLabv3+模型的混凝土坝裂缝特征提取方法，以实现复杂背景下表观裂缝的特征提取^［13］。

尽管现有研究在裂缝分割实际问题中取得了较高的准确率和鲁棒性，但大多数方法存在模型参数量大、不够轻量化从而计算消耗大的缺点，不能满足实际算法部署时兼顾精度与效率的要求。鉴于此，本研究结合改进的坐标注意力机制（Coord Attention）和已有的SegFormer模型，在解码器部分引入了沿对角线方向的池化以增强模型对空间信息的捕捉能力，提出了一种改进的SegFormer的剪力墙表面裂缝分割方法^［14-15］。

1 模型介绍

本研究使用的CA-SegFormer模型结构如图1所示。整体架构由两个关键模块组成：分层Transformer编码器和轻量级的全MLP（All-MLP）解码器^［16-17］。此外，本研究创新性地在解码器中加入了CA（Coord Attention）注意力机制模块，在模块中引入了沿对角线方向的池化，以进一步增强对空间信息的捕捉能力。

CA-SegFormer的整体处理流程如下：给定一幅大小为H×W×3的图像，首先将其分割成大小为4×4的小块。随后，将其送入分层Transformer编码器，以获得分别为原始图像分辨率\left\{\frac{\mathrm{1}}{\mathrm{4}},\frac{\mathrm{1}}{\mathrm{8}},\frac{\mathrm{1}}{\mathrm{16}},\frac{\mathrm{1}}{\mathrm{32}}\right\}的多级特征。

这些多级特征被传递至All-MLP解码器，在解码器内部，通过一个轻量级的结构融合来自不同层次的特征，并利用加入的CA注意力机制模块强化特征的空间相关性。最终，解码器输出一个分辨率为\frac{H}{\mathrm{4}}\times \frac{W}{\mathrm{4}}\times N_{\mathrm{c}\mathrm{l}\mathrm{s}}的分割掩码，其中N_{\mathrm{c}\mathrm{l}\mathrm{s}}表示类别数量。

1.1　分层Transformer编码器

图1中Encoder部分展示了分层Transformer编码器的架构。其中橙色方块Transformer Block为功能块，白色方块则代表了输入图像的尺度变化。Transformer Block通过引入一系列创新的组件和机制来增强模型的效率和性能。这些组件包括高效的自注意力（Efficient Self-Attention）、混合前馈网络（Mix-FFN）和重叠的补丁合并（Overlap Patch Merging）（位置修改），Transformer Block的内部结构如图2所示。

自注意力机制是Transformer模型的核心，它允许模型在处理序列时动态地聚焦于最相关的部分，使得模型能处理更长的序列，同时保持较低的计算开销^［18-19］。

混合前馈网络Mix-FFN在每个前馈网络内部结合了3×3的卷积操作和多层感知机（MLP）。通过引入深度卷积，这种结构能有效地为Transformer层提供位置信息，同时减少模型参数量，进而提高整体计算效率。

重叠补丁合并技术对经过多轮注意力和混合前馈网络处理的数据进行整合（Overlap Patch Merging），提高了模型对于局部信息的捕获能力，增强了模型对于图像细节的理解。

经过分层Transformer编码器，输入图像被处理成为四种不同空间分辨率的特征表示，并分别输入轻量级多层感知解码器。

1.2　轻量级多层感知解码器

图1中Decoder部分展示了轻量级多层感知解码器的架构，轻量级多层感知解码器的架构如图3所示。

SegFormer在其轻量级解码器设计中独特采用了多层感知器（MLP）层，有效避免了其他语义分割方法中常见的复杂且计算成本高的设计。所提出的全MLP解码器主要经过四个步骤来处理特征：首先，混合Transformer编码器产生的多级特征，通过MLP层进行通道维度的统一化处理；随后，将这些特征上采样到原始分辨率的四分之一并进行拼接；接着，使用MLP层对拼接的特征进行融合；最后，通过另一个MLP层将融合后的特征转换为具有分辨率的分割掩码。

1.3　改进SegFormer模型架构

如图1所示，为了提升SegFomer的表现，本研究在解码器部分引入了坐标注意力模块，并在该模块中创新地引入了沿对角线方向的池化操作，该模块架构如图4所示。

传统的坐标注意力模块使用两种空间维度的池化核分别沿水平和垂直坐标对输入特征进行编码。本研究创新性地加入了沿对角线的方向的池化，对输入特征进行编码。图4中的M Avg Pool和V Avg Pool分别代表主对角线和副对角线方向的池化。四个聚合的特征图（包括水平、垂直、主对角线和副对角线）被拼接并通过一个共享的1×1卷积进行转换，产生一个中间特征图，这个特征图接着沿空间维度分裂成四个张量，并分别通过1×1卷积转换，生成最终的注意力权重。

坐标注意力模块的输出由输入与特征注意力相乘得到，允许模型在每个空间位置独立调整输入特征的权重，从而更精确地标定和强调兴趣区域。

2 改进SegFormer模型训练、验证和测试

2.1　冻结训练

冻结训练（Freeze-Train）是一种常用的深度学习技术，能有效防止灾难性遗忘。冻结训练是指在训练模型时，冻结（Freeze）某些层的权重，暂停更新，而只更新其他层的权重。

训练流程被分为两个关键阶段：冻结阶段（Freeze Epoch）和解冻阶段（Unfreeze Epoch）。在冻结阶段，模型的主干网络及部分参数被冻结，不参与更新，这能有效防止灾难性遗忘。此阶段模型主要聚焦于学习数据集的基础特征。随后进入解冻阶段，模型将开始调整被冻结的参数，以便深入学习更复杂的特征。通过这种方式，模型在掌握一定基础特征后进一步调整，以更好地适应高级特征或更复杂的任务。

本研究采用了50个训练轮次的冻结训练和200个训练轮次的解冻训练，以训练CA-SegFormer模型。

2.2　模型初始化和超参数设置

在设置改进SegFormer模型的超参数时，考虑到数据集的限制和提高训练效率，我们采用了迁移学习策略来初始化SegFormer参数，即利用在VOC2012数据集上预训练的SegFormer模型参数作为起点。考虑到现有结构与原始结构参数不匹配的问题。因此，本研究只加载了与原始结构对应的权重部分。

在学习率选取方面，考虑到模型参数众多，本研究采用了AdamW优化器进行学习率的动态调整。AdamW优化器是在传统的Adam优化器的基础上，结合了动量（Momentum）和RMSprop的优点的一种改进，实现了每个参数具有不同的自适应学习率。同时，AdamW优化器修改了权重衰减（Weight Decay）的处理方式，避免了正则化过程中可能出现的一些问题。

除此之外，本研究采用了余弦退火（Cosine Annealing）策略来动态调整学习率。此方法通过逐渐减少学习率，模仿了物理过程中的冷却过程，其中温度逐渐减小以达到系统的最低能量状态。在训练的不同阶段，学习率会按照余弦函数周期性地减小或增大，这有助于跳出局部最小值，避免过早收敛到局部极小点，从而能更好地找到全局最小值。将AdamW与余弦退火结合使用，可以有效地调节学习率，使模型训练过程更加平稳和高效。

本研究选用了0.000 1作为初始学习率，并设置初始学习率的1%作为最小学习率。训练从高学习率开始，快速探索参数空间，然后逐渐降低学习率，从而微调模型并避免振荡。

2.3　数据集

为更好地与其他模型进行对比，本研究采用了Li等^［20］在2023年整理出的Concrete3k数据集^{。数据集总共包括3 000张图片，对数据集图像数据进行随机分配，生成训练集、验证集，比例分别为70%，15%，15%。由于Concrete3k数据集本身已具有较多图片，本研究通过对数据集的图片进行简单水平翻转，使得各集合中样本数量均扩大一倍。}

2.4　模型的评价指标

本研究选取常用的五个评价指标进行模型评价，包括交并比（ Intersection over Union，IoU）、像素准确率（Pixel Accuracy，PA）、召回率（Recall）、F1分数、帧率FPS。同时，根据混淆矩阵中的值来计算评价指标。

2.4.1　混淆矩阵

语义分割任务的本质在于对图像中的每个像素进行分类。特别是在裂缝分割的场景中，任务转化为将图像中的像素划分为裂缝像素和背景像素两大类。如表1所展示的裂缝与背景的二分类混淆矩阵，裂缝图像的分割结果可被分类为真阳性（True Positive，TP）、真阴性（True Negative，TN）、假阳性（False Positive，FP）及假阴性（False Negative，FN）。

2.4.2　交并比（IoU）

考虑到仅依靠基于分类的平均评价方法并不足以全面评估裂缝分割的效果，本研究采用单独裂缝分类的交并比（IoU）作为主要评价指标。IoU是衡量两个集合之间重叠程度的指标，常用于目标检测和语义分割任务中的模型性能评估。

交并比（IoU）的定义如公式（1）所示：

IoU=\frac{Intersection}{Union}（1）

式中：Intersection是两个集合的交集，特指预测区域与真实标签的重叠部分；Union是两个集合的并集，特指预测区域与真实标签的总体范围，包括交集。

基于混淆矩阵的结果，IoU的计算方法可进一步明确为公式（2）所示形式：

IoU=\frac{TP}{TP+FP+FN}（2）

式中：TP、FP与FN分别是分割结果对应混淆矩阵中True Positive、False Positive与False Negative的值。

IoU的取值范围为0至1，0表示没有任何重叠，而1表示完全重合。较高的IoU值表明模型预测结果与实际情况高度吻合。

2.4.3　准确率（Precision）

准确率是衡量模型预测正确性的指标，尤其适用于需要准确识别特定对象的任务中。

准确率的定义为公式（3）所示：

Precision=\frac{TP}{TP+FP}（3）

式中，TP（True Positive）是正确预测为正的结果数；FP（False Positive）是错误预测为正的结果数。

精确度计算公式基于混淆矩阵的结果，可以更加具体地反映出模型在预测特定类别时的准确性。

2.4.4　召回率（Recall）

对于多类别的语义分割任务，召回率（Recall）是一个关键的评价指标。召回率衡量的是模型识别出的正样本占所有实际正样本的比例。召回率衡量模型捕捉到的正样本比例，对于需要减少漏检的应用场景非常适用。

召回率的定义如公式（4）所示：

Recall=\frac{TP}{TP+FN}（4）

式中：TP（True Positive）表示正确地预测为正的样本数量，FN（False Negative）表示未能正确预测为正的实际正样本数量。

召回率的取值范围为从0到1，较高的召回率值表明，模型在避免错过关键类别的正样本方面表现良好。

2.4.5　F1分数

对于多类别的语义分割任务，F1分数是一个关键的综合性评价指标。F1分数通过平衡准确率（Precision）和召回率（Recall），提供了一个衡量模型准确性和完整性的单一指标。

F1分数的定义如公式（5）所示：

\mathrm{F}\mathrm{1}=\mathrm{2}\times \frac{Precision+Recall}{Precision\times Recall}（5）

该计算公式基于混淆矩阵的结果，有效地结合了精确度和召回率的优点，从而使得F1分数能够全面地反映出模型在特定类别上的表现。同样，较高的F1分数值表明，模型在正确识别正样本的同时，避免了过多的错误预测，从而在关键类别的识别上取得了良好的平衡。

2.4.6　帧率FPS（Frames Per Second）

FPS是衡量图像处理系统或算法性能的重要指标，表示每秒能够处理的图像帧数。在裂缝识别中，FPS越高意味着系统能够更快地处理图像并检测裂缝，从而提高检测效率。

2.5　模型的训练和验证

本研究所用的CA-SegFormer训练数据集遵循VOC2012数据集的格式，并进行了必要的数据增强与预处理。同时，使用AdamW优化器，以Dice损失函数控制训练过程。在训练过程中，每隔5个Epoch在验证集上进行一次各类评价指标的计算并更新模型。图5展示了SegFormer和CA-SegFormer在验证集上的交并比、准确率、召回率、F1分数随训练迭代次数增加的变化曲线。在采用RTX4090进行GPU加速训练的条件下，CA-SegFormer模型的训练时间约为7 h。

在前3500迭代次数内（冻结训练阶段），CA-SegFormer使用了预训练的SegFormer参数，因此在此阶段SegFormer在各个评价指标上的表现都略优于CA-SegFormer。在冻结训练阶段后，CA-SegFormer展现出超越SegFormer的表现。由图5可知，在验证集上，CA-SegFormer裂缝类别的交并比（IoU）达到了83.47%，精确度达到了92.25%，尽管在召回率方面有时略低于SegFormer，但综合F1分数的结果表明CA-SegFormer在整体性能上趋于优于SegFormer，这显示出了创新性模块的潜力。

为评估模型性能的改进，本研究对于每个Epoch均记录训练损失和验证损失。考虑到损失曲线可能受到噪声和波动的影响，我们采用了Savitzky-Golay滤波器进行平滑处理，以便更清晰地分析损失函数的整体趋势。图6展示了平滑处理后训练损失和验证损失随迭代次数变化的曲线。由图6可知，模型在训练过程中存在震荡，在12 500次迭代中存在较大的性能下降，但模型在后续的训练中逐渐收敛。SegFormer在整个训练周期的表现均比较稳定，在训练后期的表现略低于CA-SegFormer。

综上所述，加入额外模块的CA-SegFormer在训练过程中展现了其在精确度和鲁棒性方面的优越性。结合前期的冻结训练与后期的性能进展，CA-SegFormer显示出在深度学习驱动的裂缝检测和分割任务中的优越性。这些结果表明，随着长时间的训练和参数调整，CA-SegFormer能够更加充分地利用其先进的架构优势。

3 测试验证

为验证训练的CA-SegFormer性能，本研究使用Concrete3k的测试集进行模型测试。表2展示了利用训练的CA-SegFormer进行图像裂缝分割的典型测试结果，并展示了IoU结果。其中从左到右分别为原始图片、标签图片和测试结果。

在表2测试组（a）中，得到的分割结果表现出色。而在表2测试组（b）中，尽管CA-SegFormer能成功识别出细裂缝，但检测到的裂缝宽度较实际裂缝略宽，这导致IoU有所下降，说明模型的裂缝分割可能受阴影和较暗像素块的影响。在表2测试组（c-f）的原始图像背景中存在一定的噪声，这通常会对裂缝分割模型的性能产生影响。总体来看，CA-SegFormer在这些测试中成功地检测到裂缝，证明了其良好的鲁棒性。在表2测试组（g）中，CA-SegFormer的检测结果IoU较低。观察原始图片及其测试结果可知，原始图片中存在一些细微裂缝并未包括在数据集中，但CA-SegFormer成功地识别出了这些裂缝。这显示了SegFormer对于细微裂缝的识别能力，另一方面也表明CA-SegFormer有超估裂缝宽度的特性，可能导致模型对裂缝宽度的估计普遍偏宽。

为比较不同模型的分割性能，将一些先进模型在Concrete3k数据集上进行训练和测试。表3展示了模型结果的对比，对比指标为单裂缝类别的交并比。

由表3可以看出，CA-SegFormer与SegFormer相比，在参数量相同的情况下，其交并比（IoU）从69.14%提高到了71.01%。这一改进显示了引入CA模块的CA-SegFormer能更准确地识别出损伤区域。

此外，与其他使用不同主干网络的高性能模型比较，例如使用ResNet-101主干网络的DeepLab V3+模型拥有59.34M（百万）的参数，CA-SegFormer仍展现出了更高的准确率。经计算CA-SegFormer平均每秒可以处理61.642 6张图片。这说明CA-SegFormer在结构设计上具有更优的特征融合和信息传递机制，使得模型即使在参数量较低的情况下，仍能保证较高的性能。

综上所述，CA-SegFormer的IoU最大，同时参数量较低，凸显了其在深度学习裂缝识别分割领域的优越性，在参数量较小的情况下比大参数模型能更准确地分割裂缝的同时有较高的检测效率。但是CA-SegFormer仍然存在着高估裂缝宽度的倾向。

4 结 论

本文基于SegFormer模型进行了创新性改进，在解码器部分加入坐标注意力机制模块，并引入沿对角线方向池化，将CA模块加入模型，构建用于裂缝分割的CA-SegFormer模型，得出以下结论：

（1） 模块CA的引入能够提升模型对裂缝的识别能力。将CA-SegFormer模型与基础的SegFormer模型进行了对比，训练过程中，虽然SegFormer的前期表现更佳，但最终在验证集上，CA-SegFormer裂缝类别的交并比（IoU）达到了83.47%，精确度达到了92.25%，相比于SegFormer有2%的提升。

（2） 参数量较低的情况下，改进SegFormer仍具有更好的表现。在公共数据集Concrete3k上对CA-SegFormer模型与其他模型进行了对比测试，发现CA-SegFormer在测试集上的平均FPS为61.642 6。相比于表现最好的DeepLab V3+模型，CA-SegFormer在仅有一半的训练参数的条件下，实现了近4%的交并比提升。

参考文献

[1] 孙威.利用压电陶瓷的智能混凝土结构健康监测技术［D］.大连：大连理工大学，2010.

[2] SUN Wei.Health monitoring technology for smart concrete structures using piezoelectric ceramic［D］.Dalian：Dalian University of Technology，2010.（in Chinese）

[3] 贺拴海，宋一凡，赵小星，钢筋混凝土梁式结构裂缝特征与损伤评估方法试验研究［J］.土木工程学报，2003（2）：6-9.

[4] HE Shuanhai，SONG Yifan，ZHAO Xiaoxing，et al.Experimental study on crack characteristics and damage evaluation for RC beams［J］.China Civil Engineering Journal，2003（2）：6-9.（in Chinese）

[5] SUN Hongshuo，SONG Li，YU Zhiwu.Assessing the fatigue damage of concrete structures using automatically classified crack severity level information［J］.International Journal of Fatigue，2024，179：108071.

[6] 马亚飞，孙文康，何羽，基于DC-Unet的混凝土桥梁表观裂缝识别方法［J］.长安大学学报（自然科学版），2024，44（3）：66-75.

[7] MA Yafei，SUN Wenkang，HE Yu，et al.Surface crack identification method of concrete bridge based on DC-Unet［J］.Journal of Chang'an University （Natural Science Edition），2024，44（3）：66-75.（in Chinese）

[8] ZHANG Ruiyang，MENG Libo，MAO Zhu，et al.Spatiotemporal deep learning for bridge response forecasting［J］.Journal of Structural Engineering，2021，147（6）：04021070.

[9] NIKHILANAND A，SRIPARNA S.Multi-modal advanced deep learning architectures for breast cancer survival prediction［J］.Knowledge-Based Systems，2021，221：106965.

[10] WEI Yiru，ZHU Zhiliang，YU Hai，et al.A real-time threat image projection （TIP） model based on deep learning for X-ray baggage inspection［J］.Physics Letters A，2021，400：127306.

[11] 徐国整，廖晨聪，陈锦剑，基于HU-ResNet的混凝土表观裂缝信息提取［J］.计算机工程，2020，46（11）：279-285.

[12] XU Guozheng，LIAO Chencong，CHEN Jinjian，et al. Extraction of apparent crack information of concrete based on HU-ResNet［J］.Computer Engineering，2020，46（11）：279-285.（in Chinese）

[13] CHEN B，ZHANG H，WANG G，et al.Automatic concrete infrastructure crack semantic segmentation using deep learning［J］.Automation in Construction，2023，152：104950.

[14] XIANG C，GUO J，CAO R，et al.A Crack-segmentation algorithm fusing transformers and convolutional neural networks for complex detection scenarios［J］.Automation in Construction，2023，152：104894.

[15] 张俊杰.基于深度学习的隧道表观病害智能识别研究［D］.长沙：中南大学，2023.

[16] ZHANG Junjie.Intelligent identification of highway tunnel surface defects based on deep learning［D］.Changsha：Central South University，2023.（in Chinese）

[17] 张明星，徐健，刘秀平，改进U-Net的路面裂缝检测方法［J］.计算机工程与应用，2024，60（24）：306-313.

[18] ZHANG Mingxing，XU Jian，LIU Xiuping et al.Improved U-Net pavement crack detection method［J］.Computer Engineering and Applications，2024，60（24）：306-313.（in Chinese）

[19] 王琳琳，孟良，卜博雅，改进DeepLabv3+模型的混凝土坝表观裂缝特征提取方法［J］.东南大学学报（自然科学版），2024，54（4）：929-936.

[20] WANG Linlin，MENG Liang，BU Boya，et al.Concrete dam apparent crack characteristic extraction based on improved DeepLabv3+ model［J］.Journal of Southeast University （Natural Science Edition），2024，54（4）：929-936.（in Chinese）

[21] ELMESSERY M W，MAKLAKOV V D，MESSERY E M T，et al.Semantic segmentation of microbial alterations based on SegFormer［J］.Frontiers in Plant Science，2024，15：1352935.

[22] LI Meilin，RUI Jie，YANG Songkun，et al.Method of building detection in optical remote sensing images based on SegFormer ［J］.Sensors，2023，23（3）：1258-1258.

[23] 陈守存.基于Transformer和对比学习的脑肿瘤图像分割方法研究［D］.济南：济南大学，2024.

[24] CHEN Shoucun.Research on brain tumor image segmentation based on transformer and contrastive learning［D］.Jinan：University of Jinan，2024.（in Chinese）

[25] ZHENG Qingping，ZHENG Ling，et al.Transformer-based hierarchical dynamic decoders for salient object detection［J］.Knowledge-Based Systems，2023，282：111075.

[26] 李海丰，范天啸，黄睿，联合Self-attention与Axial-attention的机场跑道裂缝分割［J］.郑州大学学报（理学版），2023，55（4）：30-38.

[27] LI Haifeng，FAN Tianxiao，HUANG Rui，et al.Combining Self-attention and axial-attention for airport runway crack segmentation［J］.Journal of Zhengzhou University （Natural Science Edition），2023，55（4）：30-38.（in Chinese）

[28] 王张钰.基于窗口自注意机制网络的显著性目标检测［D］.石家庄：河北师范大学，2024.

[29] WANG Zhangyu.Salient object detection network based on self-attention with windows［D］.Shijiazhuang：Hebei Normal University，2024.（in Chinese）

[30] LI Y，MA R，LIU H，et al.Real-time high-resolution neural network with semantic guidance for crack segmentation［J］.Automation in Construction，2023，156：105112.

基金资助

国家自然科学基金(52378540)