融合视觉测量和Transformer的桥梁裂缝智能检测与三维映射

Bridge crack intelligent detection and three-dimensional mapping by integrating visual measurement and Transformer algorithm

摘要

无人机巡检方法已成为桥梁表观病害检测的重要手段. 针对无人机（unmanned aerial vehicle，UVA）易受振动干扰、成像质量不稳定、卷积神经网络识别裂缝小目标效果差及裂缝定位困难等问题，提出了融合视觉测量与Transformer的桥梁裂缝智能检测与三维映射方法，建立基于Real ESRGan图像超分辨率技术的航拍图像采集方法，复原运动模糊图像，实现对高质量桥梁图像的高效采集；在桥梁复杂背景下，通过具有全局注意力机制的Detection Transformer算法和数字图像处理技术，实现对裂缝病害的识别提取与高亮标识；利用多视角影像匹配法处理裂缝高亮标识图片，生成密集点云数据，构建桥梁病害面的精细模型，实现对裂缝病害的三维映射定位. 以长沙市靳江河大桥为实验桥梁，使用无人机拍摄2 316张桥梁表观图像用于生成三维实景模型，拍摄479张精细图像用于病害检测，使用Real ESRgan超分辨率重建算法对运动模糊图像进行复原，所建立的桥梁病害部位精细模型像素点分辨率达0.25 mm/pixel，裂缝宽度测量最小相对误差为1.37%，最大相对误差为9.90%. 结果表明，融合视觉测量和Transformer的桥梁裂缝智能检测与三维映射方法，能够有效提升检测效率，保障人员安全，实现对桥梁裂缝的数字化、智能化、可视化检测，具备重要的研究价值与广阔的应用前景.

Abstract

UAV inspection has been an important method for detecting the visible defects of bridges. To address the problems of unstable image quality caused by UAV vibration， poor performance of convolutional neural networks （CNNs） in small-scale crack detection and difficulty in crack positioning， a bridge crack intelligent detection and three-dimensional mapping method using integrated visual measurement and Transformer algorithm is proposed. This method establishes an image acquisition based on the Real-ESRGan image super-resolution algorithm to restore blurred images and to achieve efficient collection of high-quality bridge images. Subsequently， under the complex bridge background conditions， this method constructs a framework integrating the Detection Transformer algorithm and digital image processing method to identify， extract， and visually highlight the cracks. Then， this method processes crack-highlighted images through multi-view stereo matching to generate dense points cloud and construct a detailed bridge model， enabling the three-dimensional mapping and localization of cracks. Taking the Jinjiang River Bridge in Changsha City as the experimental subject， 2 316 bridge appearance images were captured by UAV for generating a three-dimensional real-scene model， and 479 detailed images were captured for defect detection. The Real ESRGan algorithm was used to restore motion-blurred images. The detailed model of the bridge defect part established has a pixel resolution of 0.25 mm/pixel； the minimum relative error of crack width measurement is 1.37%， and the maximum relative error is 9.90%. The experimental results demonstrate that the intelligent detection and three-dimensional mapping method for bridge cracks， integrating visual measurement and Transformer algorithm， can effectively enhance detection efficiency， ensure safety， and achieve digital， intelligent， and visual bridge crack detection， holding significant research value and broad application prospects.

Graphical abstract

关键词

桥梁 / 裂缝检测 / 无人机 / 三维建模 / Transformer

Key words

bridges / crack detection / UAV / three-dimensional modeling / Transformer

桥梁裂缝若未及时准确识别与处理，会严重影响桥梁的安全性与耐久性，威胁人民生命财产安全并造成巨大经济损失. 因此，定期开展裂缝巡检，对评估桥梁健康状况、排除潜在安全隐患、制定养护维修决策至关重要.

传统的桥梁检测方法多依赖于肉眼、桥检车或望远镜等工具，存在检测效率低、盲区多、检测精度不高、存在安全风险等问题，难以满足大规模的桥梁检测需求. 在此背景下，无人机倾斜摄影技术与计算机视觉图像技术的蓬勃发展，为桥梁病害检测方法提供了新的途径. 无人机能够以非接触方式快速完成桥梁巡检，获取多视角、大范围的高分辨率图像. 视觉图像技术具有强大的学习和泛化能力，可以自动化识别病害特征. 因此，将无人机倾斜摄影与视觉图像技术结合应用，有望弥补传统桥梁病害检测方法的不足，为桥梁病害识别与评估提供新式高效的技术手段.

桥梁图像采集的效率与质量，直接关系到检测的速度与精度. 无人机倾斜摄影航拍可以在短时间内覆盖待测区域，获取包括拍摄点空间位置、相机镜头参数等信息在内的桥梁表观图片，有助于实现对病害的全局定位. 近年来，国内外学者在利用无人机采集大跨径桥梁图像方面进行了积极研究. 钟新谷等^［1］从分析无人机采集图像的可行性角度出发，利用IMETRUM非接触式测量仪验证无人机机载成像质量，结果验证了无人机桥梁裂缝宽度量化识别的可行性. Li等^［2］通过实验分析不同型号无人机在不同光照条件和拍摄角度情况下的成像质量，确定了无人机裂缝测量时的最大识别距离. Chou等^［3］利用无人机搭载激光投射器，将航拍图像转换为正射图像进行裂缝识别，验证了无人机检测裂缝的可行性. Bolourian等^［4］提出了无人机搭载激光雷达的桥梁检测三维路径规划方法，目标是在最小飞行时间内获取最大可见范围. Biscarini等^［5］利用搭载有红外热成像相机和探地雷达的无人机，对意大利蒂沃利地区卢卡诺拱桥表面进行检测. Woo等^［6］在不使用GPS信息的前提下，仅靠无人机影像的相对位置对裂缝进行定位估计. 周云等^［7］利用大疆Mavic2无人机，通过空中三角测量与多视图影像匹配的方法实现桥梁三维实景模型重建及桥梁线形提取. 然而，无人机在人工操作时，其成像质量受相机震动、镜头失焦、复杂天气等因素的干扰，容易出现运动模糊和透视变形^［8］等现象，难以满足工程检测需求. 因此，基于三维粗模进行无人机航线规划，使用超分辨率重建算法复原模糊图像，可以最大程度确保图像质量稳定，为裂缝检测、三维建模等后续任务提供坚实支撑.

对图像进行自动化处理，是新式智能检测技术与传统方法的核心区别. 在传统的检测方法中，基于图像生成点云的三维建模方法无法自动标识裂缝的边缘轮廓，需要检测人员在三维模型中手动进行标识，而视觉图像技术具备感受视觉能力，无须人为定义，即可在复杂的背景中准确地识别出目标特征，在裂缝检测领域得到广泛应用. 一般地，检测遵循图像分类、定位检测、分割提取^［9］三个步骤. 图像分类可以确定图像中是否存在裂缝，刘春等^［10］将毫米级分辨率的结构立面观测图像划分为3 720个子区域，使用深度残差网络进行裂缝分类，其错漏率仅为0.73%. 余加勇等^［11］利用Mask R-CNN网络对横向、斜向、竖向、网状四类共计160条裂缝进行定位，其准确率与召回率均达92.5%. 分割提取可以将图像区分为背景像素点与裂缝像素点，在像素级的水平上对裂缝可能出现的位置进行预测. Zhang等^［12］引入Transformer网络提取全局上下文特征，用于在远距离摄影的条件下检测裂缝，减小干扰，细化分割结果. Xiang等^［13］提出一种超分辨率重建分割方法，提升运动模糊的低分辨率图像清晰度，提高裂缝分割精度. Chu等^［14］注意到细微裂缝分割结果不理想的问题，使用具有注意力的多尺度特征融合网络捕捉微小裂缝局部特征，保留边缘细节，对宽度0.05 mm以上的裂缝识别的交并比（intersection over union， IOU）达到91.44%. Yang等^［15］从降低能耗，延长飞行器续航的角度入手，完成了YOLOv6s的实时轻量化改进，检测速度提升83.5%，能耗降低79.7%. 然而，使用视觉图像技术处理航拍影像的过程中会丢失影像的位置信息，难以将检测出的病害形态定位还原于桥梁结构表面. 因此，可通过融合视觉识别图像进行三维重建的方法，利用Transformer检测模型与数字图像处理技术，定位并标识裂缝像素，匹配病害像素点，并复原相机拍摄位置，将标识的像素映射至桥梁结构表面，从而实现小尺度裂缝测量与桥梁结构大尺度巡检二者的协调.

为此，本文提出融合视觉测量与Transformer的桥梁裂缝智能检测与三维映射方法. 基于三维粗模规划无人机航线，高效获取桥梁结构表观图像，构建三维实景模型，借助视觉图像技术复原航拍退化图像，定位裂缝位置，提取裂缝形态，匹配裂缝同名像素点，将裂缝形态映射于结构表面，实现对裂缝定位与几何测量，并将该方法成功应用于长沙市靳江河大桥的病害检测，促进了桥梁检测的信息化与智能化发展，为桥梁养护决策提供了有力依据.

1 无人机多视角图像采集

本文所提出的桥梁裂缝检测与映射流程如图1所示，首先通过航线规划与无人机航拍，采集多视角桥梁表观图像并判别图像质量，使用Real ESRGan超分辨率算法复原模糊图像. 然后，将病害区域相机图像输入至Transformer裂缝定位检测网络中，框定裂缝区域，再使用形态学图像处理方法提取裂缝轮廓像素，进行高亮标识后覆盖原航拍图像中的同位置像素点，得到桥梁病害三维实景模型，进行几何测量.

1.1 桥梁航拍规划

基于无人机倾斜摄影的桥梁检测方法，以无人机搭载相机为采集手段，规划预设路径和航高，从多个垂直或倾斜角度对目标进行拍摄. 根据任务需求，采用常规飞行与精细飞行结合的方式进行航拍规划，方法如图2所示. 首先使用触摸方式，环绕拍摄整座桥梁，获取图片信息，建立三维粗模，基于三维粗模，根据巡检目的制定常规航线或精密航线. 常规航线适用于快速覆盖桥梁巡检部位，使用广角相机拍摄影像，建立三维实景模型，发现明显病害及病害集中区域，记录病害类型、位置. 精细航线适用于对病害区域的精细化检测，使用变焦或贴近拍摄，捕获小范围区域物体影像，建立病害部位的精细化三维模型，记录病害数量、类型、位置、发展态势、长宽面积信息. 相机贴近拍摄小范围区域物体时，无人机视场越小，单个像素所占有的面积越大，越能够反映结构表面细节，因此，近距离精细化拍摄时，需根据桥梁结构调整飞行器距离与相机焦距，确保所采集的图像像素点地面采样距离控制在0.2~0.5 mm/pixel以内，以满足《公路桥涵养护规范》（JTG 5120—2021）^［16］的裂缝检测精度需求.

无人机巡检航线包括桥梁上部结构、桥面系、桥梁下部结构和附属设施，遵循先左后右、先上后下的拍摄方法. 桥梁上部结构通常分布有线性结构或高耸设施，可分层设置航高，制定“弓”字形航线沿结构轴向平行往复飞行拍摄，避免无人机与线性拉索发生碰撞，减小镜头高低仰角导致的边缘畸变. 桥面系具有长距离连续性和存在交通干扰风险的特点，可按桥梁交通情况及建筑结构高程设置环绕半径与相对航高，制定环绕拍摄航线，快速高效地覆盖大范围桥面以拍摄图像. 桥梁下部结构存在遮挡复杂和GPS信号弱的特点，可将其划分为多个“弓”字形小测段，设置独立起降点，通过预先导入三维粗模地理信息的方式降低碰撞风险.附属设施具有大高宽比的特点，采用回式“之”字形航线规划方法进行垂向拍摄，可以以较稳定的飞行姿态获得较大的拍摄范围，提高拍摄效率. 为保证建模成功率，每条航线的航向重叠率与旁向重叠率均不应低于50%，考虑到桥梁检测的时间成本与后期建模效率，航线的航向重叠率与旁向重叠率均不应高于80%. 检测时可根据结构特点和精度需求，设定合适的重叠率.

1.2 Real ESRGan超分辨率重建

然而，无人机航拍受风力、光照、机身振动等因素的干扰，拍摄的图像可能会出现模糊，影响建模效果与检测精度. 因此，在航拍结束后，从业人员需要检查图像质量，对模糊退化图像进行剔除或复原. 本文采用Real ESRGan超分辨率对抗网络算法进行图像复原，该算法能够模拟图像退化过程，将低分辨率图像转换成高分辨率图像，通过模拟结果与原图像对抗的形式，生成接近真实情况的清晰图像.

模糊图像得到复原之后，需要对其进行定量分析，判别图像质量恢复的好坏程度. 考虑到对无人机巡检航拍图像进行复原时，难以得到清晰的原始图象作为参考，故采用灰度平均梯度值G、拉普拉斯算子L、图像熵H作为无参考评价指标. 灰度平均梯度值G能够衡量图像的灰度变化率，其值越大，图像的细节越多. 拉普拉斯算子L能够衡量图像的锐度或模糊度，其方差值越大，图像越锐利. 图像熵H能够衡量图像信息量和复杂度，其值越大，图像中的信息量和细节越多. 各项评价指标的计算公式如下：

G=\frac{\mathrm{1}}{N}\sum _{i,j}\sqrt[]{{\left[G_x(i,j)\right]}^{\mathrm{2}}+{\left[G_y(i,j)\right]}^{\mathrm{2}}}（1）

L=\frac{\mathrm{1}}{N}{\sum _{i,j}\left(\frac{{\partial }^{\mathrm{2}}I}{\partial x^{\mathrm{2}}}+\frac{{\partial }^{\mathrm{2}}I}{\partial y^{\mathrm{2}}}\right)}^{\mathrm{2}}（2）

H=-{\displaystyle \sum _{m=\mathrm{0}}^{M-\mathrm{1}}}{p}_m\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{p}_m（3）

式中：N为图像的像素数；G_x （i， j）为图像在像素点（i， j）处的x方向梯度，G_y （i， j）同理；I为图像的灰度值；M为灰度级的数量；p_m 是灰度值m出现的概率.

2 裂缝智能检测算法

2.1 Transformer裂缝定位检测

已有的卷积神经网络在处理航拍图像复杂背景下的裂缝小目标时表现不佳. 因此，本文采用Detection Transformer（DETR）目标检测算法进行裂缝检测，引入Transformer模块，弥补卷积神经网络在全局上下文建模方面的不足.

裂缝目标检测算法的目的在于从结构表面图像中定位裂缝位置. 对目标检测模型效果进行评估时，需要使用二分类混淆矩阵比较检测结果和标签值的差异. 二分类混淆矩阵包括四项内容，分别为表示真实裂缝目标被成功识别为裂缝的真阳性（true positive， TP），表示非裂缝目标被错误识别为裂缝的假阳性（false positive， FP），表示非裂缝目标未被识别为裂缝的真阴性（true negative， TN） ，表示真实裂缝目标未被识别为裂缝的假阴性（false negative， FN）. 同时，引入准确率P、召回率R和F₁分数三项指标进行性能评估. 准确率表示所有被识别为裂缝的样本中实际为裂缝的比例，召回率表示所有实际裂缝样本中被正确识别为裂缝的比例，F₁分数是准确率与召回率的调和平均数，可以综合评估模型性能，各项评价指标的计算公式如下：

P=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}（4）

R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}（5）

F_{\mathrm{1}}=\frac{\mathrm{2}PR}{P+R}（6）

2.2 形态学裂缝宽度提取

通过目标检测方法获取包含桥梁裂缝图像的检测框后，可视作对桥梁表面的复杂噪声完成一次初步过滤，仍需使用形态学方法进一步去除噪声. 先使用高斯滤波对图像像素作加权平均处理，平滑图像噪声的同时保持图像原有的灰度结构特征不变，再使用自适应阈值分割方法进一步去除噪声.

完成图像去噪后，使用Canny边缘检测法、阈值分割法与形态学操作提取裂缝边缘点. 针对细小裂缝在检测时容易出现的边缘断裂问题，使用连通域分析方法进行连接.完成连续的裂缝形态提取，其效果如图3所示.

在已知相机参数、物距等成像信息时，可根据裂缝像素尺寸换算其实际尺寸. 本文定义裂缝长度为主裂缝骨架线的长度，裂缝宽度为裂缝骨架线法向上两组裂缝边缘点间的距离，通过裂缝边缘轮廓拟合裂缝骨架线，采用中轴变换与离散骨架进化结合的方法^［17］，进行裂缝骨架提取，计算其裂缝宽度，其计算原理与处理效果如图4、图5所示.

3 裂缝病害三维模型映射

无人机倾斜摄影拍摄的图像可能会存在透视变形现象，影响对裂缝的定位和测量. 常见的倾斜摄影透视情况如图6所示. 首先是相机失位导致的透视变形，在航拍过程中，容易出现相机云台非垂直拍摄的情况，导致裂缝体近大远小，变形明显. 其次，拍摄曲形表面或裂缝贯穿不同立面时也会产生透视变形.

为减小透视变形的影响，提高裂缝检测精度，可结合二维数字图像技术与三维重建技术进行裂缝投影识别，在获取精细裂缝特征的同时消除几何变形，其原理如图7所示. 通过计算机视觉技术提取裂缝形状特征后，基于多视角影像匹配原理进行三维重建，将裂缝信息投影至三维模型. 消除相机失位与结构表面形状导致的裂缝变形，以可视化的实景模型呈现裂缝测量结果.

在实际检测中，可基于触摸飞行远距离拍摄构建的基础模型开展初步裂缝检测，参考识别结果，增加精细化检测飞行航拍，将精细航拍相机位置及拍摄图像重新拼接并入整体三维模型，实现对微小裂缝的检测.

根据采集的图像信息建立桥梁三维实景模型，映射病害纹理的方法步骤可分为以下五步：

1）相机姿态解算. 导入航拍图像数据后，根据共线方程，寻找在不同影像中同一地面点的同名像点，进行平差计算，解算出高精度的地面点三维坐标与相机空间位置.

2）点云数据生成. 根据解算的相机参数进行多视角影像匹配，生成表征桥梁三维空间形状的密集点云数据.

3）病害定位标识. 将航拍图像输入预训练的目标检测模型进行病害定位，截取生成的检测框图片，提取标识病害形态特征，替代原图像.

4）网格模型构建. 根据点云空间分布，将相邻点连接成三角形，拟合桥梁表面复杂的几何形状，生成没有纹理细节的几何白模.

5）病害纹理映射. 基于几何白模，根据相机参数和模型表面点的三维坐标，确定每个模型表面点对应的影像纹理像素位置，采用双线性纹理插值方法，进行整体纹理映射，将标识病害形态的高亮信息映射到桥梁实景模型表面.

4 工程案例

4.1 试验概况

试验桥梁选取湖南省长沙市靳江河大桥，其于2011年建成通车.主桥总长160 m，桥面宽31.5 m，满足双向六车道通行要求.上部结构为五跨不等跨预制梁桥，中间三跨每跨长40 m，南北两跨每跨长20 m.中间三大主跨为混凝土预制箱梁结构，南北两跨为混凝土板梁结构.下部结构为门柱式现浇结构，如图8所示.

试验以大疆DJI Mavic3T为航拍图像采集设备，其飞行器及相机参数见表1. 在进行试验时，使用DJI Pilot2软件完成无人机操控，并通过WayPoint Master软件完成航线规划任务.

4.2 Transformer检测模型训练

本研究使用无人机拍摄桥梁表面结构，共收集有1 367张裂缝图像制作数据集，图像分辨率分别为5 472 pixel×3 648 pixel或4 000 pixel×3 000 pixel. 使用Labelme软件标注出图像中的所有裂缝区域，并通过翻转、高斯滤波等方法进行扩充，增强数据集的鲁棒性与模型泛化能力. 扩充后的数据集数量为原数据集的4倍，共计5 468张图片，按照7∶2∶1的比例划分为训练集、验证集和测试集.

裂缝目标检测模型训练是基于Pytorch框架实现的，所使用的GPU为RTX3090. 在训练过程中，首先将裂缝数据集输入目标检测网络中，使用训练集训练模型参数，得到效果稳定的网络模型. 随后，对数据集中的图像进行预测，生成具有置信度分数的边界框，编写Python代码提取每个边界框，得到小尺寸的裂缝图像，等待后续形态学处理.

对训练模型效果进行评估时，将测试集中的图片及标签文件输入裂缝目标检测模型，模型自动预测输入图片中的裂缝位置，并将预测结果与测试集标签进行验证对比，生成混淆矩阵并计算各项评价指标如图9、表2所示，检测效果如图10所示.

4.3 桥梁高清图像采集

规划无人机航拍任务采集图像，根据建立桥梁三维实景模型与裂缝检测需求，研究团队采用常规航线与精细航线结合的方式进行航拍规划. 首先通过触摸飞行获取桥梁整体情况，制定三条常规巡检航线，分别拍摄桥面系、桥身系、梁底系的主要内容，如图11所示.

桥面系拍摄采用环绕拍摄法，飞行器航行于桥面上方定时拍摄，航线重叠率设定为60%，共拍摄有照片462张，图像分辨率为4 000 pixel×3 000 pixel.

桥身护栏拍摄采用“弓”字形拍摄法，飞行器平行桥梁表面进行定时拍摄，航线重叠率设置为80%，旁向重叠率设置为60%. 同时，考虑到护栏遮挡情况下路面建模的拍摄需求，抬升顶部航线进行拍摄. 共拍摄有照片1 419张.

梁底拍摄由两部分内容组成，首先在梁底下方采用“弓”字形拍摄方法，保持安全距离拍摄，保证航线重叠率与旁向重叠率均大于60%，并在两端桥侧采用相机定点扫摆拍摄的方式进行辅助拍摄. 共拍摄照片435张.

在完成常规航线飞行后，使用采集图像建立起的桥梁三维实景模型如图12所示. 根据航拍图像与模型情况观察，确定桥梁表观病害部位，制定桥梁局部的精细巡检航线，调整相机焦距与拍摄距离，设定不同航高与云台俯仰角机位，对病害区域进行贴近拍摄，采集高分辨率的清晰病害图像用于视觉技术处理与精细模型建立. 以某病害面为例，共拍摄有照片479张.

4.4 桥梁检测与映射

检查精细航拍获得图像的质量，发现共24张图像存在运动模糊图像，使用超分辨率重建方法对其进行复原，复原前后效果对比如图13所示. 分别计算模糊图像、复原后图像的无参考图像质量评价指标，与精细图像的平均指标对比，结果见表3.

对航拍图像与三维模型进行统计，共得到的桥梁病害为34条主裂缝，11处露筋锈蚀，2处混凝土孔洞. 使用精细航拍图像对某病害面进行三维重建，得到病害面精细三维实景模型，其像素点分辨率热力分布如图14所示，平均值为0.25 mm/pixel.

使用Transformer检测模型对定位识别病害，如图15所示. 使用形态学方法提取边缘并进行高亮标识，如图16所示. 使用高亮图像替代原始图像生成点云，完成病害三维映射，如图17所示. 将病害所在表面展开，按裂缝发展形态划分主裂缝，提取裂缝骨架测量宽度，如图18所示. 对每条主裂缝随机取10个区域，计算各区域的平均宽度后取均值，作为该裂缝的宽度测量值，与人工实测的真实值进行对比，结果见表4，最小相对误差为1.37%，最大相对误差为9.90%. 根据《工程结构数字图像法检测技术规程》（T/CECS 1114―2022）^［18］中“裂缝宽度计算的相对精度不宜大于20%”的要求，表明本文方法检测精度满足工程应用需求.

误差来源可能为动态航拍时的风稳定性不足与裂缝边缘提取算法的边界误判. 无人机在悬停变焦拍摄时，风力引起的机身振动可能导致偏移，产生像素误差，可更换风稳定性更强的大型无人机，减小偏移误差. 形态学算法处理裂缝图像，提取边缘轮廓时，如果背景噪声复杂，可能出现裂缝中断或边缘误判，产生裂缝像素定位误差，可训练深度学习分割算法，精确预测裂缝像素，减小定位误差.

5 结 论

1）本文提出基于Real ESRGan超分辨率重建的无人机航拍图像采集方法，对航拍得到的运动模糊图像进行复原. 复原图像的灰度平均梯度值、拉普拉斯算子、图像熵分别达到26.73、196.41、7.09，较原图像有明显提升. 有效改善了无人机航拍过程中成像质量不稳定，存在运动模糊的问题，保障无人机航拍的成像质量和采集效率，有助于无人机桥梁检测技术的发展应用.

2）本文提出基于Detection Transformer检测算法与形态学处理技术的裂缝识别测量方法，通过全局注意力机制，实现在桥梁表面复杂背景下对裂缝小目标的精确识别和形态提取. 在自制的桥梁裂缝数据集上，算法准确率与召回率分别达到92.1%和84.0%. 提升了裂缝检测的智能化、自动化水平，有助于桥梁养护与病害防治决策的制定.

3）本文提出基于视觉算法标识裂缝像素的多视角影像匹配建模方法，建立精细化的桥梁三维模型，实现对病害的自动化定位标注，并将其成功应用于湖南省长沙市靳江河大桥的病害巡检. 巡检记录有34条主裂缝，11处露筋锈蚀，2处混凝土孔洞，所建立的精细三维模型像素点平均分辨率为0.25 mm/pixel，裂缝宽度测量最小相对误差为1.37%，最大相对误差为9.90%，满足工程检测精度需求.

参考文献

[1] 钟新谷， 彭雄， 沈明燕. 基于无人飞机成像的桥梁裂缝宽度识别可行性研究［J］. 土木工程学报，2019，52（4）：52-61．

[2] ZHONG X G， PENG X， SHEN M Y. Study on the feasibility of identifying concrete crack width with images acquired by unmanned aerial vehicles［J］. China Civil Engineering Journal，2019， 52（4）： 52-61．（in Chinese）

[3] LI R X， YU J Y， LI F，et al. Automatic bridge crack detection using Unmanned aerial vehicle and Faster R-CNN［J］. Construction and Building Materials，2023，362：129659．

[4] CHOU K W， HE L G， HSU K，et al ．Application of an unmanned aerial vehicle for crack measurement using image calibration supported by laser projectors［J］. Multiscale Science and Engineering，2021，3（3）：225-235．

[5] BOLOURIAN N， HAMMAD A ．LiDAR-equipped UAV path planning considering potential locations of defects for bridge inspection［J］．Automation in Construction，2020，117：103250．

[6] BISCARINI C， CATAPANO I， CAVALAGLI N，et al ．UAV photogrammetry，infrared thermography and GPR for enhancing structural and material degradation evaluation of the Roman masonry bridge of Ponte Lucano in Italy［J］．NDT & E International，2020，115：102287．

[7] WOO H J， SEO D M， KIM M S，et al ．Localization of cracks in concrete structures using an unmanned aerial vehicle［J］．Sensors，2022，22（17）：6711．

[8] 周云，李剑，刘鹏，等 ．融合无人机线型测量与振动测试的桥梁状态评估［J］．湖南大学学报（自然科学版），2023，50（11）：14-24．

[9] ZHOU Y， LI J， LIU P，et al ．Bridge condition evaluation by integrating UAV line shape measurement and vibration test［J］．Journal of Hunan University （Natural Sciences），2023，50（11）：14-24．（in Chinese）

[10] 刘宇飞，樊健生，孔思宇，等 ．多视角几何三维重建法识别工程结构缺损与变形［J］．工程力学，2020，37（9）：103-111．

[11] LIU Y F， FAN J S， KONG S Y，et al ．Detection of structural defect and deformation based on multi-view geometric three-dimensional reconstruction method［J］．Engineering Mechanics，2020，37（9）：103-111．（in Chinese）

[12] 谢明志， 樊丁萌， 蒋志鹏， 等. 基于计算机视觉的混凝土结构裂缝检测研究现状与展望［J/OL］. 西南交通大学学报， 2024：1-20.（2024-09-14）.

[13] XIE M Z， FAN D M， JIANG Z P，et al.Research status and prospects of computer vision-based concrete structure crack detection［J/OL］. Journal of Southwest Jiaotong University，2024：1-20.（2024-09-14）.in Chinese）

[14] 刘春， 艾克然木·艾克拜尔，蔡天池 ．面向建筑健康监测的无人机自主巡检与裂缝识别［J］．同济大学学报（自然科学版），2022，50（7）：921-932．

[15] LIU C， AKBAR A， CAI T C. UAV autonomous inspection and crack detection towards building health monitoring［J］. Journal of Tongji University （Natural Science），2022，50（7）：921-932．（in Chinese）

[16] 余加勇， 李锋， 薛现凯， 等. 基于无人机及Mask R-CNN的桥梁结构裂缝智能识别［J］. 中国公路学报，2021，34（12）：80-90．

[17] YU J Y， LI F， XUE X K，et al ．Intelligent identification of bridge structural cracks based on unmanned aerial vehicle and Mask R-CNN［J］. China Journal of Highway and Transport，2021，34（12）：80-90．（in Chinese）

[18] ZHANG E H， SHAO L H， WANG Y. Unifying transformer and convolution for dam crack detection［J］. Automation in Construction，2023，147： 104712．

[19] XIANG C， WANG W， DENG L，et al ．Crack detection algorithm for concrete structures based on super-resolution reconstruction and segmentation network［J］．Automation in Construction，2022，140：104346．

[20] CHU H H， WANG W， DENG L. Tiny-Crack-Net：a multiscale feature fusion network with attention mechanisms for segmentation of tiny cracks［J］. Computer-Aided Civil and Infrastructure Engineering， 2022， 37（14）： 1914-1931．

[21] YANG X F， DEL REY CASTILLO E， ZOU Y，et al ．UAV-deployed deep learning network for real-time multi-class damage detection using model quantization techniques［J］．Automation in Construction，2024，159：105254．

[22] 公路桥涵养护规范：JTG 5120—2021 ［S］. 北京：人民交通出版社，2021.

[23] Specifications for maintenance of highway bridges and culverts： JTG 5120—2021 ［S］. Beijing： China Communications Press.， 2021.（in Chinese）

[24] ONG J C H， ISMADI M P， WANG X. A hybrid method for pavement crack width measurement［J］. Measurement，2022，197：111260．

[25] 工程结构数字图像法检测技术规程：T/ CECS 1114―2022 ［S］. 北京：中国建筑工业出版社，2022.

[26] Technical Specification for digital image inspection of engineering structures： T/ CECS 1114―2022 ［S］. Beijing： China Architecture & Building Press， 2022.（in Chinese）

基金资助

湖南省水利科技项目(XSKJ2021000-46)

Hunan Water Resources Science and Technology Project(XSKJ2021000-46)

湖南省自然资源厅科技计划项目(20230120DZ)

Science and Technology Plan Project of Department of Natural Resources of Hunan Province(20230120DZ)