基于无人机路径规划与深度学习的桥梁点云自动化分割研究

Study on Automated Segmentation of Bridge Point Clouds Based on UAV Path Planning and Deep Learning

摘要

为推动桥梁管养事业发展的数字化、智能化和精细化，保障其安全服役，提出基于无人机路径规划与深度学习的桥梁点云自动化分割方法. 首先对桥梁结构进行倾斜摄影建模，根据模型提供的空间信息，对桥面板、桥侧、桥墩和桥底四部分分别进行无人机飞行路径精细化规划，并按照新路径执行航拍任务，进行三维重建. 其次，通过实桥试验进行方法验证，根据目标分辨率确定无人机飞行高度、航向和旁向重叠率等飞行参数，编写KML文件导入无人机，经验证重建所得的桥梁三维点云模型精度达到毫米级. 最后，制作点云语义分割数据集，将点云数据划分为背景、桥面板、桥墩和盖梁四类，采用轻量高效的RandLA-Net算法进行桥梁构件语义分割，结果MIoU值为98.77%，各类别构件IoU值在95.46%以上，在桥梁点云的自动化分割上取得了良好的效果.

Abstract

To promote the digitalization， intelligence， and refinement of bridge maintenance and management and ensure the safe operation of the bridge， an automated bridge-point-cloud segmentation method based on unmanned aerial vehicle （UAV） path planning and deep learning is proposed. First， the bridge structure is modeled through oblique photography， and based on the spatial information provided by the model， path planning is performed for the bridge deck， bridge side， bridge pier， and bridge bottom， respectively， to obtain a detailed path planning scheme for the entire bridge. UAV aerial photography and 3D reconstruction are carried out accordingly. Second， the method is validated through on-site experiments on actual bridges， and flying parameters such as flight altitude， heading， and lateral overlap ratio are determined based on the target resolution. A KML file is then generated and imported into the UAV to reconstruct the bridge’s 3D point cloud model with millimeter-level accuracy. Finally， a point cloud semantic segmentation dataset is created， and the point cloud data is divided into four categories： background， bridge deck， bridge pier， and cap beam. The lightweight and efficient RandLA-Net algorithm is used for semantic segmentation of the bridge components， achieving a mean intersection over union （MIoU） value of 98.77% and IoU values of over 95.46% for each category of components， verifying the validity of the selected algorithm on bridge point cloud segmentation.

Graphical abstract

关键词

桥梁工程 / 三维点云 / 桥梁管养 / 自动化分割 / 无人机路径规划

桥梁是国家交通基础设施之间互联互通的重要节点和枢纽工程，对国民经济的建设和人民生活的安全具有重要的保障作用^［1］. 自20世纪90年代开始，我国公路桥梁事业步入大力发展阶段，截至2022年底，全国公路桥梁总数为103.32万座、8 576.49万米^［2］. 在我国桥梁建设取得令人瞩目成绩的同时，桥梁结构安全问题也愈发突出. 由于路网交通流量显著增加、超载现象频发和管养技术人员缺乏，一些桥梁，尤其是服役时间超过20年的混凝土桥梁，已经出现了各种程度的结构退化，故提升桥梁养护的成效及效率，保障桥梁结构安全服役，已经成为一个重要的研究命题. 对桥梁结构进行逆向建模，自动识别桥梁主要构件是生成桥梁数字底座的重要基础工作，对实现桥梁管养信息化、智能化和精细化具有重要意义.

无人机具有机动灵活和成本效益高的特点，能够获得高分辨率的影像数据，已经被广泛应用于测绘、交通以及防灾减灾等领域. 刘洋^［3］将无人机倾斜摄影测量技术应用于遥感领域，通过无人机获取城市图像，并根据摄影图像获取城市三维模型. 杨力龙^［4］采用小型无人机倾斜摄影技术获取高陡边坡影像，结合工程实例对危岩体勘察评估. 苟彦梅^［5］设计无人机倾斜摄影航线方案，获取石窟高分辨影像，重建了石窟类型文物高精度的三维模型，为文物保护工程提供数据基础. 庞浚疑^［6］研究了适用于无人机倾斜摄影数据采集的最优方法和模型精度的影响因素，并应用于道路和桥梁工程的三维实景模型重建中.

为提高无人机倾斜摄影获取的模型精度，制定合理的路径规划方案是必须的. Martin等^［7］提出了一种基于无人机的大型基础设施（如管道和运河等）三维建模的新方法，通过对运河环境的模拟设计出新的飞行航线，与传统航线相比，在保证模型精度的前提下，总飞行时间减少55%，同时待处理的图像数据量减少89%. Roberts等^［8］提出一种自动生成无人机轨迹的方法，通过对三个大型的户外场景进行扫描来评估该方法的有效性，结果表明采用该方法规划的轨迹能够获取更高精度的三维模型. Bircher等^［9］提出了一种利用无人机进行自主结构检测作业的三维覆盖路径规划新算法，通过交替的两步优化算法计算更短航行路径，以实现在较短飞行路径的情况下对目标的完全覆盖.

对点云进行有效的分割是点云应用研究的前提. 基于神经网络的分割方法日渐成熟，代表性的算法包括PointNet^［10］和PointNet++^［11］等. 目前，一些基于原始点云的深度学习算法已经成功应用于桥梁点云的语义分割中^［12-15］. Zhao等^［16］结合多尺度特征聚合和PointNet算法提出了一种新的网络模型，提高了点云局部特征信息的利用率，实现对大规模场景点云数据的分类，在Semantic3D和Vaihingen城市数据集中取得较好的试验效果. Soilán等^［17］证明了PointNet网络在室外点云中的语义分割应用的能力，对地面、植被和建筑等元素的分割取得了较好的效果. Kim等^［18］采用PointNet算法实现桥梁结构部件的语义分割，通过将桥梁点云划分为多个小块并进行采样，提取2 048个点输入网络进行训练与预测，并通过对比在不同长度桥梁子块下的分割效果，确定了最佳的划分长度. Kim等^［19］比较了PointCNN、DGCNN和PointNet在桥梁点云的语义分割中的表现，通过简单地将每座桥分成两半，在相同的桥梁上训练和测试深度学习模型，由于采用的训练集和测试集之间存在高度相似，最终的分割效果普遍性被质疑. 总地来说，以上方法仍存在难以直接处理大规模点云的问题，使用这些方法需要预先将点云划分为小块，这会对点云分割精度产生影响.

本文提出一种基于无人机的桥梁点云获取和点云分割方法，针对倾斜摄影模型精度低的问题，通过规划合理的精细化飞行路径来获取桥梁结构的高精度三维点云模型；采用深度学习方法实现大规模桥梁点云的语义分割，避免传统语义分割算法速度慢、计算效率低等问题，为桥梁构件快速高效分割提供参考.

1 研究方法

本文提出的方法主要包括三部分，如图1所示. 第一部分为基于无人机路径规划的桥梁构件图像获取，借助无人机倾斜摄影技术获取桥梁结构的粗略点云模型后，根据粗略点云模型的坐标位置编写KML文件，实现桥梁精细化检测的无人机路径规划，获取桥梁结构全方位的检测图像. 第二部分以无人机航拍图像为输入数据，进行三维点云重建. 第三部分为基于点云模型的桥梁构件自动识别，首先将点云数据集按一定比例划分为训练集和测试集，并对相应的点云数据进行标注，然后采用RandLA-Net深度学习模型来实现大规模桥梁点云语义分割.

2 无人机精细化路径规划方法

2.1 无人机路径规划基本理论

无人机路径规划是指在满足无人机自身性能的情况下，综合考虑耗电量、飞行区域、安全性等条件，为无人机在目标飞行区域内规划从飞行起点到目标终点的最优或满意的飞行路径. 本文主要依托静态路径规划方法，根据目标桥梁的外部环境提前规划出一组航线，在保证飞行安全的前提下，根据目标精度，确定无人机的飞行高度、重叠率等参数，实现高品质的桥梁三维重建. 以下对相关参数计算方法进行介绍.

2.1.1 飞行高度计算

在选定无人机搭载的相机后，根据要达到的地面分辨率的不同，无人机航摄高度也要发生相应的变化. 两者的关系如图2所示.

由图2所示的关系，根据成像原理，得到正摄影像对应的计算公式：

H=f\times \frac{\mathrm{G}\mathrm{S}\mathrm{D}}{A}（1）

式中：H为机体离目标物的航摄高度，m；f为相机的真实焦距， mm；\mathrm{G}\mathrm{S}\mathrm{D}为地面分辨率，m/px，即每个像素点大小采集到地面实际距离，一般按照航拍任务由用户自定义；A为像元尺寸，μm/px.

2.1.2 重叠率计算

在无人机近景摄影测量中，为保证能重建出结构物三维模型，相邻航点获取的图像必须满足一定的重叠率. 其中，沿飞行航线方向图像之间的重叠被称为航向重叠，如图3所示，相邻两条航线的图像重叠被称为旁向重叠，如图4所示.

由示意图可分别得到航向重叠率计算公式如 式（2）所示，旁向重叠率计算公式如式（3）所示：

\alpha =\frac{\mathrm{\Delta }w}{w}（2）

\beta =\frac{\mathrm{\Delta }h}{h}（3）

式中：\alpha为航向重叠率；\beta为旁向重叠率；\mathrm{\Delta }w和\mathrm{\Delta }h分别为航向和旁向相邻图像重叠部分的长度；w、h分别表示图像像幅在地面投影的宽度和高度方向的实际大小.

2.2 基于倾斜摄影模型的无人机路径规划方法

2.2.1 桥面航线规划方法

在进行桥面航线规划时，由于无人机实际为从上空向下俯拍，因此将无人机镜头俯仰角设置为-90°，根据无人机镜头焦距、所需地面分辨大小及镜头像元尺寸，由式（1）确定无人机飞行高度. 在获得无人机飞行高度后，采用井字飞行航线进行路径规划，根据无人机拍摄画幅的大小、旁向重叠率和航向重叠率来确定各个航点的位置，桥面规划的路径如图5所示. 航点拍摄范围需要覆盖桥面矩形区域，对于连续梁桥等在有限的桥面段内桥面高度变化不大的对象，可假设航点均在同一高度平面内. 假设航线y轴平行于无人机航向，x轴垂直于无人机航向，根据旁向重叠率和航向重叠率可分别确定航点之间x轴和y轴方向上的间距，进而计算各航点的空间坐标，计算公式如式（4）所示.

\left\{\begin{array}{l}\mathrm{\Delta }x=(\mathrm{1}-\beta )h\\ \mathrm{\Delta }y=(\mathrm{1}-\alpha )w\\ x=x_{\mathrm{0}}+\mathrm{\Delta }x\\ y=y_{\mathrm{0}}+\mathrm{\Delta }y\\ H=H_{\mathrm{0}}\end{array}\right.（4）

式中：x_{\mathrm{0}}、y_{\mathrm{0}}和H_{\mathrm{0}}为无人机前一个航点的空间坐标；x、y和H为邻近航点的坐标；\mathrm{\Delta }x和\mathrm{\Delta }y分别为垂直于航向和沿航向前后航点间的距离.

2.2.2 桥侧航线规划方法

桥侧航线规划方法与桥面航线规划方法原理相似，此时无人机镜头俯仰角设置为0°，即水平拍摄. 无人机飞行时离桥侧面的距离由式（1）确定，桥侧航线各航点坐标由式（4）确定，规划结果示意如图6所示.

2.2.3 桥墩航线规划方法

对于非高墩桥，由于桥面板对信号的遮挡，无人机在桥下飞行时GPS信号会发生中断，若直接规划桥底航线，无人机会因GPS信号丢失而中断飞行任务，甚至可能使无人机失控而造成飞行事故. 因此桥墩航线的主要部分仍沿桥侧布置，无人机飞行时离桥墩的距离由式（1）确定. 同时，在保证飞行安全的前提下，设定一定的安全距离（设定与桥墩的水平距离及与桥底的垂直距离均不小于4.5 m），通过给两端航线上的航点添加云台水平转动指令，以获取全面的桥墩航拍图像. 桥墩航线规划示意如图7所示. 图中红色航点为添加云台水平转动指令后的航点，其他直线航点按照无人机规划指令自动执行.

2.2.4 桥底航线规划方法

非高墩桥梁桥底航线规划同样会遇到GPS信号中断的问题，因而无法直接在桥底飞行，为保证无人机飞行安全，可只沿桥侧飞行，此时改为上置云台的方式进行拍摄. 在具体规划时，航点位置需要根据最小安全飞行高度、地面分辨率和航向重叠率来确定，桥底航线规划示意如图8所示. 桥底航线设计为在桥梁一侧的直线航线，由于桥下净空有限且无人机有一定的飞行安全高度，因此，需要根据桥梁实际高度将镜头俯仰角设置为一个合理的角度来确保桥梁底面被完全拍摄.

3 桥梁点云三维重建试验

为验证基于倾斜摄影的无人机路径规划获取高精度桥梁模型方法的有效性，开展了实桥测试工作，所获取的数据也为后文研究提供数据基础. 本文数据采集对象为一座跨河的多跨连续梁桥（东经118.865 5°，北纬31.866 7°），该桥全长130 m，共计7跨，桥面宽6 m.

3.1 数据采集设备

本文桥梁数据采集设备为大疆M300-RTK无人机，带有实时动态差分模块，可实时接收GPS和北斗导航卫星系统信号，可实现无人机厘米级定位. 搭载镜头为禅思H20T，可以采集可见光与热成像画面，包含2 000万像素变焦相机（焦距6.83~119.94 mm，分辨率4 056×3 040），1 200万像素广角相机（焦距4.5 mm，分辨率5 184×3 888），电子快门速度1~1/8 000 s，相机内置激光测距仪.

3.2 基于无人机图像的三维重建原理

基于无人机图像的三维点云重建可视为成像的逆过程，实现从二维影像中重建出三维场景的几何信息. 由图9可知重建过程可分为获取序列图像、稀疏点云重建和稠密点云重建三个部分. 稀疏点云和稠密点云重建分别采用基于运动恢复结构（structure from motion， SFM）和多视角立体视觉（multi-view stereo， MVS）方法实现. SFM 是一种离线三维重建方法，它利用采集所得的多张无序图片来估计相机的位姿，通过分析相机的运动信息对重建目标来还原场景三维结构. 具体来说就是从输入的一系列图像中寻找匹配特征点，利用匹配特征点之间的约束关系计算出场景三维点的位置信息，同时估计相机参数（内参和外参）等.如果需要进一步实现场景的稠密点云重建，则需要在场景稀疏 点云的基础上执行MVS算法.MVS算法主要是在相机参数已知的情况下，根据对应关系计算图像上各个像素的三维位置信息来完成场景稠密点云的重建.

3.3 建立倾斜摄影模型

在规划无人机倾斜摄影任务航线时，为提升图像获取效率，采用环形航线进行航拍，将各个航点位置和执行指令编写成KML文件并导入遥控器，对航点进行检查，确保无误后，通过遥控器将航线任务传输至无人机飞控系统，而后无人机会在各航点位置执行相应指令，采集桥梁航拍图像. 生成的环形航线示例如图10（a）所示. 将航拍图像导入成熟的商用建模软件，生成桥梁倾斜摄影模型，模型示例如图10（b）所示.

倾斜摄影模型的细部重建效果如图11所示，由图11可知，倾斜摄影重建结果桥面、桥侧、桥底、桥墩的精度都很低，主要原因是倾斜摄影获取的航拍图像量少，图像之间的重叠率不足，飞行轨迹在一个平面内，图像角度单一. 因此需要更多角度和数量的图像以实现精细化三维重建.

3.4 基于倾斜摄影模型的精细化航线规划

H20T广角镜头焦距为4.5 mm，像元尺寸为 1.55 μm. 根据目标建模的精度确定地面分辨率GSD值，将相关参数代入式（1）可得GSD≈H/2 900，当地面分辨率为1 mm/px时，计算得到H约为2.9 m. 此时，航拍图像所代表实际空间中幅宽约为4 m×3 m，结合所需的旁向重叠率和航向重叠率，可以计算出航点之间的间距，以及所需航点的总数. 在确定飞行高度、幅宽、航点间距、航点数量以及无人机的飞行时间后，完整的基于无人机精细化航线才得以制定.

本文实桥三维重建的精度设定为毫米级，在对桥面进行航线规划时，出于飞行安全考虑，设定无人机飞行高度为离桥面9 m，地面分辨率为3.1 mm/px，则画幅为12.6 m×9.4 m，设置旁向重叠率和航向重叠为80%，则垂直于航向和沿航向前后航点间的距离分别为2.5 m和1.9 m，结合桥面宽度和长度可以确定所需航点数量，桥面航线规划结果如图12（a）所示.在规划桥侧航线时，设置无人机离目标桥侧的飞行间距为4.5 m，规划后的地面分辨率约为1.5 mm/px，画幅为6.3 m×4.7 m，设置旁向重叠率和航向重叠率为80%，则垂直于航向和沿航向前后航点间的距离分别为1.26 m和1 m，规划结果如图12（b）所示. 桥墩航线整体规划方法与桥侧类似，直线段航线旁向重叠率和航向重叠率仍然取80%，在航线两端需要延伸出圆弧段航线，可以取圆弧的半径为直线段航点的间距，桥墩航线规划端点圆弧部分如图12（c）所示. 对于桥底来说，由于目标桥梁为净空较小的多跨连续梁桥，危险系数高，实际规划过程采用两条直线航线进行规划，并采用上置云台按照桥面规划的方法进行路径规划，云台角度设置在20°，桥底航线规划结果如图12（d）所示.

对比图10和图12，一般倾斜摄影的航线分布于桥梁正上方的水平面内，这意味着桥梁侧面图像均只能成一定角度获取，而桥梁底部的图像则完全无法获取. 经过精细化规划的航线则位于桥梁的不同方位，实现了对于桥梁结构的覆盖，并能够获取更多、更密集的正面图像. 由于拍摄角度的增加，构件之间的遮挡被最大程度避免，结构细节得以被更充分地记录. 相较一般倾斜摄影航线，规划后航线能够使得无人机采集数量更多、包含结构信息更完整的图像，而这也是实现更加精细的桥梁三维重建的基础.

3.5 精细化三维模型重建

将采集所得的2 812张图像输入Smart3D点云建模软件中，进行空三测量计算. 由于计算机内存限制，以0.005 m的间距进行采样后开展点云重建工作，重建后的桥梁点云模型如图13所示. 桥梁点云模型整体精度较高，桥梁的锈蚀病害可以被清晰地显示出来，桥底建模精度略差，这是由桥底照片获取的角度相对单一导致的. 本次测试中，由于倾斜摄影的目的并不是获得高质量模型而是快速建立桥梁粗略模型，因此对数据采集的要求较低，拍摄倾斜摄影图像约20 min，获得图像约400张. 而作为对比，精细化航线下拍摄所用时长约2 h（考虑航线规划时间），获得图像数量超2 800张. 虽然时间相较倾斜摄影更长，但获取更多、更全面的图像为精细化三维重建提供了保障. 对比图11和图13，相较倾斜摄影模型重建效果，可以看到基于精细化航线规划重建的桥梁点云模型整体精度较高，桥面、桥侧、桥墩和桥底的细节效果远远优于倾斜摄影模型，桥梁的一些露筋病害也可以被清晰地显示出来，且桥梁上管线、指示牌等设施都清晰可见，细部效果好. 虽然倾斜摄影模型也可以通过增加航点数量等方法进一步提升模型精度，但精细化航线规划通过避免构件遮挡、拍摄范围覆盖梁底所带来的模型质量提升是倾斜摄影方法无法替代的.

4 基于RandLA-Net的桥梁点云构件分割

桥梁结构的管养，如变形测量、病害检查、技术状况评估、三维可视化等，大多以构件为单位来进行. 同时，点云数据的庞大和复杂性决定了依托算法实现高效与自动化处理是点云挖掘利用的必然方向，而不同构件的几何特征差异使得其无法使用同一套算法进行处理. 因此，点云的有效分割是对数据进行充分分析，进而应用于桥梁管理与养护工作的前提.

为实现对大规模点云数据集的快速高效分割，Hu等人^［20］提出了RandLA-Net模型，通过随机采样和特征聚合结构，减少了模型内存的同时增强了特征提取能力，比基于图的方法SPG-Net^［21］快了近200倍，为实现大场景点云实时分割提供了可能.

以往RandLA-Net多用于大规模物点云的目标分割（如分离植被、建筑、道路等），处理对象较为宏观，分割细节上的误差对整体结果影响不大. 而桥梁结构更为具体，对分割细节的要求也更高.通常点云分割使用激光雷达直接获取的点云，而无人机图像重建的点云在密度、质量上均与激光点云有所差异，其对分割效果的影响有待验证. 本文以RandLA-Net模型为基础进行无人机获取的桥梁点云不同构件的语义分割.

4.1 RandLA-Net模型结构

RandLA-Net模型采用了具有跳跃连接的“编码器-解码器”结构. 编码过程采用随机采样和特征聚合模块减少点的数量的同时聚合数据特征，提升特征维度；解码过程先采用KNN算法寻找点云近邻点，然后通过最近邻插值对点云特征集合进行逐步上采样，为减少由下采样带来的特征信息丢失，通过跳跃层将上采样高维度特征与编码层产生的低维度特征进行融合，最后采用MLP结构对融合后的特征进行类别预测. 模型整体结构如图14所示. 在运行过程中首先将输入的点云通过全连接层将特征维度上升到8，然后通过5次下采样将点云初始输入数量N减少到N/4、N/16、N/64、N/256、N/512并同时进行特征聚合将特征维度升为16、64、128、256、512；在上采样过程中采用插值方法还原点数.

4.2 数据集制作

选择本文第3节中实桥试验所采集的桥梁点云数据作为桥梁语义分割数据集. 为扩充数据集，将上述点云数据进行切分，得到共计6跨桥梁数据.

采用点云标注软件，按照Semantic3D的数据格式对数据进行标注，将数据分别标注为背景、桥面板、桥墩和盖梁4类，标注后的数据集如图15所示，将数据集分别按照训练集、验证集和测试集进行划分，其中训练集为图15（a）~（d），验证集为图15（e），测试集为图15（f）. 训练集用于语义分割算法的训练，验证集用于模型训练内部的验证，测试集用于模型训练结果的测试和评价指标计算. 本次试验中数据集的划分比例为4∶1∶1.其中训练集中各类别数据量列于表1. 可以发现训练集中每一座桥梁数据量都在千万级别，采用传统的点云语义分割方法进行处理效率低，用轻量化的深度学习模型RandLA-Net 进行处理可实现点云高效分割.

4.3 试验开展

4.3.1 试验环境

本研究算法是基于Python语言实现的，试验环境为Centos7操作系统、采用显存24 GB的NVIDIA Quadro RTX 6 000 GPU，深度学习框架为Tensorflow-2.1.0. 在试验过程中使用Adam优化器来训练网络，初始学习率为0.01，训练100个世代，每个世代训练500步，全连接层的Dropout参数保留率为0.5，Xavier 优化器初始化网络参数. 考虑到输入网络结构的数据量和显卡的显存，将Batch size的值设置为4. 采用点云尺寸缩放，旋转等方式进行数据增强，设置的缩放比例分别为0.8和1.2.

对于桥梁此类构件体量存在较大差异的结构，对应点云数据中各类点的数量也会出现较大差距. 在算法中，weight值采用数据集中该类别点数除以数据集全部点的数量来计算；最终使用1/（weight+0.02）的值作为计算损失函数时各类别的权重系数.

4.3.2 评价指标

对于三维点云语义分割，常采用总体精确率（OA）和平均交并比（MIoU）值作为评价指标^［22］. 本文的评价指标采用OA、F₁值、IoU（各类别交并比）和MIoU. OA用于衡量所有类别作为一个整体的分类精度；F₁值分别处理每个类别，同时考虑Precision（精度P_r）和Recall（召回率R）；交并比（IoU）是指两个集合的交集和并集之比；MIoU为各个类别的交并比的平均值. 计算公式如式（5）~式（9）所示.

\mathrm{O}\mathrm{A}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}（5）

P_{\mathrm{r}}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}（6）

R=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}（7）

F_{\mathrm{1}}=\mathrm{2}\times \frac{P_{\mathrm{r}}\times R}{P_{\mathrm{r}}+R}（8）

\mathrm{M}\mathrm{I}\mathrm{o}\mathrm{U}=\frac{\mathrm{1}}{n}\times \frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{F}\mathrm{N}}（9）

式中：TP表示原本为i类的样本且被模型正确预测i类的样本数量；TN表示原本为j类的样本且被模型正确预测j类的样本数量；FP表示原本为i类的样本但被错误预测为j类的样本数量；FN表示原本为j类的样本但被错误预测为i类的样本数量；n为数据集中的类别个数.

4.3.3 试验结果与分析

在上述桥梁数据集上验证基于RandLA-Net模型的桥梁点云构件自动识别方法的有效性. RandLA-Net模型对无人机重建的数据集整体识别效果如表2所示，各类别识别效果如表3所示，其中真实值为人工标注产生. 由分析算法对无人机图像重建所得的点云数据集的识别效果可知，模型的整体识别效果较好，各类别的识别精度也都较高，其中对桥墩和桥面板的识别效果最好，但是容易在交界处出现识别错误的问题.

为了定量评估RandLA-Net算法对桥梁各个构件识别的效果，在基于无人机图像重建的三维数据集上进行测试，根据测试集上的识别结果计算出各指标值分别如表4所示. 分析测试结果可知，RandLA-Net算法分割桥梁构件的MIoU值较高，达到98.77%，数据集中桥墩类别的IoU值最高，为99.33%，桥面板和背景的IoU值相对较低，分别为97.89%和96.67%，而盖梁类别的IoU值最低，为95.46%. 各类别的识别精度达98%以上，总体识别精确率达97.34%，验证了RandLA-Net模型对桥梁点云构件自动分割的有效性.

5 结 论

1）本文提出了基于倾斜摄影模型的无人机精细化路径规划方法，通过将桥梁结构分部为桥面、桥侧、桥墩和桥底四个方位，综合倾斜摄影模型获取的空间位置信息，根据目标地面分辨率、无人机安全飞行高度，综合计算航线旁向重叠率和航向重叠率，确定无人机航线上各航点位置.

2）选取一座跨江多跨连续梁桥进行三维重建测试，并对模型精度进行分析. 将实际桥梁三维重建结果与普通倾斜摄影结果对比，发现经过精细化路径规划后的模型精度更高，细节效果远远优于倾斜摄影模型. 验证了该方法的有效性.

3）总结了基于深度学习模型的桥梁点云构件自动识别方法. 由于三维模型数据量大，传统分割算法效率低且精度难以保证，而常用的基于点的深度学习算法也难以一次性处理大规模点云数据， 因此采用轻量高效的RandLA-Net模型对桥梁点云进行分割，提高构件分割的效率.

4）扩展了RandLA-Net深度学习模型的应用范围，验证了该模型对于无人机图像重建得到的桥梁点云模型构件自动分割的有效性. 将基于无人机图像重建的桥梁三维点云切分后的数据作为数据集，开展模型训练试验. 数据集MIoU为98.77%，总体识别精确率达97.34%，识别效果良好.

5）在未来研究中，无人机路径规划航线的效率仍有提升空间，通过精简航线来实现以更少航点情况达到相同甚至更高的重建精度. 另外，测试结果表明RandLA-Net模型用于一般梁式桥的构件分割可以取得良好效果，但其用于更复杂的桥梁结构，如悬索桥、斜拉桥时的可靠性仍需进一步验证.

参考文献

[1] 张喜刚，刘高，马军海，等 ．中国桥梁技术的现状与展望［J］．中国公路，2017（5）： 40-45．

[2] ZHANG X G， LIU G， MA J H，et al. Status and prospect of technical development for bridges in China［J］. China Highway，2017（5）： 40-45．（in Chinese）

[3] 中华人民共和国交通运输部. 2022年交通运输行业发展统计公报［EB/OL］.（2023-12-21） ［2024-03-24］.

[4] Ministry of Transport of the People’s Republic of China. 2022 Statistical Bulletin on the Development of the Transportation Industry［EB/OL］.（2023-12-21）［2024-03-24］.in Chinese）

[5] 刘洋. 无人机倾斜摄影测量影像处理与三维建模的研究［D］．抚州：东华理工大学，2016．

[6] LIU Y. Research on image processing and three-dimensional modeling of tilt photogrammetry for UAV［D］. Fuzhou： East China Institute of Technology，2016．（in Chinese）

[7] 杨力龙 ．基于轻小型无人机的航空摄影测量技术在高陡边坡几何信息勘察中的应用研究［D］. 成都：西南交通大学，2017．

[8] YANG L L ．Research on application of aerial photogrammetry technology based on light and small UAV in geometric information survey of high and steep slopes［D］. Chengdu：Southwest Jiaotong University，2017．（in Chinese）

[9] 苟彦梅. 基于无人机倾斜摄影测量的石窟文物三维重建应用研究［D］. 西安：西安科技大学，2019．

[10] GOU Y M. Application research on 3D reconstruction of grottoes cultural relics based on UAV tilt photogrammetry［D］. Xi’an： Xi’an University of Science and Technology，2019．（in Chinese）

[11] 庞浚疑. 路桥工程中基于BIM的3D实景建模与应用研究［D］.重庆：重庆交通大学，2018．

[12] PANG J Y. Research on 3D real scene modeling and application based on BIM in road and bridge engineering［D］. Chongqing：Chongqing Jiaotong University，2018．（in Chinese）

[13] MARTIN R， BLACKBURN L， PULSIPHER J，et al. Potential benefits of combining anomaly detection with view planning for UAV infrastructure modeling［J］. Remote Sensing，2017， 9（5）： 434．

[14] ROBERTS M， SHAH S， DEY D， et al. Submodular trajectory optimization for aerial 3D scanning［C］//2017 IEEE International Conference on Computer Vision （ICCV）. Venice，Italy：IEEE，2017：5334-5343．

[15] BIRCHER A， KAMEL M， ALEXIS K，et al ．Three-dimensional coverage path planning via viewpoint resampling and tour optimization for aerial robots［J］. Autonomous Robots， 2016， 40（6）： 1059-1078．

[16] CHARLES R Q， HAO S， MO K C，et al ．PointNet：deep learning on point sets for 3D classification and segmentation［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）. Honolulu， HI： IEEE，2017：77-85．

[17] QI C R， YI L， SU H，et al. PointNet++： deep hierarchical feature learning on point sets in a metric space［EB/OL］. 2017： 1706.02413（2023-12-21）［2024-03-24］.

[18] RIVEIRO B， DEJONG M J， CONDE B ．Automated processing of large point clouds for structural health monitoring of masonry arch bridges［J］. Automation in Construction，2016，72：258-268．

[19] SÁNCHEZ-RODRÍGUEZ A， RIVEIRO B， CONDE B，et al ．Detection of structural faults in piers of masonry arch bridges through automated processing of laser scanning data［J］. Structural Control and Health Monitoring，2018，25（3）：e2126．

[20] LU R D， BRILAKIS I ．Digital twinning of existing reinforced concrete bridges from labelled point clusters［J］. Automation in Construction，2019，105：102837．

[21] LU R D， BRILAKIS I， MIDDLETON C R. Detection of structural components in point clouds of existing RC bridges［J］. Computer-Aided Civil and Infrastructure Engineering，2019，34（3）：191-212．

[22] ZHAO Z Y， CHENG Y L， SHI X S， et al. Classification of LiDAR point cloud based on multiscale features and pointnet ［C］// 2018 Eighth International Conference on Image Processing Theory， Tools and Applications （IPTA）. Xi’an， 2018： 1-7.

[23] SOILÁN M， LINDENBERGH R， RIVEIRO B，et al ．PointNet for the automatic classification of aerial point clouds［J］. ISPRS Annals of the Photogrammetry，Remote Sensing and Spatial Information Sciences，2019，IV-2/W5：445-452．

[24] KIM H， YOON J， SIM S H. Automated bridge component recognition from point clouds using deep learning［J］. Structural Control and Health Monitoring，2020，27（9）：1-13．

[25] KIM H， KIM C. Deep-learning-based classification of point clouds for bridge inspection［J］. Remote Sensing，2020，12（22）：3757．

[26] HU Q Y， YANG B， XIE L H，et al. RandLA-Net： efficient semantic segmentation of large-scale point clouds［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle： IEEE， 2020： 11108-11117.

[27] SONG Y H， YANG C， SHEN Y J，et al ．SPG-Net：segmentation prediction and guidance network for image inpainting［EB/OL］. （2023-12-21）［2024-03-24］.

[28] GUO Y L， WANG H Y， HU Q Y，et al ．Deep learning for 3D point clouds：a survey［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence，2021，43（12）：4338-4364．

基金资助

国家重点研发计划资助项目（2023YFC3805900）; 东南大学新进教师科研启动经费资助（RF1028623149）