基于超点聚类网络改进PointNet++的毛白杨人工林点云语义分割算法

纪振森 ,  李江 ,  陈强 ,  王鑫 ,  席本野 ,  黄青青

森林工程 ›› 2026, Vol. 42 ›› Issue (4) : 773 -785.

PDF (6531KB)
森林工程 ›› 2026, Vol. 42 ›› Issue (4) : 773 -785. DOI: 10.7525/j.issn.1006-8023.2026.04.011
森林碳汇与可持续经营

基于超点聚类网络改进PointNet++的毛白杨人工林点云语义分割算法

作者信息 +

Research on Point Cloud Semantic Segmentation Algorithm for Populus tomentosa Plantations Based on SC-PointNet++

Author information +
文章历史 +
PDF (6687K)

摘要

针对毛白杨人工林点云语义分割中枝叶遮挡严重、点云重叠复杂、传统基于PointNet++的分割方法存在训练时间长、分割精度不高的问题,提出一种结合超点聚类(superpoint cluster,SC)分割网络与PointNet++网络的改进方法(SC-PointNet++),以提高分割效率与准确性。选取山东省聊城市清平镇国家生态公园的毛白杨人工林样地,使用华测导航RS10手持激光雷达在落叶前期完成扫描。针对原始数据中的噪声和离群点,依次进行重采样、去噪、地面点分离与坐标归一化等预处理,并划分训练集、验证集和测试集。借助超点聚类分割网络计算点云的局部几何特性(线性度、平面度、散射度、垂直度)与辐射特性红绿蓝三原色(RGB)强度,再通过分割追踪算法(Cut-Pursuit)求解“能量最小化”问题将几何、辐射特征相似的点划分为一个超点。用一个多层感知机(multilayer perceptron,MLP)分析其聚合后的特征(比如超点整体的线性度、RGB均值),输出该超点属于“枝干、树叶、地面、其他”各部分的概率,相邻的超点用另一个MLP分析其特征相似度,输出“一致性分数”,高则合并,低则切断。在此基础上,将分割后形成的超点簇作为PointNet++的输入,利用其分层集体抽象模块(Set Abstraction)与特征传播模块(Feature Propagation)进行多尺度特征提取与语义分割。最后将单木分割后建立树木定量结构模型(tree quantitative structure model,TreeQSM)进行林业参数提取。结果表明,SC-PointNet++在测试集上实现了总体准确率(overall accuracy,OA)为0.94,比原始PointNet++提升11.9%;总体分割精度达到0.887,较PointNet++提高5.3%;树叶平均交并比(intersection over union,IoU)达0.874,地面IoU达0.987,枝干IoU也由0.753提升至0.773;模型训练时间较PointNet++缩短约10%。归一化混淆矩阵分析显示,除少数枝干被误分割为树叶外,各部分分割结果与人工标注结果高度一致。将TreeQSM模型提取出的单木参数与人工测量参数建立散点回归图,并计算相关系数(R²)和均方根误差(root mean square deviation,RMSE),研究表明所提SC-PointNet++方法通过超点聚类分割网络有效减少输入规模、增强局部语义一致性,结合PointNet++网络深度特征学习,实现毛白杨人工林点云的高效、精准分割,满足后续胸径、树高等林业参数的提取需要。

Abstract

In view of the severe branch and leaf occlusion and complex point cloud overlap in the semantic segmentation of Populus tomentosa plantations, and the problems of long training time and low segmentation accuracy in traditional PointNet++-based segmentation methods, this paper proposed an improved method (SC-PointNet++) that combines the SuperpointCluster segmentation network with the PointNet++ network to enhance the efficiency and accuracy of segmentation. Firstly, a sample plot of Populus tomentosa plantation in Qingping Town, Liaocheng City, Shandong Province was selected, and the handheld laser scanner RS10 of Huace Navigation was used to complete the scanning before leaf fall. For the noise and outliers in the original data, preprocessing steps such as resampling, denoising, ground point separation, and coordinate normalization were carried out successively, and the training set, validation set, and test set were divided. The local geometric characteristics (linearity, planarity, scattering, and verticality) extracted by the PCA operator and radiometric characteristics red, green and blue primary colors (RGB) intensity of the point cloud were calculated using the SuperpointCluster segmentation network, and the Cut-Pursuit algorithm was used to solve the ‘energy minimization’ problem to group points with similar geometric and radiometric features into a superpoint. A multilayer perceptron (MLP) was used to analyze the aggregated features of the superpoint (such as the overall linearity and RGB mean of the superpoint), and output the probability that the superpoint belonged to ‘trunk, leaf, ground, other’ parts. The feature similarity of adjacent superpoints was analyzed by another MLP, and the ‘consistency score’ was output. If the score was high, the superpoints were merged; if it was low, they were separated. On this basis, the superpoint clusters formed after segmentation were used as the input of PointNet++, and the multi-scale feature extraction and semantic segmentation were carried out by using its hierarchical Set Abstraction and Feature Propagation modules. Finally, the TreeQSM model was established for each tree after single-tree segmentation to extract forestry parameters. SC-PointNet++ achieved an overall accuracy (OA) of 0.94 on the test set, an increase of 11.9% compared to the original PointNet++; the overall segmentation accuracy reached 0.887, an improvement of 5.3% compared to PointNet++; the average intersection over union (IoU) of leaves was 0.874, the IoU of the ground was 0.987, and the IoU of the trunk increased from 0.753 to 0.773; the model training time was shortened by about 10% compared to PointNet++. The normalized confusion matrix analysis showed that except for a few trunks being misclassified as leaves, the segmentation results of each part were highly consistent with the manual annotations. Scatter regression plots were established between the single-tree parameters extracted by the TreeQSM model and the manually measured parameters, and the correlation coefficient (R²) and root mean square error (RMSE) were calculated. The SC-PointNet++ method proposed in this paper effectively reduced the input scale and enhanced the local semantic consistency through the SuperpointCluster segmentation network, and combined the PointNet++ network for deep feature learning, achieving efficient and accurate semantic segmentation of Populus tomentosa plantation point clouds, meeting the needs of subsequent extraction of forestry parameters such as diameter at breast height and tree height.

Graphical abstract

关键词

毛白杨人工林 / 手持激光雷达 / 超点聚类 / SC-PointNet++ / TreeQSM

Key words

Populus tomentosa plantations / handheld LiDAR / superpoint cluster / SC-PointNet++ / TreeQSM

引用本文

引用格式 ▾
纪振森,李江,陈强,王鑫,席本野,黄青青. 基于超点聚类网络改进PointNet++的毛白杨人工林点云语义分割算法[J]. 森林工程, 2026, 42(4): 773-785 DOI:10.7525/j.issn.1006-8023.2026.04.011

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

森林资源调查是林业可持续发展的基础工作,传统的人工调查方法存在效率低、精度差等问题。随着激光雷达技术的快速发展,基于点云的森林语义分割以及林业参数估测已成为林业研究的重要方向。近年来,森林激光雷达点云语义分割研究取得了显著进展。Xu等1提出一种利用车载激光雷达自动提取和分割城市街道树木的方法,利用投影密度和空间形态特征识别树干点云,并通过最短路径约束方法准确分割重叠的街道树木,检测精度和精确度分别达到95.3%和96.7%。Wang等2开发一种结合语义分割和实例分割的网络框架,从车辆搭载的移动激光扫描点云中提取单株行道树,在2个复杂的中国城市点云场景中准确提取了约90%的行道树,优于之前的方法。这些研究表明,激光雷达技术在点云语义分割中具有广阔的应用前景。移动式激光雷达(mobile light scanning,MLS)包括背包式激光雷达、手持式激光雷达等3类型扫描仪,因其便携性和高精度,能够获取更全面的三维结构信息,为森林生长监测和生态研究提供重要数据支持,在森林资源调查中展现出独特优势4

尽管林业三维信息的提取日益丰富且质量提升,但信息的复杂性也带来了处理挑战。Ning等5开发了一种无监督的语义和实例分割方法,通过嵌入和叠加聚类点的附加语义信息来增强超点特征,并利用路径分析实现个体树对象的实例分割。在树木的茎叶点云分割方面,Sun等6提出了一种基于几何特征的枝干点云提取方法,利用K均值聚类算法(K-means)和随机抽样一致性(random sample consensus,RANSAC)算法分离枝叶成分,并通过组合圆柱分割方法实现混合点云中树干成分的准确提取。Yang等7提出了一种基于标记控制分水岭算法的个体树分割方法,将通过多方向空间轮廓分析获得的树顶位置作为K-means聚类的先验,实现了从机载激光雷达点云中个体树的粗到细分割。

尽管上述所有方法在林业点云语义分割中均表现良好,但人工林场景下的树木点云语义分割仍面临诸多挑战。尤其是在面对大规模毛白杨(Populus tomentosa)人工林点云场景时,不规则和重叠树木过多会严重影响点云分割的效果8。随着深度学习技术的快速发展,基于点云的深度学习网络在点云语义分割领域取得了显著进展。PointNet9和PointNet++[10]这种端到端处理点云的深度学习网络出现以来,使用这种方法分割整个森林区域得到了广泛应用。这2种网络则通过分层特征学习,在度量空间中的点集上进行深度层次特征学习,能够有效地处理点云数据的不规则性和无序性。Shen等11提出一种基于能量分割的深度学习方法,将原始点云数据划分为几何分区,基于点云的3D几何特征进行几何分割,解决人工种植林点云分割和立木特征参数提取的问题。Ruoppa等12提出首个针对多光谱机载激光扫描(multispectral airborne laser scanning,MALS)森林点云的无监督深度学习枝叶语义分割方法面向多光谱森林的渐进生长超点模型(grow superpoint for multispectral forest,GrowSP-ForMS),在测试集上实现84.3%的平均准确率和69.6%的平均交并比(IoU),显著优于传统深度学习方法。

针对现有方法在复杂毛白杨人工林点云语义分割场景中的局限性,以毛白杨人工林为例提出了结合超点聚类(superpoint cluster,SC)分割网络方法13和PointNet++网络的新方法。主要特色和创新点如下,SC分割网络方法将点云中的点连接到其K近邻,形成图结构。通过结合能量最小化分割方法14,将点分组为具有兼容语义预测的超点簇。将点云划分为超点,在超点级别进行特征计算和预测实现预分割,显著降低计算复杂度。SC分割网络方法能够捕捉点云中的全局结构信息,而PointNet++网络则能够提取局部几何特征。将这两种网络结合提出SC-PointNet++,可以充分发挥各自的优势。

1 研究区概况与数据获取

1.1 研究区概况

试验样地位于山东省聊城市清平镇国家生态公园(36°48′N,116°05′E),呈矩形状,长325 m,宽149 m。当地属于温带季风气候,夏季炎热且多雨,雨季主要集中在6—8月,降水量较集中,容易出现暴雨天气。冬季寒冷干燥,温度较低且降水稀少。年平均气温在10~14 ℃。毛白杨种类为B301无性系,种植时同一行内树间距为2 m,行间距为3 m,毛白杨数量约为1 666棵/hm2,种植时树高平均为3 m,胸径平均为3.7 cm。

1.2 数据集构建与点云预处理

使用华测导航的“如是”RS10手持激光雷达,该激光雷达可以采集彩色RGB点云,并且带有法向量和强度等信息,具体参数见表1,GPS(global positioning system)为全球定位系统,RTK(real time kinematic)为实时动态差分定位,GLONASS (global navigation satellite system)为格洛纳斯全球卫星导航系统(俄罗斯卫星导航系统)。

在2024年9月期间,采集了即将落叶时期的毛白杨数据,在样地内采取蛇形路径行走采集,做到全覆盖样地区域,采集时长为72 min,共计约3.44亿个点。利用华测导航的Copre2软件,在WGS84地理坐标系下进行投影计算,得到整个样地的点云,并以las1.2格式保存,见图1

为保持数据集高质量等特点,在选取训练树木数据集的时候,选择枝叶分离较清晰的树木(Data1、Data2),由于有的树木之间并没有绳索、机器等杂物,为了保证模型的泛化性能,在选择数据集时适量选择带有这些物体的样地(Data3)。依照这些要求,选取了3块样地作为数据集,试验区域中的位置,见图1(a)。选取训练集时,为防止过拟合,选取区域内面积小于训练集的样地,在训练过程中进行实时评估,帮助选择合适的超参数(例如学习率、批大小和优化器等)。之后选取测试集中的样地数据进行验证评价。数据集的详细参数见表2表3

将训练集、验证集、测试集中树木数量按照7∶3∶3留出法的原则进行配置,将全部分割后的点云分为4部分(枝干、树叶、地面、其他),由于部分毛白杨树叶和枝干互相遮挡,为在人工标注时防止产生歧义,因此规定在对毛白杨树叶和枝干点云进行标注时,如果出现模糊的、不易区分的点云将其标记为“树叶”。同样地,在对树干和地面进行分割时,如果出现模糊的、不易区分的点云将其标记为“地面”。如果是低于2 cm的杂草则标记为“地面”,超过2 cm的杂草或灌丛标记为“其他”。将原始雷达数据转换成txt格式,内容包括(XYZRGB)6种信息,XYZ为三维空间坐标,分别代表点云在大地坐标系下的横轴、纵轴、高程位置;RGB为RGB色彩三通道数值,代表该激光点附带的颜色纹理信息。并将txt文件转换成形如ModelNet40数据集的格式。使用CouldCompare软件对样地内的树木逐棵进行裁剪分割,剪切并标注好的树木点云见图1(b),红色为“树叶”,绿色为“枝干”,“地面”为黄色,“其他”为蓝色。

在进行毛白杨人工林点云场景的语义分割时,点云预处理非常重要。因为原始毛白杨人工林点云数据可能包含噪声和离群点。预处理能够去除噪声和离群点、过滤不相关的点(如鸟类或非数据集树木)、平滑数据和转换坐标等。这些处理步骤能够简化场景,提高分割算法的准确性并减少计算成本。选用Lidar360软件依次对原始数据进行重采样、去噪、地面点分类和归一化等预处理工作。重采样采用的是最小点间距方法15。预先设定一个三维空间中的最小距离阈值,遍历原始点云后,确保采样结果中任意2个点的三维欧氏距离均不小于阈值。若原始点云中存在两点距离小于阈值,则按保留更具代表性点(如离区域中心更近、反射强度更高的点)的规则剔除冗余点,最终实现点云数量缩减。点云去噪使用的是统计离群点移除算法,该算法通过计算每个点与其K个最近邻点的平均距离,并将平均距离大于全局平均值加上全局标准差的点视为噪声并剔除。地面点分类采用的是一种改进的渐进加密三角网滤波算法16,此算法将一个默认值作为格网大小,取格网内的最低点作为起始种子点构建三角网,利用起始种子点构建初始三角网。遍历所有待分类的点,查询各点水平面投影所落入的三角形,计算点到三角形的距离(d)及点到三角形3个顶点与三角形所在平面所成角度的最大值,如果小于对应阈值,则将此点判定为地面点,并加入三角网中。重复此过程,直至所有地面点分类完毕。

2 研究方法

图2为从采集点云到最终点云数据集语义分割的全流程。首先使用手持激光雷达在试验样地进行实地扫描,接着对原始点云进行预处理,然后结合超点聚类分割网络和PointNet++网络将整个人工林点云数据分为枝干(包括树干和枝干)、树叶、地面和其他(包括杂草、灌木、绳子、机器和人等)4部分。接着使用Lidar360软件进行单木分割,使用树木定量结构模型(tree quantitative structure model,TreeQSM)对分割后的单木进行参数提取。

2.1 SC超点聚类分割网络

超点是点云数据的一种分层表示,每个超点由一组几何上相似的点组成。超点的划分基于点云的局部几何和辐射特征(如颜色或强度),以确保每个超点内的点在几何和语义上具有较高的同质性。

首先是超点的生成,超点的生成通常通过图割算法实现17。对点云构建一个基于欧式距离的K近邻图,既可用于后续的图割处理,也可作为提取局部几何特征的采样基础。在本研究中,直接使用归一化后点的RGB三通道作为点的辐射特征。对于几何特征,本研究利用主成分分析(principal component analysis,PCA)算法18分析点P及其邻点的空间分布。见公式(1)公式(4)

Linearity=λ1-λ2λ1
Planarity=λ2-λ3λ1
Scattering=λ3λ1
Verticality=nz

式中:Linearity为线性度;Planarity为平面度;Scattering为散射度;Verticality为垂直度;λ1λ2λ3是点P及其邻域点构成集合的协方差矩阵特征值,其中λ1λ2λ3nz是对应于最小特征值λ3的单位法向量在Z轴上的分量。

对于坐标信息,将点的归一化三维坐标xpR3一并视为特征输入。将上述设计的辐射特征、几何特征及坐标信息fprad,fpgeo,xp拼接后,通过一个多层感知机完成点特征的提取。将点特征视为K近邻图上的信号f,通过求解非凸能量最小化问题得到一组“常数”连通组件即超点。其次是超点图的构建以及聚类分割,将点云中的每个点看作图中的一个节点,每个节点的特征包括几何特征和辐射特征,节点之间的边表示点之间的邻接关系,边的权重可以通过几何距离或特征相似性来定义。通过最小化一个能量函数(energy function)来实现聚类。这个能量函数通常包括2个部分,数据保真项和正则化项。数据保真项确保聚类结果与输入数据的特征一致,正则化项使聚类结果的边界尽可能简单,减少过分割或欠分割。见公式(5)

y=argminypPdxp,yp+λp,qEwp,qypyq

式中:xp是点p的特征向量;yp是点p的聚类标签;dxp,yp是数据保真项,衡量特征与聚类标签的匹配程度;λ是正则化强度;wp,q是边(pq)的权重,表示点pq之间的相似性;ypyq是指示函数ypyq则为1,否则为0。dfp,sp是衡量信号与常数值的差异(含交叉熵与欧氏距离项),λ控制分割粗细,该非凸问题通过并行化的ℓ₀‐Cut Pursuit算法19高效求解,使得信号f在各连通组件上取同一个常数值,从而得到一组“常数分量”,每个常数分量都是节点集合的一个子集,且所有节点要么都属于该子集,要么都不属于,本研究把每个子集看作一个超点。

图3通过一个简化的树木模型来说明本研究聚类分割的工作流程。流程的第一步见图3(a),即点云被分成具有简单几何形状的连通超点。第二步每个超点预测其类别概率,见图3(b)。第三步为相邻的超点预测其类别一致性,表明这些点是否属于同一类别,见图3(c)。第四步经过超点聚类网络的处理,输出合并了类型相同的超点,同时在不同类型超点之间的过渡处切断连接超点之间的边,见图3(d)。将点云分割任务看作是将具有类别相同的邻近点分组,可看作一个由图构成的优化问题。具体地说,每个点云P都有属于其语义标签,将P连接到这些语义标签的K近邻,形成一个图G=(PE),其中EP×P表示这些连接。使用一个多层感知器(multi-layer perceptron,MLP)对每个超点S的特征向量输出语义类别分布,对每条边用另一个MLP预测两端的超点是否属于同一对象,根据计算一致性结果,高一致性则聚合,低一致性则分割,最后计算边权将一致性转换为惩罚权重,置信度高的边不容易被切断,形成最终的超点簇。

最后只保留语义预测置信度高于设定阈值的超点,去除过小的超点,将保留的超点里面的点都重新展开成点云。由于误差存在某些超点内的点可能属于不同类别和对象,规定以超点内部包含点云数量最多的类别作为该超点的唯一归属类别。经此网络处理之后,可以得到基于原始点云数据经过聚类分割后的具有相同几何特征和辐射特征的超点数据,此时的点云数据集中,每个点邻域都是与其几何特征、颜色一致的点,再将经过超点聚类分割网络的点云数据集放入PointNet++网络中,形成完整的SC-PointNet++网络,可以有效地提高对整个人工林点云分割的效率和准确性。

2.2 训练细节和评价标准

所有的训练和测试都是在个人电脑上进行的,使用搭配Nvidia RTX 3090 24G显卡。试验环境建立在Windows11系统中,CUDA版本为11.6,与之对应的PyTorch版本为1.13.1,训练学习率为0.000 2,批量学习大小为128,单次输入点云数量为4 096,网络一共训练了100 epoch, 每训练1个epoch,就用验证集评估一次模型性能。用以下4个指标作为评价标准,交并比(intersection over union,IoU,式中记为IoU)为预测区域与真实区域的交集与并集的比值;总体准确率(overall accuracy,OA,式中记为OA)为模型在所有样本中预测正确的比例;精度(Precision,式中记为Precision)为模型预测为正类的样本中,实际为正类的比例;召回率(Recall,式中记为Recall)表示实际为正类的样本中被模型正确预测为正类的比例。见公式(6)公式(9)

IoU=TPTP+FP+FN
OA=TP+TNTP+TN+FP+FN
Precision=TPTP+FP
Recall=TPTP+FN

式中:TP为真阳性样本;TN为真阴性样本;FP为假阳性样本;FN为假阴性样本。

3 结果与分析

3.1 SC超点聚类分割网络结果

在这里以一棵具体的树木点云作为示例,图4即表示图3(a)的处理结果,将单木点云分成具有简单几何形状的连通超点图并给出几个超点簇示例。之后,为每个超点预测其类别概率且为相邻的超点预测其类别一致性,经过超点聚类分割网络处理(图3(b)—图3(d)),输出合并类型相同的超点,在不同类型超点之间的过渡处切断连接超点之间的边。剔除因遮挡、扫描缺失导致无法形成有效聚类的残缺点云,将同质超点簇内的所有点重新还原为离散点云,最终形成超点聚类分割网络点云的分割结果,见图5,相同颜色的点云即表示其最初属于同一超点簇。经过此过程既可以同时保留点云的特征又去掉了因扫描不全导致难以分割的点,为之后的Pointnet++语义分割既节省时间又可以提升精度。图5中这棵树原有26 174个点,经超点聚类分割网络处理后还有127个几何特征和辐射特征相同的超点簇。数量最多的超点簇有11 690个点为地面类型点云聚类形成,这是检测样地地形平坦,杂草较少的原因导致的。此类极低点数超点特征信息量匮乏,无法支撑后续精细语义分割,予以剔除,有效降低运算量,提高运算效率。

3.2 语义分割结果

语义分割结果见图6图7,两图对比3种网络的分割结果。在测试集Test1上Pointnet和PointNet++在图上看分割效果相差不大,而在测试集Test2和Test3可以看出,Pointnet++分割效果优于PointNet分割效果,SC-PointNet++在3个测试集上分割效果均好于其他2个网络。从类型对比来看,类型为“地面”的点云分割结果最好,3种网络的分割结果几乎无差别;在测试集Test1和Test2中,3种网络都可以看出有部分树干被分为树叶的现象,该误差主要源于毛白杨枝条开张、斜向生长、分枝密集、冠层紧凑的生长特性,导致枝叶边界特征混淆,同时人工标注存在少量误差也加剧了分割偏差。在测试集Test3中可以看出,有一部分绳子的点云没有被完全识别分割为树干,这可能是由于训练集中绳子等“其他”种类的点云数量较少,网络未能较好地识别其特征。语义分割后的点云结果文件为obj格式和含有(XYZRGB)信息的txt文件格式。

3.3 精度评价

SC-PointNet++试验训练和验证总的时间约为70 h,经过100 epoch的训练,训练准确率最终趋于稳定在0.97,损失函数收敛在0.026,详细的交并比(IoU)、总体准确率(OA)、精度(Precision)、召回率(Reacall)见表4。为了展示SC-PointNet++在测试集各个类别上的分割结果与真实标注之间的对比差异度,图8展示了一个归一化的混淆矩阵。从混淆矩阵可以看出,SC-PointNet++对于大部分点云数据人工标注的种类与模型预测分割的结果基本接近,但是对于实际为枝干部分的点会有较大一部分被误分为树叶,这与上文展示的语义分割后的效果图情况相同。从具体的参数表4可以看出,属于“地面”的点云分割效果最好,属于“枝干”的点云分割效果最差。

4 讨论

4.1 超点聚类分割网络中关键参数的选取原则

在超点聚类过程中,K近邻数量与正则化权重(λ)是影响超点尺度与边界保持能力的2个关键参数。本研究参数选取遵循“局部结构稳定性优先与语义一致性匹配”的原则,并结合毛白杨人工林点云的空间密度与结构特征进行设置。其中,K近邻用于构建点云的局部邻接图,其主要作用是为几何特征计算(PCA特征)及图割能量函数提供稳定的邻域支持。K过小会导致局部协方差矩阵估计不稳定,影响线性度、平面度等几何特征的可靠性;而K过大则可能削弱枝干与树叶等不同语义区域之间的边界表达。λ用于平衡能量函数中的数据保真项与正则化项,其大小直接影响超点聚类的粒度。较大的λ会促使生成尺度较大的超点,有助于减少过分割并提高计算效率,但可能造成不同语义区域的过度合并;较小的λ则更强调特征差异,易产生过多细碎超点。基于以上2种原则并经过多次试验,选取K=16,λ=1为超点聚类分割网络中参数的值时,语义分割效果最好。

4.2 SC-PointNet++语义分割精度分析

部分人工林林分郁闭度高,林木冠层间距小导致分割困难20。早期人工林点云语义分割常基于几何特征或光强信息用机器学习的方法进行分割,在高密度数据上能取得一定效果,但对于大范围采集或稀疏点云常表现不佳,且手工设计特征难以泛化21,PointNet这种端到端点云深度学习网络的出现受到了研究者的广泛关注。将3个毛白杨点云数据集分别在PointNet、PointNet++、SC-PointNet++3种网络中进行试验,具体语义分割精度见表5,试验中的训练精度变化见图9

在试验结果中,SC-PointNet++在测试集上总体分割精度达到0.887,较PointNet++提高5.3%。训练精度对比图表明,3种网络的训练精度都呈阶梯上升趋势,在0~30 epoch上升效果最明显,到达80 epoch之后精度趋于稳定。其中SC-PointNet++训练精度最高达到了0.95,其他2种网络也都达到了0.91以上。总体准确率(OA)达到0.94以上,较传统PointNet++提高11.9%;各部分IoU也有稳定提升,其中树叶0.870、地面0.987、枝干0.773。表明超点聚类生成的局部同质点簇有效提升了模型对复杂结构区域的识别精度。尤其是对于枝叶分割而言,枝干和树叶在几何局部特征(线性度和平面度)方面差异较大,可在超点聚类分割阶段将同属枝干或同属树叶的点聚为一组,从而使输入网络的样本更具语义纯度,有助于PointNet++提取更明确的特征,降低枝干与树叶交界处出现的分割混淆错误。同时,借助超点预聚类网络,PointNet++每轮训练的超点簇数量小于原始点云数量,大幅降低网络计算量,使训练时间缩短约10%,在硬件资源有限的前提下体现出良好效率优势。Shen等22使用了基于能量分割的PointCNN方法,采用地面激光雷达对繁茂期和无叶期的混合毛白杨人工林数据进行语义分割,分割精度达到了0.839,与SC-PointNet++的分割精度达到相似水平,这表明SC-PointNet++效果优于之前的方法。

4.3 SC-PointNet++单木参数提取有效性分析

对于已经分割好的样地点云模型,使用Lidar360软件对样地点云进行单木实例分割每一棵树。在分割后的单木点云中取分割为“枝干+树叶”的所有点,计算其中的最大值zmaxH=zmax-zground,其中,H为树高,zground可由“地面”点的平均高度确定23;在离地面1.3 m处截取一个薄层点云,用RANSAC或最小二乘拟合平面投影至水平面,在水平投影上拟合圆形就得到胸径;沿高度方向把点云分层(如每0.2 m一层),统计每层横截面点数密度,密度突然增大的“分界层”即为枝下高;在枝冠点云投影到水平面后,用凸包(Convex Hull)抠出外形,再计算最大对趾直径即为冠幅;用整棵树干点云拟合一条3D中轴线,计算每个点到该直线的距离,统计其均方根(RMSE)或最大偏离度,作为树木通直度指标。SC-PointNet++分割为“树叶”的IoU最高为0.870,且“地面”最高IoU为0.987,可保证这些指标计算中地面基准和冠层顶端定位的可靠性。之后使用TreeQSM定量结构模型对分割后的单木进行三维重建,吴毓涵等24使用激光雷达对TreeQSM模型树和人工树进行扫描并与真实数据进行比较,试验结果表明树高和胸径的精度都在90%以上。TreeQSM建模本身对点云噪声具有一定鲁棒性,但分割输入的纯度越高,定量结构模型(quantitative structure model,QSM)的拟合误差越小,SC-PointNet++相较无分割或粗分割,可显著提高TreeQSM建模质量。图10为数据集中50棵树的树高、胸径、冠幅直径、枝下高四种参数的实际测量值与形成的TreeQSM模型的散点回归图,还分别计算了其相关系数和均方根误差(RMSE),以定性评估结果。结果表明SC-PointNet++网络的语义分割能满足准确提取单木参数的需要。

5 结论

为提高Pointnet++网络在人工林点云整体分割效果以及改善Pointnet++网络在枝叶复杂环境下的枝干和树叶分割精度、训练时间,基于超点聚类分割理论与Pointnet++网络结合而改进的深度学习网络SC-Pointnet++,在测试集上的试验表明,该网络不仅训练精度高于Pointnet++和PointNet网络,并且树冠重叠率高的人工林分割精度均高于传统的深度学习框架Pointnet++和PointNet网络。

将原始点云基于几何特征和辐射特征,通过聚类方法得到一个超点聚类图,然后将所有点与其相邻点连接预测其类别一致性,通过多层感知机预测其是否属于同一类别,如不属于同一类别在点之间的过渡处切断连接点之间的边,这样可以分割成拥有相似点云特征的超点,于是就得到了分割好的超点聚类结果,之后作为Pointnet++网络的输入进行全局特征提取与分割,最终对人工林点云实现了精准语义分割,较传统的Pointnet++网络训练精度提升约5%,总体分割精度提高5.3%,模型训练时间较PointNet++缩短约10%。

参考文献

[1]

XU M BZHONG X TZHONG R F.A method for automatic extraction and individual segmentation of urban street trees from laser point clouds[J].Optics & Laser Technology2025180:111431.

[2]

WANG P CTANG YLIAO Z F.Road-side individual tree segmentation from urban MLS point clouds using metric learning[J].Remote Sensing202315(8):1992.

[3]

关天蒴,王春博,王蔚,.移动式激光雷达在人工林样地调查中的路径规划方法[J].北京林业大学学报202446(5):154-162.

[4]

GUAN T SWANG C BWANG Wet al.Path planning method of mobile LiDAR in plantation sample plot survey[J].Journal of Beijing Forestry University202446(5):154-162.

[5]

曹伟,陈动,史玉峰,.激光雷达点云树木建模研究进展与展望[J].武汉大学学报·信息科学版202146(2):203-220.

[6]

CAO WCHEN DSHI Y Fet al.Progress and prospect of LiDAR point clouds to 3D tree models[J].Geomatics and Information Science of Wuhan University202146(2):203-220.

[7]

NING X JMA Y SHOU Y Yet al.Semantic segmentation guided coarse-to-fine detection of individual trees from MLS point clouds based on treetop points extraction and radius expansion[J].Remote Sensing202214(19):4926.

[8]

SUN J QWANG PGAO Z Yet al.Wood–leaf classification of tree point cloud based on intensity and geometric information[J].Remote Sensing202113(20):4050.

[9]

YANG J TKANG Z ZCHENG Set al.An individual tree segmentation method based on watershed algorithm and three-dimensional spatial distribution analysis from airborne LiDAR point clouds[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing202013:1055-1067.

[10]

时继昌.基于机载LiDAR数据的关中工业大径级毛白杨无性系选优方法研究[D].咸阳:西北农林科技大学,2023.

[11]

SHI J C.Study on optimization method of large diameter grade Poplar clones in Guanzhong industry based on airborne LiDAR data[D].Xianyang:Northwest A&F University,2023.

[12]

CHARLES R QSU HKAICHUN Met al.PointNet:Deep learning on point sets for 3D classification and segmentation[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR),July 21—26,2017,Honolulu,HI,USA,IEEE:77-85.

[13]

CHARLES R QLI YSU Het al.PointNet++:Deep hierarchical feature learning on point sets in a metric space[J].arXiv:1706.02413 [cs.CV].

[14]

SHEN X YHUANG Q QWANG Xet al.A deep learning-based method for extracting standing wood feature parameters from terrestrial laser scanning point clouds of artificially planted forest[J].Remote Sensing.202214(15):3842.

[15]

RUOPPA LOINONEN OTAHER Jet al.Unsupervised deep learning for semantic segmentation of multispectral LiDAR forest point clouds[J].ISPRS Journal of Photogrammetry and Remote Sensing2025228:694-722.

[16]

DAMIEN RHUGO RLOIC L.Scalable 3D panoptic segmentation as superpoint graph clustering[J].arXiv:2401.06704 [cs.CV].

[17]

LI JLIU J HHUANG Q Q.PointDMM:A deep-learning-based semantic segmentation method for point clouds in complex forest environments[J].Forests 202314(12):2276.

[18]

夏金泽,孙浩铭,胡盛辉,.基于图像信息约束的三维激光点云聚类方法[J].光电工程202350(2):220148.

[19]

XIA J ZSUN H MHU S Het al.3D laser point cloud clustering method based on image information constraints[J].Opto-Electronic Engineering202350(2):220148.

[20]

ZHAO X QGUO Q HSU Y Jet al.Improved progressive TIN densification filtering algorithm for airborne LiDAR data in forested areas[J].ISPRS Journal of Photogrammetry and Remote Sensing2016117:79-91.

[21]

LANDRIEU LOBOZINSKI G.Cut pursuit:Fast algorithms to learn piecewise constant functions on general weighted graphs[J].SIAM Journal on Imaging Sciences201710(4):1724-1766.

[22]

JONATHON S.A tutorial on principal component analysis[J].International Journal of Remote Sensing201451(2):1684.

[23]

HUGO RLOÏC L.Cut-pursuit algorithm for regularizing nonsmooth functionals with graph total variation[J].Proceedings of the 35th International Conference on Machine Learning201880:4247-4256.

[24]

谢栋博,刘清旺,雷雅凯,.基于机载LiDAR数据的崇礼冬奥核心区单木分割算法适宜性分析[J].林业科学202258(10):121-130.

[25]

XIE D BLIU Q WLEI Y Ket al.Suitability analysis of single tree segmentation algorithm in the core area of Winter Olympic Games based on airborne LiDAR data[J].Scientia Silvae Sinicae202258(10):121-130.

[26]

WANG DMOMO T SCASELLA E.LeWoS:A universal leaf-wood classification method to facilitate the 3D modelling of large tropical trees using terrestrial LiDAR[J].Methods in Ecology and Evolution202011(3):376-389.

[27]

SHEN X YHUANG Q QWANG Xet al.A method for extracting the tree feature parameters of Populus tomentosa in the leafy stage[J].Forests202314(9):1757.

[28]

霍朗宁,张晓丽.基于机载LiDAR点云多层聚类的单木信息提取及其精度评价[J].林业科学202157(1):85-94.

[29]

HUO L NZHANG X L.Individual tree information extraction and accuracy evaluation based on airborne LiDAR point cloud by multilayer clustering method[J].Scientia Silvae Sinicae202157(1):85-94.

[30]

吴毓涵,汪沛,李雅新,.基于实际和模型树木的TreeQSM建模估计树木参数性能分析[J].中国激光202350(22):165-174.

[31]

WU Y HWANG PLI Y Xet al.Performance analysis of tree parameter estimation based on TreeQSM modeling of actual and model trees[J].Chinese Journal of Lasers202350(22):165-174.

基金资助

北京林业大学“5·5工程”科研创新团队项目(BLRC2023C05)

国家林业和草原局“揭榜挂帅”项目(CAFYBB2024ZA005)

AI Summary AI Mindmap
PDF (6531KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/