复杂背景下草莓点云语义分割优化方法

谢元澄; 陈自强; 许忠义; 严心悦; 姜海燕; 梁敬东

南京农业大学学报 ›› 2025, Vol. 48 ›› Issue (02) : 476 -487.

复杂背景下草莓点云语义分割优化方法

谢元澄, 陈自强, 许忠义, 严心悦, 姜海燕, 梁敬东

作者信息 +

Author information +

文章历史 +

摘要

[目的]针对田间背景噪声干扰、草莓果实体积小且伴随遮挡的难点，本文利用3D视觉技术实现草莓准确识别和定位，为机器人自动采摘提供技术支持。[方法]使用Intel Realsense D435i深度相机采集不同光照、季节和遮挡条件下的草莓点云数据，构建包含3个类别的数据集，分别为无遮挡、低遮挡、高遮挡。结合多阈值统计滤波和ROI提取技术对点云数据进行预处理，过滤噪声；以PointNet++为基础模型，对点云数据直接提取特征，并在PointNet++基础上提出一种针对复杂背景下小尺度目标的语义分割模型SS-PointNet++,利用点云的多种特征信息作为网络输入特征，构建采样层、分组层，并通过PointNet提取局部特征，使用最远点采样法对点云取样并最大程度覆盖到整个点集，针对小尺度目标设计3种不同半径的球查询(ball query)来获取局部特征，改进SA层和FP层的结构，使其能够适应低密度点云。[结果]对未经预处理的点云进行分割时，有0.74%的概率出现离群点的误判问题，而对预处理后的单张点云图像进行语义分割的用时平均减少了3.47 s。点云图像测试结果表明，SS-PointNet++模型的平均准确率达到86.95%,比优化前提升了19.54百分点，平均交并比为0.740。在光照充足且无遮挡的草莓上，该模型的语义分割准确率高达95.36%,而在暗光环境下，该模型的平均准确率也能达到81.34%。[结论]SS-PointNet++模型提升了小尺度目标点云的语义分割效果，对不同光照条件具有较强的鲁棒性，为基于3D点云的小物体和遮挡物体分割提供了一种有效的方法；本文提出的草莓遮挡类型的划分方法，对后续草莓遮挡问题提供了数据分析支持，对其他基于3D点云的小尺度物体的目标检测和遮挡问题也起到借鉴作用。