基于NeRF和改进RandLA-Net的果树三维重建与果实语义分割方法

摘要

【目的】解决复杂果园环境下的果实精准分割问题。【方法】本文提出一种新颖的柑橘果树三维重建与果实语义分割方法。首先，利用神经辐射场(Neural radiance field, NeRF)技术从多视角图像中学习果树的隐式三维表示，生成高质量的果树点云模型；然后，采用改进后的随机局部点云特征聚合网络(Random local point cloud feature aggregation network, RandLA-Net)对果树点云进行端到端的语义分割，准确提取出果实点云。对RandLA-Net进行针对性改进，在编码器层后增加双边增强模块，采用更适合果实点云分割任务的损失函数，并通过柑橘果树数据集对改进后的分割网络进行验证试验。【结果】所提出的方法能够有效地重建果树三维结构，改进后网络的平均交并比提高了2.64个百分点，果实的交并比提高了7.33个百分点，验证了该方法在智慧果园场景下的实用性。【结论】研究为实现果园智能化管理和自动化采摘提供了新的技术支撑。

关键词

果树重建 / 果实分割 / 神经辐射场 / 点云语义分割 / 智慧农业