全局图感知驱动的细粒度3D实例分割算法

摘要

零样本3D实例分割在无需预定义类别的情况下分割3D场景中的实例对象，近年来受到广泛关注.然而，有限的3D点云标注数据限制了该领域的发展.为了避免数据匮乏带来的影响，一些方法尝试借助2D视觉模型辅助3D实例分割，但受限于场景的重建质量或局限于相邻帧的局部信息，导致分割精度不足.为了提高分割质量，本文提出了一种基于全局图感知的3D实例分割算法，不依赖于场景重建质量，同时整合所有帧提供的全局决策信息.算法利用全局图结构来捕捉并理解点之间的关系，并基于不同的掩码集的特性应用多种图聚类技术，在保留场景细节的同时提取出高质量3D实例.实验结果表明，本文方法在Scannet200基准数据集上的零样本3D实例分割任务中实现了优异的性能.

关键词

点云处理 / 实例分割 / 图感知 / 零样本分割 / 2D-to-3D

基金资助

四川省重点研发项目(2023YFG0122)资助