一种基于残差MLP的多模态点云分类网络

摘要

针对PCT等先进点云算法存在模态单一、特征提取器复杂、参数量大、计算效率低等问题，提出一种精简快速的多模态点云分类网络Res-CLIP。将ResMLP-PC与CLIP结合，通过学习多模态信息提高主干网络性能和迁移学习能力，使用残差MLP提高算法效率；将仿射变换模块融入主干网络提高算法精度。排水管道缺陷数据集实验结果表明：与PCT等算法相比，ResMLP-PC算法的精确率、召回率均有提升，且参数量减少近50%,检测速度提升23%。Zero Shot实验结果表明：与现有多模态点云网络相比，Res-CLIP算法在2类公开数据集上的Zero Shot精度均较优，比ULIP相比分别提升4.6%、0.5%。

关键词

3D点云 / 多模态 / MLP / 管道缺陷

基金资助

国家自然科学基金项目(61603127);; 湖北省教育科学规划项目(2022ZA41)