多模态特征融合的三维形状识别网络

摘要

点云和视图2种模态的全局特征融合已经被证明有效，为了进一步挖掘细粒度的局部特征关系和模态间的互补关系以提升模型性能，提出了一种新的网络架构。该架构包含2个核心模块：设计了局部特征融合模块(LFM),通过特征矩阵的转置变化，集成2种模态在不同层次的局部特征，而特征互补增强模块则利用元素级的简单运算，获取模态间的区别性信息，并以此为根据量化出权重系数，最后加权增强特征，形成更强大的形状描述符。在ModelNet10和ModelNet40数据集上的实验结果表明，该网络在效率和性能上实现了平衡，并且在三维形状识别方面取得了先进的成果。

关键词

多模态 / 三维形状理解 / 深度学习 / 局部特征