基于多尺度Transformer的多视图三维形状分析方法

摘要

基于多视图的三维形状分析方法是三维计算机视觉领域中的重要研究分支，通过整合三维形状在多个视角下的二维图像的特征来完成三维形状的识别、检索等任务。然而，如何有效地探索不同视角之间的关联性，并运用这些关联性来聚合多视图图像的特征仍然是三维形状分析中一个亟待解决的核心问题。受到最近兴起的Transformer网络在关系建模问题上成功应用的启发，研究工作引入了一种创新的多尺度Transformer架构，提出了基于多尺度Transformer的多视图三维形状分析方法(Multi-View Multi-Scale Transformer, MVMST)。此方法能够有效地学习不同视角之间的关联性，将多视图图像的特征聚合为一个具有强大表达能力的整体描述符。与以往方法使用感受野为全局的Transformer建模多视图特征的关系不同，该方法受到多尺度学习方法的启发，使用多尺度的Transformer来建模不同尺度下的多视图图像特征之间的关系，并设计了一个多尺度融合模块将多个尺度下经过Transformer处理的特征进行融合，得到一个相比单一尺度更加有效的多尺度表示。多个视图的多尺度表示最终经过视角池化模块融合成三维形状的一个整体描述符。研究了在多个合成和真实扫描三维形状分类数据集上进行了实验，结果表明所提出的方法在三维形状分类任务上表现出令人满意的性能。

关键词

三维形状分析 / Transformer / 多尺度方法

基金资助

国家自然科学基金(12125104)