基于注意力卷积混合架构的实时手部网格重建

摘要

当前的手部网格重建方法主要关注手部网格重建的精度和偏差，而对于其实时性方面的因素关注则较少.为此，本文提出了一种基于三阶段注意力卷积混合架构的三维手部网格重建方法(QuickHand).首先，设计了一个混合层级特征提取器，通过将轻量级卷积编码、多尺度特征变换和全局注意力机制有机结合，实现了从单视图手部图像到判别性特征表示的高效映射.其次，构建了一个维度映射转换器，通过自适应的关节特征编码和空间变换，实现了从二维平面特征到网格顶点特征空间的精确转换.最后，设计了一个高效的网格重建解码器，通过深度可分离螺旋卷积和多级上采样策略，在保持低计算复杂度的同时实现了高精度的手部三维网格重建.实验表明，本文在保持高精度手部网格重建的同时提高了实时性能，相比面向精度的方法具有更高的实时性，相比面向轻量化的方法具有更优的重建精度.

关键词

三维手部网格重建 / 混合层级特征提取 / 实时性 / 维度映射转换 / 网格重建解码