基于几何注意力机制的三维手部姿势估计算法

摘要

在Transformer编码-解码的基础架构上设计了手势识别网络，在自注意力机制的基础上引入了优化的偏移注意力机制来提取手部特征.同时为了更好地提取手部结构的局部特征，设计了邻域聚合策略.手部结构自身的三维复杂性导致其不同区域的平滑程度不同，进行手部姿势估计时，忽略这种特征会使手部结构的局部关键信息丢失，为了解决这一问题，对手部结构进行了几何分解，分别用锐变成分和柔变成分来表示手部结构的尖锐区域和平坦区域，通过注意力机制对这两种成分的特征给予不同的关注.在MSRA,ICVL和NYU数据集上的实验验证了此算法的准确度与SOTA算法相当.

关键词

手势识别 / 三维点云 / 注意力机制 / Transformer模型 / 深度学习