面向骨架手势识别的全局时空可变形网络

摘要

基于骨架序列进行手势识别关键在于如何融合时空信息提取可分辨性强的特征。该文提出关键点聚焦模块，通过全局上下文建模和不受限于固定形式的卷积方式，网络可以跨越多帧和不相关的关键点，在全局范围内自适应地聚合与手势动作密切相关的关键点信息，提取手势的时空特征。实验表明该方法在ChaLearn2013和SHREC数据集上得到的准确率可以达到94.88%和95.23%，优于现有方法。此外，该方法在处理噪声数据和动态手势方面稳定性更好。

关键词

手势识别 / 特征提取 / 可变形卷积 / 骨架序列 / 全局信息

基金资助

中央高校基本科研业务费交叉学科研究项目（2022ZYGXZR104）; 广东省数字孪生人重点实验室项目（2022B1212010004）