基于时空注意力的3D人体姿态估计网络设计

易见兵; 张裕贤; 曹锋; 李俊; 彭鑫; 陈鑫

doi:10.16088/j.issn.1001-6600.2024122505

广西师范大学学报（自然科学版） ›› 2025, Vol. 43 ›› Issue (05) : 130 -144. DOI: 10.16088/j.issn.1001-6600.2024122505

基于时空注意力的3D人体姿态估计网络设计

易见兵, 张裕贤, 曹锋, 李俊, 彭鑫, 陈鑫

作者信息 +

Author information +

文章历史 +

摘要

在3D人体姿态估计中，遮挡会导致人体关节点提取不准确，针对该问题，本文提出一种结合时空注意力和通道注意力的3D人体姿态估计算法。首先，提出一种特征筛选模块，该模块通过引入位置嵌入模块，以进一步捕获人体关节点的特征信息；其次，提出一种移动视觉Transformer时间注意力模块，该模块通过引入SiLU激活函数，以获取更多姿态特征细节；最后，提出一种通道注意力模块，该模块通过引入并行分支处理架构及增加归一化层，以调整输出通道的特征权重，达到算法对人体姿态特征的关注和弱化其背景特征的目的。在Human3.6M数据集上进行实验，相较于基准模型Strided Transformer,将级联金字塔网络提取的2D关节点作为输入时，每关节位置误差的平均值和进行普罗克鲁斯对齐后的每关节位置误差的平均值分别下降2.5%和2.3%;将Human3.6M数据集标注的2D关节点作为输入时，每关节位置误差的平均值下降6.7%。实验结果表明，本文提出的算法准确性较高。