基于弱监督迁移网络的3D人体关节点识别

孙志勇; 李宏友; 叶俊勇

doi:10.13229/j.cnki.jdxbgxb.20220280

吉林大学学报(工学版) ›› 2024, Vol. 54 ›› Issue (01) : 251 -258. DOI: 10.13229/j.cnki.jdxbgxb.20220280

基于弱监督迁移网络的3D人体关节点识别

孙志勇, 李宏友, 叶俊勇

作者信息 +

Author information +

文章历史 +

摘要

针对2D图像缺少深度信息，行为姿态空间结构信息不完备的问题，提出一种基于弱监督迁移网络的3D人体关节点识别方法。首先，提出一种用于真实图像的端到端3D人体姿态估计框架，使用2D与3D混合标签图像对深度神经网络进行训练，在2D人体姿态识别子网络中，添加深度回归模块对2D人体姿态识别子网络进行改进，解决3D人体姿态识别出现的深度歧义性问题；其次，在3D人体姿态识别子网络中，引入3D几何约束对人体姿态识别进行规范化操作，针对无真实深度标签的情况，可更好地学习深度特征，有效解决存在遮挡情况的人体姿态识别问题。在Human 3.6M和MPII数据集中关节点预测平均误差低于其他方法，具有更好的3D人体姿态识别效果。