基于弱监督迁移网络的3D人体关节点识别

摘要

针对2D图像缺少深度信息，行为姿态空间结构信息不完备的问题，提出一种基于弱监督迁移网络的3D人体关节点识别方法。首先，提出一种用于真实图像的端到端3D人体姿态估计框架，使用2D与3D混合标签图像对深度神经网络进行训练，在2D人体姿态识别子网络中，添加深度回归模块对2D人体姿态识别子网络进行改进，解决3D人体姿态识别出现的深度歧义性问题；其次，在3D人体姿态识别子网络中，引入3D几何约束对人体姿态识别进行规范化操作，针对无真实深度标签的情况，可更好地学习深度特征，有效解决存在遮挡情况的人体姿态识别问题。在Human 3.6M和MPII数据集中关节点预测平均误差低于其他方法，具有更好的3D人体姿态识别效果。

关键词

迁移网络 / 姿态识别 / 3D关节点 / 几何约束 / 深度回归