基于隐式关键点互联的人体姿态估计矫正器算法

摘要

针对现有人体姿态估计模型中忽略人体关键点之间相互联系的问题，提出了一种基于相关矩阵建立隐式关键点互联的人体姿态估计矫正算法。该算法采用双阶段网络结构，第一阶段使用现有模型获得关键点的准确率，第二阶段计算相关系数矩阵，构建关键点矫正器，实现隐式的关键点互联，通过选取效果较好的部分关键点作为指导，优化效果较差的另一部分关键点。将伪热力图信息重组后分为指引区域和待索引区域两个矩阵，指引矩阵根据准确率分为3个区域，并和转置后的待索引矩阵分别相乘得到相关矩阵，为不同相关矩阵增加不同的影响因子，通过公式得到总相关矩阵，与待索引矩阵相乘得到索引区域，最终逆向信息重组恢复到最初维度，与伪热力图进行逐像素相加，得到最终预测热力图，自动建立各关键点之间的联系，矫正现有模型忽略的关键点相互关系。在COCO2017数据集上的实验结果表明：本文人体姿态估计矫正算法在关键点识别准确度为70.5%，比现有模型SimpleBaseLine平均提升了0.4%。在一些容易被遮挡的部位，例如脚踝和手腕，体积小，处于四肢末端，遮挡的概率高，相邻的关键点个数少，表层信息特征少，人体姿态估计矫正器通过加强四肢末端关键点和其他全身关键点的联系，建立更多的特征联系。实验表明：脚踝和手腕识别的准确率相对提升1.5%，相比于其他现有模型，准确率也有较大的提升，证明了隐式关键点互联的人体姿态估计矫正算法的有效性。

关键词

机器视觉 / 人体姿态估计 / 隐式关键点 / 相关矩阵

基金资助

国家自然科学基金重大项目(61890963); 吉林省科技发展计划项目(20210204099YY)