基于人体姿态估计的健身运动评估系统

Fitness exercise evaluation system based on human posture estimation

摘要

针对目前健身运动评估系统能提供的有效评估信息少且计算复杂度高的问题，提出了一种基于人体姿态估计的健身运动评估系统。该系统仅需手机或者平板内置摄像头，结合人体姿态估计算法、动作识别算法、动作评估算法，即可实现对用户健身动作的智能化有效评估。首先，使用MediaPipe算法进行人体姿态估计，获得人体关节骨架数据。然后，送入SCBT-GCN网络进行动作识别，根据动作的运动学原理设计了一系列基于关节角度、对称性、轨迹特性、流畅性的评估方法。最后，针对识别出的动作类别调用相应的具有针对性的动作评估算法进行健身异常动作检测和评价，形成了一套智能化强、实时性高的健身动作评估系统。实验结果表明，该系统动作识别的准确率达到 98.6%，可以实时检测异常动作并对健身动作进行离线评分，具有较高的使用价值。

Abstract

In order to solve the problem that the current fitness exercise evaluation systems provided poor evaluation information and involved high computational complexity， a fitness exercise evaluation system based on human posture estimation was proposed. The system utilized the built-in camera of mobile phones or tablet computers， combined with human pose estimation algorithms， action recognition algorithms， and action evaluation algorithms to achieve intelligent and effective evaluation of users’ fitness exercises. Firstly， the MediaPipe algorithm was used to estimate the human posture and obtain the human joint bone data.Then， it was fed into the proposed SCBT-GCN network for action recognition. Based on kinematic principles， a series of evaluation methods had been designed which evaluate joint angles， symmetry， trajectory characteristics， and movement fluency. Finally， corresponding targeted movement assessment algorithms were invoked based on the identified action categories to detect and evaluate abnormal fitness movements， thereby forming a fitness action evaluation system with strong intelligence and high real-time performance. Experimental results show that the system has an accuracy of 98.6% in action recognition， which can detect abnormal actions in real time and score fitness actions offline， demonstrating high practical value.

Graphical abstract

关键词

人体姿态估计 / 动作识别 / 动作评估 / ST-GCN / 高斯混合模型

Key words

human posture estimation / action recognition / action evaluation / ST-GCN / Gaussian mixture model

近年来，健身运动逐渐成为大众生活中的重要组成部分，但传统的健身模式难以提供高效、精准的运动评估与反馈。基于视觉的健身运动评估系统因其无需佩戴额外设备、便捷性高、适用范围广等特点，逐渐受到广泛关注。目前市场中存在的如Freeletics、Mirror健身镜等健身类产品可以通过摄像头实时监控用户的运动姿态，提供反馈和纠正建议，但只能处理常规单一的健身动作，对复杂姿势的评估效果不佳，且对硬件条件及网络性能有较强的依赖性。因此，可以针对多类健身运动且模型简单的软件系统具有广阔的应用前景。

基于视觉的健身运动评估系统通过摄像头获得人体运动姿态信息后自动进行动作识别，无需手动指定动作类别，即可开启对应的动作评估指标，从而为用户提供科学全面的运动反馈。该系统主要由人体姿态估计、动作识别、动作评估3个关键技术组成。

人体姿态估计是从图像或视频中识别出人体的关节点位置的技术^［1］。常用的人体姿态估计算法包括级联深度回归器^［2］（human pose estimation via deep neural networks， DeepPose）、堆叠沙漏网络^［3］（stacked hourglass networks， SHN）、区域姿态估计框架^［4］（regional multi-person pose estimation， RMPE）、实时多人二维姿态估计^［5］ （realtime multi-person 2D pose estimation using part affinity fields， Openpose）、高分辨率网络^［6］（high-resolution networks，HRNet）、级联金字塔网络^［7］（cascaded pyramid networks，CPN）等，都存在计算量大、推理速度慢、硬件需求严苛、实时性低等缺点，不适用于健身运动分析。2019年，Google 提出了一个跨平台的开源框架MediaPipe，用其特别的框架结构和工作流程，极大减小了模型的体积和资源消耗，可在实时视频中估计人体关节点的位置，适用于实时健身动作评估系统的需求。

不同的健身动作具有不同的评估标准，因此在动作评估前进行动作识别可以识别用户的动作类型，并快速开启相应的评估机制^［8］。目前，应用最广泛的基于骨架数据识别方法是Gao等^［9］提出的基于图卷积网络（graph convolutional networks，GCN）的识别方法，该类方法可以更好地处理骨架数据这类具有图结构的人体姿势识别问题，将人体骨架划分为四肢和躯干5个区域，分别提取区域内和区域间的特征，用于骨架数据上的动作识别。Shi等^［10］提出双流自适应图卷积网络（two-stream adaptive graph convolutional networks，2s-AGCN），该网络可以同时建模关节和骨骼信息，显著提升了识别精度。鉴于GCN方法处理时序性问题的能力较差，Yan等^［11］提出了时空图卷积网络（spatio-temporal graph convolutional networks，ST-GCN），将图卷积理论应用到骨架序列的时空动态演变中，设计了表征人体拓扑结构的邻接矩阵。该算法能够自动学习骨架数据的时空特征，同时通过时间卷积捕捉关节随时间的动态变化并用于人体动作识别，具有更强的表现能力和泛化能力，但该模型获取关节点的全局信息能力较差，且网络模型较大，需进行相应的模型精简才能应用于实时动作评估系统中。

动作评估方法主要分为模板匹配和空间-时间法。模板匹配是指将待测动作序列与预先定义动作序列的模板进行比较。Song等^［12］基于人体的关键点数据，设计距离函数，采用动态时间规整（dynamic time warping，DTW）算法来度量时间序列之间的相似性，实现动作评估。于景华等^［13］设置了标准动作和实验动作，计算两个动作帧的平均帧距离，通过DTW将标准动作和实验动作之间的距离进行比较，归一化后获得动作相似度评分。韩丽等^［14］通过计算向量的夹角余弦值，利用特征平面相似性匹配的方法计算运动数据相关匹配度，确定舞蹈表演者的姿势与标准姿势的相似程度。空间-时间法是指分析一个动作中不同身体部位的空间和时间的关系。Alexiadis等^［15］基于Kinect深度相机采集的骨骼点坐标、关节角度和旋转量，提出了一组基于四元数相关的测量分数，与教练的标准动作进行对比，得到舞蹈动作评分。以上运动评估的研究中多使用普遍单一的评估方法，没有针对不同运动的发力特点设计不同方法，因此，评估方法的适应性还需进一步提高。

基于以上研究，本文设计了基于人体姿态估计的健身运动评估系统，此系统可以在任何场合供给用户健身使用。该系统使用实时性极高的MediaPipe算法提取姿态信息，送入添加了注意力机制并简化了网络层结构的ST-GCN中进行动作识别，最后，根据不同的动作类别使用不同的健身动作评估算法来获得运动评估结果，系统可以实现健身者在无需指定动作类别情况下的多类健身动作的自动化健身动作评估。

1 系统整体框架

系统整体框架如图1所示，具体分为以下3个模块：

1）人体姿态估计：使用MediaPipe人体姿态估计网络提取人体关节点数据。

2）动作识别：将获取的关节点数据送入改进的动作识别网络进行动作识别。

3）动作评估：根据识别出的动作类别，调用该动作对应的评估算法，对健身动作进行在线评估与离线评估。具体实现如下：

a.在线评估：针对健身运动过程中实时出现的如关节角度异常、重心偏移、左右肢体不对称等异常行为，进行实时异常提示；针对周期内完整健身动作的动作要领，分析重点关节轨迹特性，进行异常检测。

b.离线评估：在改进ST-GCN提取的时序特征的基础上，结合时空特征的变异性与梯度变化，设计时空一致性和时序梯度的评估算法，全面地衡量健身动作的稳定性与流畅性，提供一个量化的评分结果。

2 姿态估计

采用MediaPipe框架下的BlazePose模型进行人体姿态估计，该模型以轻量化的MobileNet为骨干网络，通过优化卷积计算显著降低复杂度，在保障精度的同时，满足实时性需求。BlazePose网络结构图如图2所示。

BlazePose融合热图预测、偏移量估计与回归方法，可对输入尺寸为256*256*3的RGB图像进行高效处理，最终输出33个关节点的坐标及其置信度。在特征提取过程中，模型通过多层卷积逐步压缩空间尺寸并增加通道数，结合跳跃连接与梯度停止策略，实现多级特征融合与训练优化。图3展示了该模型在RGB图像上的检测结果。

3 动作识别

动作识别算法可以实现在不指定动作类别情况下，系统能在自动识别后进入评估流程。由于健身运动评估系统需要较强的实时性，若网络结构过于复杂会延长计算时间，用户体验较差，本文将ST-GCN的9个时空图卷积模块（spatio-temporal graph block， ST-GCB）减为6个后，进行时空特征提取，以提高模型运行速度。同时，由于健身动作的分类需要更关注细粒度的动作区分，因此在GCN与时间卷积网络（temporal convolutional networks，TCN）之间引入卷积注意力模块（convolutional block attention module，CBAM），构建了时空图注意力卷积模块（spatio convolutional-block temporal graph convolutional block，SCBT-GCB），提高网络对健身动作的识别准确率。SCBT-GCB结构图如图4所示。

传统的ST-GCN将人体关节视为图的节点，关节之间的连接作为图的边，利用GCN来捕捉这些节点之间的空间关系，同时引入TCN操作，通过时空联合建模捕捉人体动作的动态变化。时空图卷积的操作如式（1）、（2）所示。

f_{\mathrm{o}\mathrm{u}\mathrm{t}}(v_i)=\sum _{v_{tj}\in B(v_{ti})}\frac{\mathrm{1}}{Z_{ti}(v_{tj})}{f}_{in}(v_{tj})w[l_{ti}(v_{tj})]（1）

B(v_{ti})=\{v_{qj}|d(v_{ti},v_{tj})\le K,|q-t|\le \Gamma /\mathrm{2}\}（2）

式中：Z为归一化项；v_ti 为目标节点；v_tj 为ti的邻居节点；w为权重函数；B为抽样函数；l_ti 为以v_ti 为目标中心的标签图；\Gamma为时间卷积核大小；d（v_tj，v_ti ）为节点v_ti 到v_tj 的最短路径；K为设定的策略参数；v_qj 为抽样节点集合；q为抽样帧；t为目标帧。通过上述操作，时空图卷积可以提取含有大量关联信息的时空特征图，每一层时空图卷积的结果作为下一层网络的输入。

ST-GCB由注意力机制（attention machine，ATT）、GCN、TCN构成，其中ATT为与邻接矩阵等大小的可学习的权重矩阵，每个单元进行残差融合，增强模型学习能力，最后经过池化层、全连接层将输入数据转换为256维的特征向量，送入到softmax进行分类。

CBAM的网络结构图如图5所示。首先，在通道维度上利用全局池化生成通道注意力权重，突出重要的特征通道；然后，在空间维度上通过池化和卷积操作生成空间注意力权重，突出重要的空间位置。这两个注意力模块的组合，使网络能更有效地捕捉到图像中的关键信息。改进后的ST-GCN将GCN输出的特征依次经过CBAM的通道注意力模块、空间注意力模块的总加权输出最终加权结果，再输入到TCN中，最终得到分类结果。

4 在线动作评估

学员在健身时会出现一些错误动作，但自身又无法发觉，因此需要对健身动作进行评估以纠正错误动作的发生。可针对不同健身动作的特点，结合先验知识，制定不同的在线评估规则，提高训练过程的安全性和科学性。

4.1 基于规则的帧内异常动作检测

1）角度规则

相比于传统的主观臆断，关节角度数据能够精确描述各关节之间的空间关系，可利用人体关节点的坐标计算关节角度数据。使用式（3）计算出待求各关节角度。

\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{c}\mathrm{o}\mathrm{s}A=\mathrm{c}\mathrm{o}{\mathrm{s}}^{-\mathrm{1}}(\frac{b^{\mathrm{2}}+c^{\mathrm{2}}-a^{\mathrm{2}}}{\mathrm{2}bc})（3）

式中：A为需要计算的任意三角形任意角；a为任意三角形角的对边；b和c为任意三角形角的两临边，b和c即为两关节点间的线段距离，如式（4）所示。

d_{x,y}=\sqrt[]{(x_i-x_j{)}^{\mathrm{2}}+(y_i-y_j{)}^{\mathrm{2}}}（4）

式中：d_x，y 为两关节点间的线段距离；x_i 、x_j 分别为两点的x坐标；y_i 、y_j 分别为两点的y坐标。健身运动的重点关注关节为肩、肘、胯、膝盖等运动范围较大的位置如“箭步蹲”动作重点关注角度如图6a所示。

2）对称性规则

在训练中，肢体左右不均衡可能导致肌肉和关节的过度负荷，增加运动损伤的风险。可通过精确计算左右肩、左右肘和左右髋关节的夹角差值来判断运动是否呈现出对称性。

通过计算每一组左右肢体关节夹角差值，当左右夹角的差值超过设定的阈值时，系统将识别出肢体的不平衡状态，如式（5）所示。

\mathrm{\Delta }\theta =|{\theta }_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}-{\theta }_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}|（5）

式中：{\theta }_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}}和{\theta }_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}}分别为左侧和右侧关节点夹角。设定的阈值作为对称性判断的标准，可以根据不同类型的运动或个体情况进行动态调整，以确保评估结果的适用性。图6b为“合手半蹲”“双手过头跳”“开合跳”“原地小跑”等动作均需关注对称性的情况。

3）重心参数规则

在健身运动评估中，重心可以有效评估运动者动作的稳定性。本文提出了一种基于人体髋关节与头部相对高度的重心偏移检测算法，将髋关节中心与头部距离地面的高度比作为重心参数，评估运动过程中的重心偏移情况，以此判断健身者在运动过程中的重心稳定性。本文通过式（6）—（8）分别计算用户的头部平均纵坐标、脚部平均纵坐标、髋部平均纵坐标分别为

y_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}=\left(y_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}\_\mathrm{e}\mathrm{y}\mathrm{e}}+y_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}\_\mathrm{e}\mathrm{y}\mathrm{e}}\right)/\mathrm{2}（6）

y_{\mathrm{f}\mathrm{e}\mathrm{e}\mathrm{t}\_\mathrm{a}\mathrm{v}\mathrm{e}}=\left(y_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}\_\mathrm{f}\mathrm{e}\mathrm{e}\mathrm{t}}+y_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}\_\mathrm{f}\mathrm{e}\mathrm{e}\mathrm{t}}\right)/\mathrm{2}（7）

y_{\mathrm{h}\mathrm{i}\mathrm{p}\_\mathrm{a}\mathrm{v}\mathrm{e}}=\left(y_{\mathrm{l}\mathrm{e}\mathrm{f}\mathrm{t}\_\mathrm{h}\mathrm{i}\mathrm{p}}+y_{\mathrm{r}\mathrm{i}\mathrm{g}\mathrm{h}\mathrm{t}\_\mathrm{h}\mathrm{i}\mathrm{p}}\right)/\mathrm{2}（8）

再通过式（9）、（10）计算头部与脚部的高度差H、髋关节中心与脚中心的高度差h分别为

H=y_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}}-y_{\mathrm{f}\mathrm{e}\mathrm{e}\mathrm{t}\_\mathrm{a}\mathrm{v}\mathrm{e}}（9）

h=y_{\mathrm{h}\mathrm{i}\mathrm{p}\_\mathrm{a}\mathrm{v}\mathrm{e}}-y_{\mathrm{f}\mathrm{e}\mathrm{e}\mathrm{t}\_\mathrm{a}\mathrm{v}\mathrm{e}}（10）

根据上述计算结果，通过式（11）得出健身者的重心参数\eta为

\eta =h/H（11）

统计用户的历史数据，计算出正常运动中的重心偏移值分布，找到其均值和标准差，然后设定一个合理的阈值。如果用户的重心偏移值超过标准偏差的2倍或3倍，可以认为是异常。

4.2 基于规则的周期内异常动作检测

1）周期检测

健身过程中某些动作需要对完整周期下的运动情况进行观测分析，因此本文提出了一种基于人体宽高比的周期划分方法。在每一帧中，人体的宽高比r（t）为

r\left(t\right)=w\left(t\right)/h\left(t\right)（12）

式中：w（t）为人体的宽度；h（t）为人体的高度。将连续视频中每一帧的人体宽高比绘制成随时间变化的曲线图。同时，采用滤波窗口大小N=5的均值滤波进行数据平滑处理，滤波后的宽高比r_filtered（t）为

r_{\mathrm{f}\mathrm{i}\mathrm{l}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{d}}(t)=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=t-N/\mathrm{2}}^{t+N/\mathrm{2}}}r(i)（13）

然后，通过检测宽高比曲线的极值来划分动作周期，其导数为

r^{\text{'}}(t)=\frac{r_{\mathrm{f}\mathrm{i}\mathrm{l}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{d}}(t+\mathrm{1})-r_{\mathrm{f}\mathrm{i}\mathrm{l}\mathrm{t}\mathrm{e}\mathrm{r}\mathrm{e}\mathrm{d}}(t-\mathrm{1})}{\mathrm{2}}（14）

当r^{\text{'}}(t)由正变负时，表示波峰出现；当r^{\text{'}}(t)由负变正时，表示波谷出现。根据极值点即波峰和波谷的位置划分动作周期，图7为两次连续开合跳运动人体宽高比曲线图。

2）基于关节轨迹的周期内异常检测

在健身运动中，某些关键关节的运动轨迹需要特别关注和规范化。为了实现对关节点轨迹的精确量化与评估，本文提出利用高斯混合模型（Gaussian mixture model，GMM）分解关节点的轨迹分布，进而实现对轨迹的有效观测，具体步骤如下：

b.轨迹建模：对每一帧的重点关注关节点位置数据应用GMM进行聚类，以描述关节在标准运动下的轨迹分布。

c.异常检测：将用户的运动数据输入到标准动作训练的GMM中，计算用户轨迹的对数似然值。通过设定合理的阈值比较用户数据与标准模型的匹配度，如果对数似然值低于阈值，表示用户的运动轨迹偏离标准，系统会提示动作异常，阈值如式（15）所示。

ϵ={\mu }_{\mathrm{标准}}-\alpha {\sigma }_{\mathrm{标准}}（15）

式中：{\mu }_{\mathrm{标准}}为标准轨迹对数似然值的均值；{\sigma }_{\mathrm{标准}}为标准轨迹对数似然值的标准差；\alpha为控制偏差范围的常数，对数似然值如式（16）所示。

\mathrm{l}\mathrm{n}p(x_{\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{r}}|{\theta }_{u,NN})={\displaystyle \sum _{t=\mathrm{1}}^T}\left[{\displaystyle \sum _{k=\mathrm{1}}^K}{\pi }_{k}N(x_t|{\mu }_k,{\mathbf{\Sigma }}_k)\right]（16）

式中：x_t 为用户在时间点t的关节位置；N(x_t|{\mu }_k,{\mathrm{\Sigma }}_k)为第k个高斯分布的概率密度函数；{\pi }_k为高斯分布的混合系数；{\mu }_k和{\mathbf{\Sigma }}_k分别为均值和协方差矩阵。

图8a为“俯卧摆臂”动作肘关节轨迹GMM分布图。图8a中散点表示左手肘关节在一次完整运动中的分布轨迹，等高线为高斯混合模型拟合的概率密度曲线，表示关节出现在各位置的概率分布。图8b为“俯卧摆臂”运动肘关节轨迹检测规则图。

5 离线动作评估

学员健身结束后，需要对本次训练进行全面而精准的评估。为了有效地评估动作质量，本文提出了一种基于改进的ST-GCN的健身动作质量评估方法。该方法通过分析动作序列的时空一致性和时序梯度特征，实现了对动作稳定性和流畅度的量化评估，流程图如图9所示。

时空一致性反映了动作执行过程中的稳定性特征。在标准动作中，身体各关节点的相对位置关系应保持适度的稳定性，同时在时间维度上表现出连贯的变化模式。因此，本文提出了基于特征方差分析的时空一致性评估方法。具体而言，首先通过卷积层提取特征图的时空特征，再根据式（17）计算特征在时间维度上的标准差。

{\sigma }_t=\sqrt[]{\frac{\mathrm{1}}{T}{\displaystyle \sum _{\tau =-\mathrm{1}}^T}(f_{b,c,t}-{\overline{f}}_{b,c})}（17）

式中：f_b，c，t 为第b个样本的第c通道在时间t上的特征；{\overline{f}}_{b,c}为该通道特征在时间维度上的均值。通过计算标准差的均值，得到特征在时间维度上的变化程度。时空一致性评分如式（18）所示。

S_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{y}}=\mathrm{1}-\frac{\mathrm{1}}{C}{\displaystyle \sum _{i=\mathrm{1}}^C}{\sigma }_{t_i}（18）

式中：C为特征通道数。式（18）将特征的变异程度映射到［0，1］区间，值越大表示一致性越高，动作的稳定性越强。

时序梯度分析旨在捕捉动作序列中的速度变化特征，评估动作的平滑性和连续性。本文基于时序特征的梯度，通过分析相邻时间之间的特征变化来量化动作的流畅度。相邻时间帧的梯度计算如式（19）所示。

\mathrm{\Delta }{g}_t=|g_{b,c,t+\mathrm{1}}-g_{b,c,t}|（19）

式中：\mathrm{\Delta }{g}_t为相邻时间帧之间的特征梯度；g为提取的时序特征。通过计算梯度的均值，得到总体的时序梯度变化。最终的时序梯度评分如式（20）所示。

S_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{e}\mathrm{n}\mathrm{t}}=\mathrm{1}-\frac{\mathrm{1}}{T-\mathrm{1}}{\displaystyle \sum _{t=\mathrm{1}}^{T-\mathrm{1}}}\Delta g_{\mathrm{t}}（20）

式（20）将梯度序列的平均强度映射到［0，1］区间，值越大表示动作越流畅。最后引入加权几何平均法，将时空一致性评分和时序梯度评分结合在一起作为离线总结评分。离线总结评分如式（21）所示。

S_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=(S_{\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{s}\mathrm{i}\mathrm{s}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{c}\mathrm{y}}^{\alpha }\cdot S_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{d}\mathrm{i}\mathrm{e}\mathrm{n}\mathrm{t}}^{\beta }{)}^{\frac{\mathrm{1}}{\alpha +\beta }}（21）

式中：α和β分别为两个评分的权重系数，表示时空一致性和时序梯度在整体评估中的重要性；S_total为最终的综合评分。为了适应不同动作的需求，α和β可以根据动作特性进行调整。如果时空一致性在某些动作中更为重要（如重复性较强的动作），设置α>β；而如果时序平滑性更重要（如节奏较快的动作），设置α<β。

6 实验及系统实现

6.1 设备平台设置

本实验的硬件设备为GeForce RTX 3060（GPU）12G 显存和 Windows11 系统，使用 Python3.8 编程语言和 Pytorch1.12.0 框架。本研究在该平台上做健身动作识别和健身动作评估相关测试，验证系统的性能。

6.2 数据集介绍

本文的动作识别是在FLAG3D数据集上进行训练与测试。FLAG3D数据集是一个大规模 3D健身活动数据集，包含60类健身动作的RGB图像和3D坐标两种数据，其中3D坐标由MoCap系统采集，包含每个人所有帧的25个关节的3D坐标。图10为FLAG3D数据集。

6.3 动作识别算法测试

在FLAG3D数据集下进行动作识别的准确率和FLOPs与其他算法实验结果对比，结果如表1所示。

6.4 软件功能实现

分别选择15类动作进行测试，根据先验知识对标准动作和异常动作进行定义，评估结果符合预期，各类指标测试动作如表2所示。

动作评估的判定如下：

1）　帧内异常检测

a.角度规则：不同动作需关注不同角度，如“箭步蹲”需关注右腿膝盖的夹角。如图11a所示标准动作和测出的异常动作帧。

b.对称性规则：针对某些对肢体对称性要求高的运动，如“深蹲”等设置阈值为不超过10°；而对于需要不同侧肢体承担不同功能的运动，设置阈值为不超过180°。图11b为“开合跳”标准动作和检测出的异常动作帧。

c.重心规则：某些需要平衡的运动（如“深蹲”“单腿站立”等）中，重心偏移不能超过一个较小的值；而在一些动态运动中，如“开合跳”，允许有一定的偏移。图11c为利用重心规则检测出的异常动作帧。

2）周期内异常检测

通过将标准数据分为训练集和验证集，在训练集上训练 GMM 模型，使用验证集来调整阈值。图11d为利用轨迹异常检测得到的异常动作轨迹帧。

3）离线评分

根据健身运动的特点，可同时计算重点关注关节的加速度并绘制折线图，即可判断动作的时空一致性和时序梯度。综合动作评分S_total越高、重点关节加速度越稳定，表示关节点在时间上的位置变化越稳定、流畅。图12为“单腿蹲”动作离线检测的界面图。

7 结论

本文针对健身运动设计了一个可在线、离线评估动作的监测系统。该系统使用Media-Pipe算法获取人体关节点，然后使用改进的ST-GCN网络识别动作类别，最后启用不同的动作评估算法实现帧内、周期内健身动作的异常检测与离线评分。经实际测试，该系统不仅能够准确识别用户的动作类别，还可以及时纠正异常动作并给出评分，说明该系统在健身领域具有应用潜力。

参考文献

[1] Toshev A， Szegedy C.DeepPose：human pose estimation via deep neural networks［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition.Columbus：IEEE，2014：1653-1660.

[2] Newell A， Yang K Y， Deng J.Stacked hourglass networks for human pose estimation［C］//Computer Vision-ECCV 2016.Cham：Springer International Publishing，2016：483-499.

[3] Fang H S， Xie S Q， Tai Y W，et al.RMPE：regional multi-person pose estimation［C］//2017 IEEE International Conference on Computer Vision. Venice：IEEE，2017：2353-2362.

[4] Cao Z， Simon T， Wei S H，et al.Realtime multi-person 2D pose estimation using part affinity fields［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition.Honolulu：IEEE，2017：1302-1310.

[5] Sun K， Xiao B， Liu D，et al.Deep high-resolution representation learning for human pose estimation［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Long Beach：IEEE，2019：5686-5696.

[6] Chen Y L， Wang Z C， Peng Y X，et al.Cascaded pyramid network for multi-person pose estimation［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Salt Lake City：IEEE，2018：7103-7112.

[7] Lugaresi C， Tang J Q， Nash H，et al. MediaPipe ：a framework for building perception pipelines ［EB/OL］.（2019-06-14）［2024-03-11］.

[8] Xia R J， Li Y S， Luo W H.LAGA-net：local-and-global attention network for skeleton based action recognition［J］.IEEE Transactions on Multimedia，2021，24：2648-2661.

[9] Gao X S， Li K Q， Zhang Y，et al.3D skeleton-based video action recognition by graph convolution network［C］//2019 IEEE International Conference on Smart Internet of Things.Tianjin：IEEE，2019：500-501.

[10] Shi L， Zhang Y F， Cheng J，et al.Two-stream adaptive graph convolutional networks for skeleton-based action recognition［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Re-cognition.Long Beach：IEEE，2019：12018-12027.

[11] Yan S J， Xiong Y J， Lin D H.Spatial temporal graph convolutional networks for skeleton-based action recognition［J］.Proceedings of the AAAI Conference on Artificial Intelligence，2018，32（1）：7444-7452.

[12] Song L N， Guo X， Fan Y Q.Action recognition in video using human keypoint detection［C］//2020 15th International Conference on Computer Science & Education.Delft，Netherlands：IEEE，2020：465-470.

[13] 于景华，王庆，陈洪.基于动作评价算法的体感舞蹈交互系统［J］.计算机与现代化，2018（6）：64-71，78.

[14] 韩丽，王露晨，张美超，等.基于特征向量匹配的舞蹈实时姿态分析方法［J］.计算机应用研究，2016，33（12）：3892-3896.

[15] Alexiadis D S， Daras P.Quaternionic signal processing techniques for automatic evaluation of dance performances from MoCap data［J］.IEEE Transactions on Multimedia，2014，16（5）：1391-1406.

基金资助

国家自然科学基金(62003224)