联合文本和视频信息的学生身体素质自动测评模型构建

Construction of Physical Fitness Automatic Assessment Model Combining Text and Video Information for Students

摘要

身体素质作为综合素养的重要组成部分，对其精准测评有助于推动教育评价改革。传统的身体素质测评方法大多依赖于人工经验，存在测评结果滞后、难以大规模应用等问题。针对上述问题，提出一种联合文本和视频信息的学生身体素质自动测评模型。首先该模型通过文献分析法、专家打分法确立身体素质内涵与指标维度；其次为解决开放域环境下测评环境复杂和主体混淆等问题，提出一种双向特征增强的运动主体检测方法，通过文本特征消除视频信息特征歧义，精准推理测评主体区域序列；最后基于动作识别网络过滤测评主体区域无效帧序列获得有效帧序列，分析其骨骼点变化情况，计算身体素质可计算行为，获得身体素质测评分数。在自构建的身体素质自动测评数据集上测试表明，联合文本和视频信息的学生身体素质自动测评模型处理1 min视频为2.6 s，平均准确率为91.22%；将该测评模型应用于280万学生的身体素质测评，表现出较好的准确性和鲁棒性。

Abstract

As an important part of comprehensive student quality, the accurate assessment of physical fitness is helpful to promote the reform of educational evaluation. The traditional methods of physical fitness evaluation mostly rely on manual experience, which often leads to problems such as lagging results and difficult large-scale application. To solve the above problems, this paper proposes an automatic physical fitness assessment model for students that integrates text and video information. Firstly, the model establishes the connotation and index dimension of physical fitness through literature analysis and expert scoring method. Secondly, in order to solve the problems of complex assessment environment and subject confusion in the open environment, the plug-and-play bi-directional feature enhancement approach for moving object detection is proposed, text features are introduced to eliminate the ambiguity of visual features, and the region sequence of assessment subjects is accurately deduced. Finally, based on the action recognition network, the valid frame sequence was obtained by filtering the invalid frame sequence of the subject area, and the computable metrics of physical fitness was calculated by analyzing the changes of skeletal keypoints, and the physical fitness score was obtained. Tests on the self-constructed data set of physical fitness automatic assessment show that the combined text and video automatic physical fitness assessment model processes 1 minute video in 2.6 s, and the average accuracy is 91.22%. The model has been applied to the physical fitness assessment of 2.8 million students with good accuracy and robustness.

Graphical abstract

关键词

中小学生综合素质 / 身体素质自动测评 / 双向特征增强 / 深度学习 / 多模态信息

Key words

comprehensive quality of primary and secondary school students / physical fitness automatic assessment / bidirectional feature enhancement / deep learning / multimodal information

0　 引 言

综合素质是个体在特定情境中，通过利用和调动心理社会资源，以满足复杂需要、解决任务的能力，蕴含着个体的价值追求、思维方式、审美取向以及行为表现等^[1]。身体素质作为综合素质重要组成部分，对其有效测评有利于明晰学生个体身心健康发展状况，为培养综合型高素质人才夯实基础，同时也为构建新型综合素质测评体系提供突破口，深化中小学生综合素质评价改革。

现有的学生综合素质测评大多依赖人工经验和简单统计，例如：靳培培等^[2]指出部分学校依据教师人工经验分析学生综合素质水平，形成学生综合素质评价报告；王珽珽^[3]和陈婷等^[4]通过人工统计多项项目成绩，综合评估学生身体素质水平。上述方法虽然在小范围内能有效测量学生综合素质水平，但是难以适应于面向全国的大规模测评，存在测评结果统计分析滞后等问题。大数据、人工智能和智能化采集等技术的迅猛发展，为利用深度学习分析学生行为数据提供技术支持。例如：在文本类数据分析中，He等^[5]提出层次多任务特征评分器，通过对作文组织、主题、逻辑和语言四个特征建模评价学生写作质量；在语音类数据分析中，Bailly等^[6]使用语音识别等技术提取语音的语言特征和韵律特征，并对其进行分数预测，实现口语的自动评估；在视频类数据分析中，Bai等^[7]通过时间对比将视频中的动作分解为子动作进行建模，然后将子动作特征融合对比，预测跳水得分。上述自动测评方法采用单一模态数据对特定领域进行分析，取得了一定的效果。但是面向全国的学生综合评价与发展平台采集的开放域身体素质测评视频数据存在测评环境复杂、非测评主体侵入等诸多挑战，仅使用单模态视频数据难以取得令人满意的效果。而相较于其他模态，文本包含词汇、语法和上下文等丰富信息，这些信息丰富了视频内容的理解层次，有助于提升模型复杂场景下视频理解能力，增强模型在开放域环境下的鲁棒性和泛化能力。

鉴于此，本研究以国家重点研发项目“大规模学生跨学段成长跟踪研究”（项目编号：2021YFC3340800）为依托，设计表现性测评活动，提出一种联合文本和视频信息的学生身体素质自动测评模型，首先通过文献分析法和专家打分法创新性提出一种可适用于智能测评的身体素质内涵与指标维度，并首次构建身体素质测评数据集；其次提出一种基于双向特征增强的运动主体检测方法，通过引入文本特征消除视频信息特征歧义，获得更加准确的测评主体区域序列；最后基于动作识别网络过滤测评主体区域无效帧序列获得有效帧序列，采用2D姿态提取器提取有效帧骨骼点序列，根据重心和手臂姿态变化情况计算身体素质可计算行为，获得身体素质测评分数。该方法在教育领域的推广，不仅推进了计算教育学的可持续发展，也为全国中小学生综合素质自动测评提供思路借鉴。

1　 本文模型

1.1　身体素质测评指标体系

我国学术界传统上将身体素质定义为人体活动的一种能力，它是指人体在运动、劳动与生活中所表现出来的力量、速度、耐力、灵敏及柔韧等人体机能能力^[8]。随着对身体素质概念认识的深化，身体素质逐渐分为一般身体素质与专项身体素质^[9]。一般身体素质是指人体活动时所表现出的各种机能能力，专项运动素质是指人体为适应某项体育运动需要所储备的专项身体素质。例如：朱晨玉^[10]认为在长跑运动中身体素质主要包括耐力和速度素质。张榉斌^[11]认为在排球运动中身体素质主要包括速度、弹跳力、爆发力、耐力以及灵活性等。现有的研究主要围绕特定运动制定身体素质指标体系，但难以适用于面向全国中小学生大规模身体素质测评。在众多运动中，跳绳运动在我国中小学生活动中是一项广泛开展且简单易行的日常体育运动。秦国强^[12]使用《全国跳绳大众等级锻炼标准》中的动作对学生进行周期训练，发现跳绳运动能够改善学生耐力、灵敏性、平衡能力（以下简称平衡力）等基本身体素质。廉志营^[13]的研究表明跳绳运动能够有效改善学生协调能力（以下简称协调力）。杨海鹏等^[14]认为跳绳训练可以完善学生的心肺功能，与此同时促进学生协调力和耐力。因此，跳绳运动与身体素质密切相关，且主要表现了耐力、平衡力、协调力，通过分析跳绳数据，能够客观评估个体的身体素质水平，帮助个体了解自身身体状况，制定合理的训练目标，从而提高身体素质水平。

为了构建身体素质测评指标体系，研究围绕跳绳活动，根据上述所梳理的身体素质内涵和外延，选取耐力、平衡力、协调力作为影响身体素质的主要因素，并且以此为基础根据文献分析和跳绳活动的本身特质梳理了相应指标的可计算行为。为验证指标合理性，本文参考相关评价指标体系构建^[15]，采用专家打分法邀请25位教育评价研究者、教育技术领域以及一线教学实践领域专家填写指标合理性问卷，并采用Likert 5级量表对15个可观测行为进行指标筛选。研究共收集25份有效问卷，问卷回收率100%，经统计分析各指标变异系数均小于0.25，表明专家的评价意见较为一致，协调程度较高；隶属度均大于0.6，表示各指标均有大于60%的专家认为可保留该指标；重要性平均值（又称加权平均值）均大于3，表示专家对各项指标都有较高的认可程度。最终学生身体素质测评指标体系如表1所示，其中耐力对应测试项目为双脚跳绳1 min，相应可计算行为包括双脚跳绳总个数、连续双脚跳绳总个数、双脚跳绳中断次数、双脚跳绳前后个数差、双脚跳绳速率变化趋势；平衡力对应测试项目为单脚跳绳30 s，相应可计算行为包括单脚跳绳总个数、连续单脚跳绳个数、单脚跳绳姿势、单脚跳绳速度、单脚跳绳幅度和高度；协调力对应测试项目为交替跳绳30 s，相应可计算行为包括交替跳绳总个数、交替跳绳姿势、交替跳绳中断后调整时间、交替跳绳高度、交替跳绳频率。

1.2　基于双向特征增强的学生身体素质检测网络

开放域环境下的身体素质测评面临着一系列挑战，包括测评环境的复杂性和不可预测性，及因多个主体入境导致的测评主体混淆等。为解决上述挑战，研究提出了基于双向特征增强的身体素质检测网络，如图1所示。该网络首先通过人为设定描述文本模板，为测评主体运动过程提供文本描述信息；其次利用视频信息特征不断池化更新文本特征，提高网络全局理解能力，降低背景信息干扰，解决测评环境复杂问题；最后引入文本特征不断增强更新视频信息特征表示，准确定位测评主体，解决多主体入镜导致测评主体混淆问题。

1.2.1　基于双向特征增强的身体素质测评主体检测

研究提出基于双向特征增强的身体素质测评主体检测方法，包括身体素质特征提取、身体素质双向特征增强、身体素质测评主体预测三个部分，以准确推理身体素质测评主体区域序列，为后续身体素质分数的精准评定奠定基础。

身体素质特征提取部分包括文本特征提取和视频信息特征提取两部分。文本特征提取用于理解与测评主体定位相关的信息，通过文本编码器GloVe^[28]输入身体素质描述文本“一个正在跳绳的人”，提取身体素质描述文本的单词特征\mathit{C}=\{c_{\mathrm{1}},c_{\mathrm{2}},\cdots ,c_n\}，其中c_i\in {\mathbb{R}}^{d_s}表示第i个单词特征，d_s表示单词特征维度，n表示单词的数量。视频信息特征提取用于解析测评主体在视频中的位置和身体动作等信息，通过视频信息编码器ResNet-50^[29]输入身体素质视频帧序列，提取身体素质视频信息特征\mathit{V}=\{v_{\mathrm{1}},v_{\mathrm{2}},\cdots ,v_m\}，其中v_i\in {\mathbb{R}}^{d_v}表示图像内第i个区域视频信息特征，d_v表示视频信息特征维度，m表示图像内图像区域的数量。

身体素质双向特征增强部分包括联合视频信息交互的动态文本特征池化和联合文本交互的动态视频信息特征增强两个模块。其中，动态文本特征池化模块通过循环池化不断更新全局视频信息特征和描述文本特征的融合表示，具体如图1（a）所示。模块首先提取身体素质全局视频信息特征，使用卷积层将身体素质特征提取部分获得的身体素质视频信息特征\mathit{V}=\{v_{\mathrm{1}},v_{\mathrm{2}},\cdots ,v_m\}中每个区域的视频信息特征v_i的特征维度d_v映射为身体素质描述文本的单词特征维度d_s，对m个图像区域特征进行平均池化得到整个图像的身体素质全局视频信息特征\overline{\mathit{V}}\in {\mathbb{R}}^{d_s}，其计算公式如下：

\overline{\mathit{V}}=\frac{\mathrm{1}}{m}\sum _{p\in m}conv(v_p)（1）

其中，\mathrm{c}\mathrm{o}\mathrm{n}\mathrm{v}表示卷积操作，v_p表示\mathit{V}中第p个特征。接着提取描述文本的句子特征，将身体素质全局视频信息特征\overline{\mathit{V}}和n个描述文本的单词特征\mathit{C}=\{c_{\mathrm{1}},c_{\mathrm{2}},\cdots ,c_n\}相乘得到描述文本的单词特征交互注意力权重\mathit{W}\in {\mathbb{R}}^n，其计算公式如下：

\mathit{W}=\overline{\mathit{V}}·\mathit{C}（2）

对描述文本的单词特征交互注意力权重矩阵\mathit{W}\in {\mathbb{R}}^n进行归一化处理得到描述文本的单词特征交互注意力权重系数\mathit{\theta }=\{{\theta }_{\mathrm{1}},{\theta }_{\mathrm{2}},\cdots ,{\theta }_n\}，计算如下：

{\theta }_i=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{W}}_i)}{{\displaystyle \sum _{i=n}^n}\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{W}}_i)}（3）

其中，{\mathit{W}}_i表示\mathit{W}中第i个特征。\mathit{\theta }=\{{\theta }_{\mathrm{1}},{\theta }_{\mathrm{2}},\cdots ,{\theta }_n\}与\mathit{C}=\{c_{\mathrm{1}},c_{\mathrm{2}},\cdots ,c_n\}相乘得到池化后的描述文本的句子特征\mathit{S}\in {\mathbb{R}}^{d_s}，计算如下：

\mathit{S}={\displaystyle \sum _{i\in n}^n}{\theta }_i{\mathit{c}}_i（4）

最后利用循环池化更新，将\mathit{S}\in {\mathbb{R}}^{d_s}和身体素质视频信息特征\mathit{V}=\{v_{\mathrm{1}},v_{\mathrm{2}},\cdots ,v_m\}相乘得到身体素质视频信息特征权重矩阵\mathit{M}\in {\mathbb{R}}^{d_m}，并且进行归一化处理得到身体素质视频信息特征权重系数表示\mathit{\gamma }=\{{\gamma }_{\mathrm{1}},{\gamma }_{\mathrm{2}},\cdots ,{\gamma }_m\}，计算如下：

\mathit{M}=\mathit{V}·\mathit{S}（5）

{\gamma }_i=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{M}}_i)}{{\displaystyle \sum _{i=n}^n}\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{M}}_i)}（6）

其中，{\mathit{M}}_i表示\mathit{M}中第i个特征。\mathit{\gamma }=\{{\gamma }_{\mathrm{1}},{\gamma }_{\mathrm{2}},\cdots ,{\gamma }_m\}与\mathit{V}=\{v_{\mathrm{1}},v_{\mathrm{2}},\cdots ,v_m\}相乘得到更新后的身体素质全局视频信息特征{\overline{\mathit{V}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}，表示如下：

{\overline{\mathit{V}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}={\displaystyle \sum _{i\in n}^m}{\gamma }_i{v}_i（7）

更新后的身体素质全局视频信息特征{\overline{\mathit{V}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}\in {\mathbb{R}}^{d_s}再次输入描述文本句子特征提取部分，实现描述文本的句子特征动态更新。

动态视频信息特征增强模块，通过循环更新方法增强身体素质视频信息特征表示，如图1（b）所示。首先将描述文本的句子特征\mathit{S}\in {\mathbb{R}}^{d_s}拓维到身体素质的视频信息特征相同维度\mathit{V}\in {\mathbb{R}}^{m\cdot d_s}；其次将两者逐像素进行点乘得到初步增强的身体素质视频信息特征\mathit{E}=\{e_{\mathrm{1}},e_{\mathrm{2}},\cdots ,e_m\}，表示如下：

\mathit{E}=\mathit{V}\odot \mathit{S}（8）

其中，\odot表示点乘操作。然后将\mathit{E}与\mathit{S}相乘得到身体素质视频信息特征权重矩阵{\mathit{M}}_E，并且同样进行归一化处理得到初步增强的身体素质视频信息特征权重系数表示\mathit{\alpha }=\{{\alpha }_{\mathrm{1}},{\alpha }_{\mathrm{2}},\cdots ,{\alpha }_m\}，计算如下：

{\mathit{M}}_E=\mathit{E}·\mathit{S}（9）

{\alpha }_i=\frac{\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{M}}_E^i)}{{\displaystyle \sum _{i\in n}^n}\mathrm{e}\mathrm{x}\mathrm{p}({\mathit{M}}_E^i)}（10）

其中，{\mathit{M}}_E^i表示{\mathit{M}}_E中第i个特征。\mathit{\alpha }=\{{\alpha }_{\mathrm{1}},{\alpha }_{\mathrm{2}},\cdots ,{\alpha }_m\}与\mathit{E}=\{e_{\mathrm{1}},e_{\mathrm{2}},\cdots ,e_m\}相乘得到更新后的身体素质全局视频信息特征\overline{\mathit{E}}，表示如下：

\overline{\mathit{E}}={\displaystyle \sum _{i\in n}^m}{\alpha }_i{e}_i（11）

为了将身体素质全局视频信息特征\overline{\mathit{E}}\in {\mathbb{R}}^{d_m}细化到的身体素质视频信息特征的每个图像区域，本文再次将其与\mathit{\alpha }=\{{\alpha }_{\mathrm{1}},{\alpha }_{\mathrm{2}},\cdots ,{\alpha }_m\}相乘得到增强后的身体素质视频信息特征{\mathit{E}}^{\text{'}}=\{e_{\mathrm{1}}^{\text{'}},e_{\mathrm{2}}^{\text{'}},\cdots ,e_m^{\text{'}}\}，公式如下：

{\mathit{E}}^{\text{'}}=\overline{\mathit{E}}·\mathit{\alpha }（12）

最后将{\mathit{E}}^{\text{'}}=\{e_{\mathrm{1}}^{\text{'}},e_{\mathrm{2}}^{\text{'}},\cdots ,e_m^{\text{'}}\}再次作为本模块的输入，实现对身体素质视频信息特征循环动态更新。

为了避免测评主体与其他主体相混淆，实现测评主体的精确识别和定位，身体素质测评主体预测部分首先将\mathit{S}\in {\mathbb{R}}^{d_s}拓维至与{\mathit{E}}^{\text{'}}\in {\mathbb{R}}^{m\cdot d_s}相同维度，并将其按照通道数进行拼接，得到多模态特征图，{\mathit{F}}_m\in {\mathbb{R}}^{m\cdot \mathrm{2}{d}_s}计算如下：

{\mathit{F}}_m=[{\mathit{E}}^{\text{'}};\mathit{S}]（13）

其中，“;”表示拼接操作。然后将多模态特征图划分为s\cdot s个网格，采用YOLOv3检测头在多模态特征图上进行检测，输出维度为s\cdot s\cdot N\cdot A的矩阵；其中，N表示每个网格所预测身体素质测评主体锚框数量，A=\mathrm{5}表示每个身体素质测评主体锚框所预测的5个值(t_x,t_y,t_w,t_h,t_c)，前4个值代表身体素质测评主体锚框坐标偏移量预测，t_c表示身体素质测评主体锚框置信度分数预测。最后输出置信度最大的身体素质测评主体锚框作为描述文本所指代的身体素质测评主体区域。

1.2.2　基于姿态提取的身体素质动作识别

为了获取跳绳过程中有效序列帧，身体素质动作识别部分首先将身体素质测评主体检测部分所得到身体素质测评主体区域输入2D姿态提取器中，得到身体素质测评主体的K个关节点坐标；其次通过高斯映射函数将K个关节点坐标转换为热图特征\mathit{J}，其公式计算如下：

{\mathit{J}}_{kij}={\mathrm{e}}^{-\frac{(i-x_k{)}^{\mathrm{2}}+(j-y_k{)}^{\mathrm{2}}}{\mathrm{2}\cdot {\sigma }^{\mathrm{2}}}}\cdot c_k（14）

其中，\sigma表示控制高斯核的方差，c_k表示第k个关节点置信度，y_k和x_k分别表示第k个关节点横坐标和纵坐标，i和j分别表示特征图横坐标和纵坐标位置。然后将每帧得到的身体素质测评主体热图特征\mathit{J}根据时间序列进行堆叠得到身体素质测评主体的3D热图特征；最后将身体素质测评主体3D热图特征输入3D-CNN网络预测身体素质动作类别，具体包括“跳起”“跳下”“其他”三个动作类别。

1.2.3　联合重心和手部姿态变化的身体素质分数评定

研究采用联合重心和手部姿态变化的方法获取身体素质测评指标体系中各项可计算行为指标，从多维度视角对学生身体素质等级进行评定。首先过滤身体素质动作识别部分的动作类别为“其他”的视频帧序列，得到初步的身体素质有效视频帧序列；其次将初步的身体素质有效视频帧序列再次输入2D姿态提取器MediaPipe中得到33个关节点位置及置信度，并且对其中的肩部关键点、肘部关节点、胯部关节点、腿部关节点、手腕关节点设置相应阈值，若小于设定阈值则当前帧仍然被判为无效帧；然后基于有效帧关节点分析重心和手部姿态位置变化，采用峰值查找算法计算跳绳总个数及中断位置，并且基于此结果计算各类二级指标观察点的数值，得到耐力、平衡力、协调力分数；最后将三类分数进行汇总（采用四舍五入的方式，对最终得分进行取整），采用基于规则的方法分别映射至不合格（60~73）、合格（74~87）、良好（88~100）。

2　 实验结果及其分析

2.1　实验设置

2.1.1　数据集构建

由于目前没有身体素质测评数据集，本文首次构建了身体素质测评数据集。首先以1~6年级学生为研究对象，签署数据保密协议，从学生综合评价与发展平台随机抽取200名学生日常生活中单脚跳绳、双脚跳绳、交替跳绳视频数据作为原始数据；其次对采集数据进行脱敏和伦理审查，以确保数据符合规范；最后根据事先制定好的标注规范，邀请数据标注专家标注每个视频随机帧的身体素质测评主体区域-文本信息和固定帧的动作类别信息。与此同时，邀请行业内体育专家对每个视频的耐力、平衡力、协调力及身体素质等级进行评定，包括良好、合格、不合格；研究总计标注600个视频，具体标注内容包括10 000条文本-身体素质测评主体区域对，12 000个身体素质视频片段动作类别，200个耐力等级、200个平衡力等级、200个协调力等级、600个身体素质等级，所有标注数据按照6∶2∶2比例随机划分至训练集、验证集和测试集，具体分布如表2所示。

2.1.2　评价指标

研究使用准确率（Accuracy，Acc）、精确率（Precision，Pre）、召回率（Recall，Rec）、F1值作为身体素质自动测评的评价指标，具体公式表示如下：

\mathrm{A}\mathrm{c}\mathrm{c}=\frac{\mathrm{T}\mathrm{P}+\mathrm{T}\mathrm{N}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}+\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{N}}\times \mathrm{100}\mathrm{\%}（15）

Pre=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{P}}\times \mathrm{100}\mathrm{\%}（16）

Rec =\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}\times \mathrm{100}\mathrm{\%}（17）

F\mathrm{1}=\frac{\mathrm{2}\times \mathrm{P}\mathrm{r}\mathrm{e}\times \mathrm{R}\mathrm{e}\mathrm{c}}{\mathrm{P}\mathrm{r}\mathrm{e}+\mathrm{R}\mathrm{e}\mathrm{c}}\times \mathrm{100}\mathrm{\%}（18）

其中，TP表示将正样本预测为正样本的数量，TN表示将负样本预测为负样本的数量，FP表示将负样本预测为正样本的数量，FN表示将正样本预测为负样本的数量。

2.1.3　参数设置

在身体素质特征提取部分，研究固定视频信息编码器ResNet-50参数，并且不在任何检测数据集上进行预训练，以此确保实验有效性。在训练方式上，研究使用5台A100的GPU上进行训练，每隔10个Epoch进行测试，该模型Batch为16，MaxEpoch为20。在实验参数设置部分，优化器采用Adam优化器，超参数lambda为0.050。在身体素质自动测评模型部署部分，研究利用20台64核i9-12900k的服务器采用UC推出Ray分布式并行计算框架进行并行计算。

2.2　实验结果及分析

为验证联合文本和视频信息的学生身体素质自动测评模型的有效性，首先对模型进行整体效果分析；其次进行消融实验，验证所提出的双向特征增强方案，即联合视频信息交互的动态文本池化模块和联合文本交互的动态视频信息增强模块的适用性；最后采用分布式集群部署框架验证其在大规模身体素质测评任务上的实际应用效果；另外，由于本文首次提出身体素质自动测评任务，无法与现有方法进行对比，因此研究未进行对比实验。

2.2.1　算法有效性分析

为验证联合文本和视频信息的身体素质自动测评模型有效性，研究在身体素质测评自构建数据集上进行实验，实验结果如表3所示。

由表3可知，从身体素质测评结果整体来看，联合文本和视频信息的身体素质自动测评模型能够准确有效预测学生身体素质水平，其结果表现为身体素质测评结果平均准确率为91.22%，平均精确率为90.52%，平均召回率为91.17%，F1值为90.84%。从身体素质测评结果各分项结果来看，身体素质良好准确率为90.78%，合格准确率为88.65%，不合格准确率为92.45%。在数据层面，学生上传的不合格视频中，近30%为一些黑屏、非跳绳数据，此类视频容易检测，提升不合格跳绳视频整体检测精度，因此不合格视频相较于良好和合格其准确率较高。在模型层面，不合格视频学生往往跳得极不规范，特征明显，跳绳总个数、连续跳绳个数、中断个数等二级指标均成负向，因此，合格视频准确率较高。与之类似的是良好视频，其特征明显，跳绳总个数、连续跳绳个数、中断个数等二级指标均很高，因此良好视频准确率较高。然而，合格视频特征不明显或者其跳绳总个数、跳绳姿势等子特征差异较大，例如：学生重心非常稳定但是跳绳总个数一般，因此模型有时容易出现误判，从而导致合格视频准确率较低。

由表4~6可知，耐力测评结果相对较高，其原因主要表现为双脚跳绳相比于单脚跳绳和左右脚交替跳绳更易保持身体姿态稳定，特征明显，双脚跳绳个数、中断个数等二级指标计算准确。然而，单脚跳绳和交替跳绳难度相较于双脚跳绳难度略大，学生有时难以维持正确的身体姿态，出现左右摇摆、倾倒等动作，导致跳绳个数计数、连续跳绳个数等指标出现误差，因此平衡力和协调力测评结果略低。

2.2.2　消融实验分析

为验证本文所提出的双向特征增强方案的有效性，研究在自构建的身体素质测评数据集上进行消融实验。研究首先去掉双向特征增强方案进行身体素质测评；其次在此基础上增加联合视频信息交互的动态文本池化模块进行实验；最后在第二步基础上添加联合文本交互的动态视频信息增强模块进行实验，实验结果如表7所示。

由表7可知，联合视频信息交互的动态文本池化模块能够有效提高身体素质自动测评准确率，其在自构建身体素质测评数据集的测试集提升1.13个百分点。在此基础上增添联合文本交互的动态视频信息增强模块能够进一步提升测评效果，其结果在自构建身体素质测评数据集的测试集上再次提升1.95个百分点。

2.2.3　个例及大规模应用分析

为深层次理解基于双向特征增强的身体素质检测网络，本文选取数据集中一名学生的身体素质视频，包括单脚跳绳视频、双脚跳绳视频、交替跳绳视频，分别对其进行耐力、协调力、平衡力素质分析，其中耐力特征分析过程如表8所示。

由表8可知，耐力特征分析过程主要包括身体素质测评主体检测、身体素质动作识别、身体素质分数评定三个部分。本文首先输入一段双脚跳绳视频，通过身体素质测评主体模块获得身体素质测评主体区域序列；其次将测评主体区域序列输入身体素质动作识别模块，剔除动作类别为“其他”身体素质测评主体区域序列；最后将筛选后的身体素质测评主体区域按照时间序列对骨骼点特征进行分析，获得可计算行为具体数值，采用基于规则的方法映射为相应分数区间，获得最终耐力分数。

为验证联合文本和视频信息的身体素质自动测评模型在大规模身体素质自动测评任务的实际应用效果，本文基于高性能分布式框架对模型进行集群部署，首先设置一台服务器作为主节点，用于分发学生身体素质测评任务以及主导整个程序的运行；其次设置其余N-\mathrm{1}台服务器作为子节点，用于完成主节点分配的具体学生身体素质计算任务；然后针对每台服务器，设置CPU核数的使用量，以此确保服务器对于CPU资源的消耗处于一个合理的区间；最后每处理完固定数目的任务，自动释放内存，完成程序的释放与重启。在时间应用效果方面，研究从学生综合评价与发展平台分布随机抽取2 000个一分钟耐力视频，分别采用单台机器串行、单台机器并行、10台机器并行进行对比，实验结果如表9所示。

由表9可知，单台机器采用并行处理后，处理1 min的视频仅需2.6 s，为串行处理方式时间的\mathrm{1}/\mathrm{13}。10台机器并行计算时间为单台机器串行计算时间的\mathrm{1}/\mathrm{131}，10台机器并行时间是单台机器并行时间\mathrm{1}/\mathrm{10}。因此，身体素质并行计算能够有效利用资源，增加GPU与CPU联合使用率，提高程序运行效率。

在测评应用效果方面，本文从学生综合评价与发展平台280万学生中选取一个区域的20万学生身体素质视频数据输入身体素质自动测评平台分别包括20万耐力视频、20万平衡力视频、20万协调力视频。由图2可知，20万学生身体素质测评结果基本符合正态分布，结果在一定程度上再次验证了联合语言和视频信息的身体素质自动测评模型的有效性。同时，为进一步探究教师和学生对研究提出模型的接受度等情况，本文对部分参评学生和老师进行问卷调查，发放问卷32份，其中超过93.75%的被调查者同意并认为测评结果准确反映了学生的身体素质，87.5%的被调查者赞同参与测评活动时的使用便利性符合需求。总体来看，被调查者对测评结果较为认同。

3　 结 语

针对传统身体素质测评存在测评结果滞后、难以大规模应用等问题，本文提出一种联合文本和视频信息的学生身体素质自动测评模型。在自构建的身体素质自动测评数据集上测试表明，研究所提出的联合文本和视频信息的身体素质自动测评模型的平均准确率为91.22%、平均处理时间为2.6 s，该模型能够实现大规模开放域环境下的身体素质准确、客观的评价。该研究不仅为大规模智能计算中小学生综合素养提供思路借鉴，也为完善立德树人体制机制，推动新时代中国特色教育评价改革与创新发展提供应用范例。虽然模型已经在大规模中小学生身体素质测评中取得较好的应用，但是仍然存在提升空间：

1) 增加模型的异常检测模块，提升身体素质测评的准确性和鲁棒性：鉴于学生综合评价与发展平台所采集的数据是由学生自主拍摄上传，数据中存在非跳绳视频、人物未全身出镜等不符合拍摄要求的各类异常视频，严重影响后续身体素质测评模型的准确性和鲁棒性。未来研究可以进一步提升算法性能或增加身体素质异常检测等模块，加强数据监控，提高开放域下身体素质测评的准确性和鲁棒性。

2) 使用更先进的并行计算方法提升运算速率：并行计算方法的运算效率对于大规模推广身体素质测评起到至关重要的作用，虽然研究在运算效率上已经取得了较大提高，但未来研究仍可继续探究采用更为先进的并行计算方法，提高模型运算效率，为学生提供更快速、更高效的测评服务。

参考文献

[1] 柴唤友，陈丽，郑勤华，等.学生综合评价研究新趋向：从综合素质、核心素养到综合素养［J］.中国电化教育，2022，422（3）：36-43. DOI： 10.3969/j.issn.1006-9860.2022.03.006 .

[2] CHAI H Y， CHEN L， ZHENG Q H， et al. A new trend of comprehensive student evaluation： From comprehensive quality and core competency to comprehensive literacy［J］. China Educational Technology， 2022，422（3）： 36-43. DOI： 10.3969/j.issn.1006-9860.2022.03.006（Ch ）.

[3] 靳培培， 周倩. 高校大规模招生应用综合素质评价的困境与对策［J］. 黑龙江高教研究， 2024， 42（2）： 32-39. DOI： 10.19903/j.cnki.cn23-1074/g.2024.02.005 .

[4] JIN P P， ZHOU Q. Comprehensive quality evaluation of large scale enrollment in higher education institutions： Dilemmas and countermeasures［J］. Heilongjiang Researches on Higher Education， 2024， 42（2）： 32-39. DOI： 10.19903/j.cnki.cn23-1074/g.2024.02.005（Ch ）.

[5] 王珽珽.学龄前儿童体力活动、身体素质和动作技能的发展特征以及作用机制的研究［J］.中国体育科技，2022，58（8）：49-61. DOI：10.16470/j.csst.2020068 .

[6] WANG T T. Research on the development characteristics and mechanism of physical activity， physical fitness and motor skills of Preschoolers［J］. China Sport Science and Technology， 2022，58（8）：49-61. DOI：10.16470/j.csst.2020068（Ch ）.

[7] 陈婷，杜文娟，梁蒙，等.西藏不同地区藏族大学生身体素质状况及影响因素研究［J］.高原科学研究，2024，8（1）：74-83.DOI：10.16249/j.cnki.2096-4617.2024.01.009 .

[8] CHEN T， DU W J， LIANG M， et al. The physical condition and influencing factors of Tibetan college students from different regions of Tibet［J］. Plateau Science Research， 2024，8（1）：74-83. DOI：10.16249/j.cnki.2096-4617.2024.01.009（Ch ）.

[9] HE Y， JIANG F， CHU X M， et al. Automated Chinese essay scoring from multiple traits［DB/OL］. ［2024-02-13］.

[10] BAILLY G， GODDE E， PIAT-MARCHAND A L， et al. Automatic assessment of oral readings of young pupils［J］. Speech Communication， 2022，138（2）：67-79. DOI： 10.1016/j.specom.2022.01.008 .

[11] BAI Y， ZHOU D S， ZHANG S Y， et al. Action quality assessment with temporal parsing transformer［C］//European Conference on Computer Vision. Cham： Springer， 2022： 422-438.10.1007/978-3-031-19772-7_25. DOI: 10.1007/978-3-031-19772-7_25 .

[12] 体育词典编辑委员会.体育词典［M］.上海：上海辞书出版社，1986：59-92.

[13] Sports Dictionary Editorial Board. Sports Dictionary［M］.Shanghai： Shanghai Dictionary Publishing House，1986：59-92（Ch）.

[14] 列•巴•马特维耶夫.竞技运动理论［M］.上海：华东理工大学出版社，1997：158-174.

[15] MATVEYEV L B. Competitive Sports Theory ［M］. Shanghai： East China University of Science and Technology Press，1997：158-174（Ch）.

[16] 朱晨玉. 对中学中距离跑运动员速度素质训练的探讨［J］. 运动， 2014（1）： 36-37. DOI： 10.3969/j.issn.1674-151x.2014.01.019 .

[17] ZHU C Y. Discussion on speed quality training of middle-distance runners in middle schools［J］. Sport， 2014（1）： 36-37. DOI： 10.3969/j.issn.1674-151x.2014.01.019（Ch ）.

[18] 张榉斌. 排球运动员体能训练理论研究［J］. 当代体育科技， 2012， 2（1）： 21. DOI：10.16655/j.cnki.2095-2813.2012.01.052

[19] ZHANG J B. Theoretical research on physical training of volleyball players［J］. Contemporary Sports Technology， 2012， 2（1）： 21. 10.16655/j.cnki.2095-2813.2012.01.052（Ch）.

[20] 秦国强. 大众花样跳绳对小学生五年级体质健康的影响研究［D］. 北京： 北京体育大学， 2018.

[21] QIN G Q. Study on the influence of pattern jumping rope on the physical health of fifth graders［D］. Beijing： Beijing Sport University， 2018 （Ch）.

[22] 廉志营. 花样跳绳对小学生协调性影响的实验研究［J］. 当代体育科技， 2017， 7（27）： 12-13. DOI： 10.16655/j.cnki.2095-2813.2017.27.012 .

[23] LIAN Z Y. Experimental study on the influence of synchronized skipping on the coordination of primary school students［J］. Contemporary Sports Technology， 2017， 7（27）： 12-13. DOI： 10.16655/j.cnki.2095-2813.2017.27.012（Ch ）.

[24] 杨海鹏，刘萍萍.跳绳类运动对女大学生体质健康的促进研究——以南昌航空大学为例［J］.当代体育科技，2014，4（33）：132-133.

[25] YANG H P， LIU P P. A study on the promotion of rope skipping sports to female college students’ physical health［J］. Contemporary Sports Technology， 2014，4（33）：132-133.

[26] 刘健， 王小菲. 基于层次分析法的高校图书馆网站用户满意度评价指标体系构建研究［J］. 情报科学， 2022， 40（12）： 80-87. DOI： 10.13833/j.issn.1007-7634.2022.12.010 .

[27] LIU J， WANG X F. The construction of evaluation index system of user satisfaction of university library websites based on analytic hierarchy process［J］. Information Science， 2022， 40（12）： 80-87. DOI： 10.13833/j.issn.1007-7634.2022.12.010（Ch ）.

[28] 教育部.教育部关于印发《国家学生体质健康标准（2014年修订）》的通知［EB/OL］.［2023-10-26］.

[29] Ministry of Education. Notice of the Ministry of Education on the Issuance of the National Student Physical Health Standard （Revised in 2014）［EB/OL］.［2023-10-26］.

[30] 曹国欢， 王润强， 赵彧， 等. 女子拳击运动员有氧和无氧耐力素质与竞技表现的关联性研究［J］. 中国体育科技， 2022， 58（2）： 34-40. DOI： 10.16470/j.csst.2020166 .

[31] CAO G H， WANG R Q， ZHAO Y， et al. Research on the correlation between endurance quality and competitive performance of women’s boxing athletes［J］. China Sport Science and Technology， 2022， 58（2）： 34-40. DOI： 10.16470/j.csst.2020166（Ch ）.

[32] 王瑞元，苏全生.运动生理学［M］.北京：人民体育出版社，2012：345-346.

[33] WANG R Y， SU Q S. Exercise Physiology［M］.Beijing： Peoples Sports Publishing House， 2012：345-346（Ch）.

[34] AINSWORTH B E， HASKELL W L， WHITT M C， et al. Compendium of physical activities： An update of activity codes and MET intensities［J］. Medicine and Science in Sports and Exercise， 2000， 32（9 ）： S498-S504. DOI： 10.1097/00005768-200009001-00009 .

[35] CHEN Y Y， LIAW L J， LIANG J M， et al. Timing perception and motor coordination on rope jumping in children with attention deficit hyperactivity disorder［J］. Physical Therapy in Sport， 2013， 14（2）： 105-109. DOI： 10.1016/j.ptsp.2012.03.012 .

[36] TRECROCI A， CAVAGGIONI L， CACCIA R， et al. Jump rope training： Balance and motor coordination in preadolescent soccer players［J］. Journal of Sports Science & Medicine， 2015， 14（4）： 792-798.

[37] WIKSTROM E A， TILLMAN M D， SMITH A N， et al. A new force-plate technology measure of dynamic postural stability： The dynamic postural stability index［J］. Journal of Athletic Training， 2005，40（4）：305-309.

[38] GOWITZKE B A， BROWN L. Kinematic and kinetic components of rope skipping：A pilot study［DB/OL］.［2024-02-23］.

[39] PENG D H， HU H B. The method for evaluating rope-jumping posture［C］//2020 2nd International Conference on Artificial Intelligence and Advanced Manufacture （AIAM）. New York： IEEE Press， 2020： 222-226. DOI： 10.1109/AIAM50918.2020.00050 .

[40] DEAN H L， MARTÍ D， TSUI E， et al. Reaction time correlations during eye-hand coordination： Behavior and modeling［J］. The Journal of Neuroscience， 2011， 31（7）： 2399-2412. DOI： 10.1523/JNEUROSCI.4591-10.2011 .

[41] GOTO D， MANNO M， WANG T Y， et al. Relationship between vertical acceleration and autocorrelation function during jumping rope［C］//2021 IEEE 3rd Global Conference on Life Sciences and Technologies （LifeTech）. New York： IEEE Press， 2021： 369-370. DOI： 10.1109/LifeTech52111.2021.9391893 .

[42] MIYAGUCHI K， SUGIURA H， DEMURA S. Possibility of stretch-shortening cycle movement training using a jump rope［J］. The Journal of Strength and Conditioning Research， 2014， 28（3）： 700-705. DOI： 10.1519/JSC.0b013e3182a0c9a5 .

[43] PENNINGTON J， SOCHER R， MANNING C. Glove： Global vectors for word representation［C］//Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing（EMNLP）. Stroudsburg： Association for Computational Linguistics， 2014： 1532-1543. DOI： 10.3115/v1/d14-1162 .

[44] HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）. New York：IEEE Press，2016：770-778. DOI： 10.1109/CVPR.2016.90 .

基金资助

国家重点研发计划(2021YFC3340800)

国家自然科学基金(62007007)

中国博士后科学基金(2022M710419)

湖南省自然科学基金面上项目(2023JJ30415)

湖南省自然科学基金面上项目(2022JJ30395)