基于GainPose的学生课堂行为识别方法

摘要

针对真实课堂场景中学生分布密集、遮挡严重导致的行为识别困难问题，提出了一种基于GainPose的学生课堂行为识别方法：使用嵌入通道空间注意力模块CBAM (convolutional block attention module)和小目标检测模块的改进YOLOv7作为人体检测器，实现学生的精准定位；以基于关键点缺失数据预测的GainPose作为姿态估计器，融合生成对抗式插补网络(generative adversarial imputation network, Gain)对缺失的关键点数据进行预测，获取完整的学生上半身关键点信息；采用轻量级MobileNetV3作为单人姿态估计器(single person pose estimator, SPPE)的骨干网络，以减少网络计算量；根据课堂场景，将时空图卷积网络的空间图卷积策略调整为更适配的空间配置分区策略，用于学生课堂行为分类.验证实验结果表明，经Tensor RT加速后，该方法在GPU上的单幅图像推理时间为1.97 ms,检测速度为95.67 f/s,平均精度均值达96.79%,能够胜任学生课堂行为的实时检测任务.

关键词

课堂行为 / 行为识别 / 目标检测 / 姿态估计 / 时空图卷积