融合人体姿态估计和目标检测的学生课堂行为识别

摘要

在课堂教学中,人工智能技术可以帮助实现学生行为分析自动化,让教师能够高效且直观地掌握学生学习行为投入的情况,为后续优化教学设计与实施教学干预提供数据支持.构建了学生课堂行为数据集,为后续研究工作提供了数据基础;提出了一种行为检测方法及一套可行的高精度的行为识别模型,利用Open Pose算法提取的人体姿态全局特征,融合YOLO v3算法提取的交互物体局部特征,对学生行为进行了识别分析,提高了识别精度;改进了模型结构,压缩并优化了模型,降低了空间与时间的消耗.选取与学习投入状态紧密相关的4种行为:正坐、侧身、低头和举手进行识别,该检测与识别方法在验证集上的精度达到了95.45%,在课堂上玩手机和书写等常见行为的识别精度较原模型有很大的提高.

关键词

学习行为识别 / 人体姿态估计 / 目标检测 / 计算机视觉 / 深度学习