基于多压缩机制协同的轻量化模型在课堂行为检测中的应用

摘要

针对现有高精度目标检测模型体量巨大、计算成本高，很难在资源受限环境中广泛部署的问题，提出一种融合知识蒸馏、模型量化和网络剪枝的协同轻量化方法，以构建适用于课堂场景的高效行为检测模型.该方法先通过分步蒸馏实现大模型向中小模型的有效知识迁移，再结合结构化剪枝获得与小规模模型相当的轻量化网络，并进一步采用量化特征蒸馏在量化感知训练中提升模型的特征表达能力.实验结果表明，改进后的轻量化模型在保持较小参数规模和计算量的同时，其检测精度显著优于原始小模型，在多个课堂行为数据集上其性能均得到稳定提升.

关键词

知识蒸馏 / 轻量化模型 / 课堂行为检测 / 模型剪枝 / 学生模型