基于骨架序列的工序动作识别与分析

摘要

为了解决工业工程领域传统制造过程中工序动作分析方法存在的耗时耗力与依赖经验的问题，运用动作识别技术替代传统的人工分解动作方法，提出一种基于骨架序列的工序动作智能检测方案。使用2D相机与MediaPipe框架搭建人体姿态估计模型以获取骨架序列，引入相关评估指标进行工序动作量化分析。利用骨架数据构建基于卷积门控循环单元CNN-GRU的动作分类模型，面向自建工序动作数据集进行实验验证。结果表明，所提出的CNN-GRU模型在参数量更少的情况下具有更高的准确率，相较于LSTM模型和GRU模型表现更优。在动作识别的基础上，将所得推理结果与标准作业程序进行对比得出异常动作，为工序动作识别与分析提供有效的解决方案，有助于规范生产操作和提升生产效率。

关键词

人体姿态估计 / 骨架序列 / 卷积门控循环单元(CNN-GRU) / 工序动作识别

基金资助

广东省基础与应用基础研究基金委员会区域联合基金—地区培育资助项目(2022A1515140035)