基于多源信息融合的作业动作识别技术

李劲松; 廖龙; 杨韩; 王腾; 番禹; 韩耀飞

doi:10.15938/j.jhust.2025.06.005

哈尔滨理工大学学报 ›› 2025, Vol. 30 ›› Issue (6) : 43 -50. DOI: 10.15938/j.jhust.2025.06.005

基于多源信息融合的作业动作识别技术

李劲松, 廖龙, 杨韩, 王腾, 番禹, 韩耀飞

作者信息 +

Author information +

文章历史 +

PDF

摘要

随着计算机硬件的发展，使用虚拟现实方式对从业人员进行培训和考核是一个主要的发展趋势，通过有效的人体动作识别，作业人员可以在虚拟环境中练习复杂的作业过程。但是，当前的作业动作识别方式仍依赖于单一传感器，极易受到干扰出现错判等情况。针对以上问题，开展了基于多源信息融合的带电作业动作识别技术研究，依据基于Transformer的IMU信号特征提取模型和基于视频动作特征提取模型，实现了IMU信号和视频信息的有效融合，并在培训中心、变电站、野外、有限空间等典型作业环境下开展了试验验证，实验证明所提方法可以实现带电作业动作的有效识别。