基于深度学习的多特征融合人体动作识别算法

摘要

针对传统特征提取方式计算量大，识别率低等问题，提出了一种基于深度学习的多特征融合人体动作识别算法。方法首先提取原始深度视频序列，接着对每帧图像旋转特定角度补充更多视角下的动作信息，提出自适应时间模型将深度视频序列划分为若干子动作。通过累积每帧图像之间能量变化较大的部分形成动态能量图，累积能量变化较小的部分形成静态能量图，统一称之为运动能量图。引入多通道卷积神经网络提取运动能量图中的动态特征和静态特征；引入自适应矩估计调整神经网络训练中每个参数的学习率，提高模型训练的效率和稳定性；引入L2范数正则化，减小模型复杂度并防止过拟合。在公开的数据集UTD-MHAD、MSR Action3D和MSR DailyActivity3D数据库上测试，算法能够有效地提取动作的运动信息并取得较好的识别结果，与主流方法比有一定的提升。

关键词

自适应时间模型 / 运动能量图 / 多通道卷积神经网络 / 自适应矩估计 / L2正则化

基金资助

国家自然科学基金青年基金资助项目(42001389,42201496); 广东省普通高校重点领域专项(2022ZDZX3071); 自然资源部城市国土资源监测与仿真重点实验室开放基金资助课题(KF-2022-07-024); 深圳职业技术学院博士后出站后期资助项目(6021271017K,6023271011K);深圳职业技术学院项目(6022312062K,6023310002K)