基于改进RBF神经网络的人体姿态局部特征识别算法

李燕飞 ,  吴加宁

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1749 -1755.

PDF (3582KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1749 -1755. DOI: 10.13229/j.cnki.jdxbgxb.20240464
计算机科学与技术

基于改进RBF神经网络的人体姿态局部特征识别算法

作者信息 +

Human pose local feature recognition algorithm based on improved RBF neural network

Author information +
文章历史 +
PDF (3667K)

摘要

以机器人的人体姿态识别问题为核心,为提高识别精度,提出一种基于改进RBF神经网络的人体姿态局部特征识别算法。利用深度相机得到人体关节点三维方位数据,归一化处理方位数据,组建关节点三维坐标;考虑到不同个体之间的差异,为实现对人体姿态数据的非线性映射和优化,准确识别不同个体姿态,采用newrbe函数构建RBF神经网络,提取人体姿态数据特征矢量,以为识别提供重要依据;为增强RBF神经网络在处理不同个体姿态差异方面的能力,确保识别的准确性和自适应性,使用粒子群优化算法改进神经网络,并通过特定概率对粒子实施遗传操作,实现网络优化得到人体姿态局部特征识别结果。实验结果表明:本文算法相对误差均较小,可维持在0.8以下,识别精度高,且在迭代次数达到20时损失函数已降至最低,收敛速度较快,可为农业机械化领域的人机交互提供扎实基础。

Abstract

Therefore, with the human pose recognition problem of robots as the core, a local feature recognition algorithm for human pose based on an improved RBF neural network is proposed to improve recognition accuracy. Using a depth camera to obtain three-dimensional orientation data of human joint points, normalizing the orientation data, and constructing three-dimensional coordinates of joint points; Considering the differences between different individuals, in order to achieve nonlinear mapping and optimization of human pose data, accurately identify different individual poses, a Newrbe function is used to construct an RBF neural network, extract feature vectors of human pose data, and provide important basis for recognition; To enhance the ability of RBF neural networks to handle different individual pose differences, ensure recognition accuracy and adaptability, particle swarm optimization algorithm is used to improve the neural network, and genetic operations are performed on particles with specific probabilities to achieve network optimization and obtain local feature recognition results of human pose. The experimental results show that the proposed algorithms have relatively low relative errors, can be maintained below 0.8, high recognition accuracy, and the loss function is minimized when the number of iterations reaches 20. The convergence speed is fast, which can provide a solid foundation for human-machine interaction in the field of agricultural mechanization.

Graphical abstract

关键词

改进RBF神经网络 / 人体姿态 / 局部特征识别 / 三维坐标 / 粒子群优化

Key words

improve rbf neural network / human posture / local feature recognition / three dimensional coordinates / particle swarm optimization

引用本文

引用格式 ▾
李燕飞,吴加宁. 基于改进RBF神经网络的人体姿态局部特征识别算法[J]. 吉林大学学报(工学版), 2025, 55(05): 1749-1755 DOI:10.13229/j.cnki.jdxbgxb.20240464

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

在当前农业农村信息化发展大潮中,智能农机具有举足轻重的地位1。而在智能农机升级改造过程中,人机交互技术的创新与融合尤为关键。人体姿态局部特征识别技术作为人机交互领域的核心组成部分,其在智能农机中的应用显得尤为突出。精准识别操作人员的姿态和动作2,令智能农机更准确地理解并执行操作人员的意图,实现更为流畅、自然的人机交互,降低操作难度,提高作业安全性和农业生产效率。

针对姿态局部特征识别,不同学者给出如下解决方案:曾明如等3使用3D卷积拆分减少参数量,引入时空融合模块T-Fusion,运用Kinetics数据集预训练深层模型,在保证特征识别准确率的基础上加快网络速度。3D卷积拆分可降低计算复杂度,但也可能导致模型捕捉局部特征细节方面的能力下降。余金锁等4利用分割注意力网络获得图像特征,代入特征融合机制完成卷积层信息交互,把深度特征输入网络构建人体动作信息模型,通过Softmax分类器划分识别结果。但分割注意力网络处理复杂人体姿态时,难以准确捕捉所有关键局部特征。孙剑明等5训练双通道Darknet-53下特征提取网络,初始化YOLO-V2网络,完成人体方位、距离及属性识别。但YOLO-V2网络很难应对极端姿态变化,导致识别准确率下降。Nguyen等6设计一种轻量级双特征双运动网络,运用归一化的关节坐标丰富空间信息,完成基于骨架的人体动作识别。但该方法未充分考虑不同个体之间的差异,无法有效获得特征,导致关键信息丢失,从而影响识别的准确性。

因此,在上述研究的基础上,为提高人体姿态局部特征识别的准确性,提出一种基于改进RBF神经网络的人体姿态局部特征识别算法。该方法为能更好捕捉人体姿态的细微变化,提高识别的准确性,采用构建RBF神经网络,用于对人体姿态数据进行非线性映射,提取人体姿态数据特征矢量;并为增强RBF神经网络在处理不同个体姿态差异方面的能力,引入粒子群优化算法对神经网络进行改进。同时,通过结合遗传操作,以确保粒子群优化的多样性,防止过早收敛,从而实现对神经网络的优化,提高识别的准确性和自适应性。以此,利用改进后的RBF神经网络完成人体姿态局部特征识别。

1 人体关节点三维坐标构建

三维坐标能精确表示人体各关节点在空间中的位置,有助于处理复杂的姿态变化,更准确地识别和分析人体的姿态和动作78。深度相机,也被称为三维相机,是一种同时获取场景颜色和深度数据的相机技术,可测量物体到相机之间的距离。综上,为提供了更丰富、更准确的姿态信息,先利用深度相机得到人体关节点三维方位数据,为后续的姿态识别提供可靠支撑。运用深度相机获得人体关节点三维方位数据,人体关节点如图1所示。获取视频中每一帧人体关节点的三维坐标,在每20帧抽取一张图记录坐标,将抽取的全部坐标数据拟作后续网络训练的数据集。

采用Kinect2.0采集视频数据,视频像素是400×260,帧率为30FPS。通过Pycharm编程调用OpenCV库以及Mediapipe框架,得到人体关键点每一帧的二维坐标9。鉴于人体朝向可能与深度相机设备的平面存在非垂直情况,需要对人体方向信息进行归一化处理,确保人体的“头部”“左肩”“右肩”“颈部”和“臀部”这5个关节构成的平面和xy平面保持平行,确保z轴正方向在深度相机设备的正前方10,构建出关节点三维坐标。三维坐标构建公式为:

a'=aB-a5

式中:a为Kinect坐标系;a5为基于Kinect坐标系的臀部中心坐标;B为旋转矩阵。

2 基于改进RBF神经网络的人体姿态局部特征识别

在完成上述人体关节点三维方位数据获取后,考虑不同个体之间的差异,为准确识别不同个体姿态,现采用newrbe函数构建RBF神经网络,将三维方位数据作为输入,提取人体姿态数据特征矢量,为识别提供重要依据。人体姿态局部特征识别中,径向基函数(Radial basis function,RBF)神经网络可用于提取和分类人体关键姿态特征。通过训练学习不同姿态特征之间的关联和差异11-13,构建出能准确识别各种人体姿态的模型。

利用Matlab中的newrbe函数,创建RBF神经网络。将上述获取的节点三维坐标数据作为输入,假设网络输入各节点坐标数据值为n维矢量c,输出值为m维矢量e,输入输出样本对长度是L,则隐含层第i个节点的输出为:

gi=ec-hi

式中:hi为第i个隐节点的中心。

因RBF神经网络具备最佳逼近的特征,且不会产生局部极小值,选用式(3)作为网络的核函数,将输入矢量映射至高维空间14,再通过线性变换将高维空间结果映射到输出空间,具体表示如下:

Fc,hi=exp-ec-hi22μ2

式中:μ为函数的宽度。

网络输出层第l个节点的输出是隐节点输出的线性组合,记作:

el=i=1NδkiFc,hi-γl

式中:δki为连接权重;γl为输出节点的临界值;N为隐含层节点的总数。

由于RBF神经网络训练过程中存在初始权重参数敏感度高的问题,为进一步增强RBF神经网络在处理不同个体姿态差异方面的能力,在保持高精度识别的同时,具备较强的自适应性,解决不同个体姿态差异导致的识别问题,提高人体姿态局部特征识别的准确性。现使用粒子群优化算法改进神经网络,寻优最佳参数,并通过特定概率对粒子实施选择、交叉和变异等遗传操作,实现网络优化,以提高人体姿态局部特征识别效果。因此,采用粒子群优化算法进行改进,具体实现过程描述如下。

粒子群优化算法中,追踪两个关键位置1516:一是个体最优位置qi;二是全局最优位置qg。第i个粒子(权重参数)根据式(5)(6)更新速度和位置。

vidk+1=Ividk+o1r1qidk-xidk+o2r2qgdk-xidk
xidk+1=xidk+vidk+1

式中:k为迭代次数;d为搜索空间维度;I为惯性权重;o1o2为加速因子;r1r2为区间在[0,1]的随机值;xidk为第i个粒子第k次迭代的位置;vidk为第i个粒子第k次迭代的速度。

根据特定的概率对粒子采取遗传操作17,粒子遗传操作的概率并非固定不变,而是自适应地按照迭代过程中种群粒子间的欧氏距离动态调整。

假设粒子sisj的编码依次是t1,t2,,tDw1,w2,,wD,那么sisj之间的欧氏距离为:

di,j=i=1DtD-wD2

式中:D为编码总数量。

每次迭代计算后,不同粒子间的欧氏距离解析式为:

d'k=d1i,jk,d2i,jk,,dni,jk

式中:n为不同粒子之间可能存在的组合数量。

粒子采取遗传操作使用的控制函数为:

Qt=dmaxi,jt-davei,jtdmaxi,jt-dmini,jt

式中:dmaxtdmintdavet依次为迭代至第t次时粒子间的最大值、最小值与欧氏距离均值。

引入随机数randt,并将其与Qt进行对比18。当Qt的值大于randt时,粒子会执行遗传操作;反之,则终止遗传操作。

由于Qt的值以更高的概率大于randt,通过概率控制的方式,使粒子能自主执行遗传操作19。把粒子适应度函数设定为神经网络的均方误差,解析式为:

Gp=12ηi=1ηl=1mkyl-di2

式中:mk为输出节点数量;η为学习样本数量;yldi依次为输出节点的真实值与预期值。

由此,当式(10)结果达到最小时,则停止迭代寻优,输出最优粒子(即最优权重参数)。将寻优后权重参数代入式(4)中,完成RBF神经网络优化,以此完成人体姿态局部特征识别。则改进RBF神经网络下人体姿态局部特征识别具体过程为:

(1)截取相对的人体姿态数据,提取姿态特征,得到姿态特征矢量20

(2)设定RBF神经网络架构,随机初始化粒子群规模、加速因子等参数。

(3)初始化全部粒子的速度和位置,根据式(5)(6)更新粒子速度和位置。

(4)生成一个随机数,对粒子执行遗传操作。推算粒子适应度值。观察是否符合终止条件,若满足条件,则输出最优权重,代入式(4)中,完成RBF神经网络优化,反之继续迭代优化。

(5)将提取姿态特征输入改进后的RBF神经网络中,输出人体姿态局部特征识别结果。

综上,完成人体姿态局部特征识别。利用深度相机得到人体关节点三维方位数据,归一化处理方位数据,组建关节点三维坐标;考虑到不同个体之间的差异,为准确识别不同个体姿态,采用newrbe函数构建RBF神经网络,提取人体姿态数据特征矢量;为增强RBF神经网络在处理不同个体姿态差异方面的能力,确保识别的准确性和自适应性,使用粒子群优化算法改进神经网络,并通过特定概率对粒子实施遗传操作,最终将提取人体姿态数据特征矢量作为输入,采用改进后的RBF神经网络实现人体姿态局部特征识别结果。

3 实验分析

3.1 实验准确

为验证本文方法的识别效果,展开实验测试。Matlab为一款数学软件,其丰富的函数库和便捷的编程环境,可轻松完成数据分析任务。采用Matlab实验平台进行验证分析,操作环境与实验配置如图2所示。

将文献[3]T-Fusion法与文献[4]分割注意力法作为对比方案,共同完成人体姿态局部特征识别仿真。以11种人体动作姿势为实验测试样本,如图3所示。

图3中人体手势指令依次为:停止、直行、后退、右转20°、右转45°、右转60°、右转90°、左转20°、左45°、左转60°、左转90°。将11种人体动作视为特征值并作为RBF神经网络的输入参数,对应11种姿势的动作以编号1~11作为输出参数。

每种姿势获取1 000组特征值,一共获取11 000组特征值。为减小变量差异较大对模型性能的影响,在建立模型之前,输入参数先用mapminmax函数对数据进行归一化处理,将数据控制在[-1,1]范围之内。

3.2 测试指标

设定3个实验指标:收敛速度、相对误差均值和ROC曲线。

收敛速度是衡量算法在特征识别过程中效率的关键指标。若算法的收敛速度较慢,意味着达到稳定性能所需的迭代次数会更多,会增加计算成本和时间开销。因此,收敛速度的快慢直接影响着算法在实际应用的实用性。

相对误差均值是计算全部样本预测值与实际值之间的相对误差平均值。相对误差均值越小,识别结果越趋近真实值,反之说明预测结果与真实值偏差较大。

ROC曲线指标拥有衡量模型分类优劣的能力,理想情况下,曲线要最大限度靠近左上角,表明算法在保持较低的假正类率的同时,实现较高的真正率。

3.3 结果分析

3.3.1 有效性分析

由于特征提取的结果将直接影响后续识别的效果,因此,为验证本文算法的有效性,现用本文算法对上述11种人体姿势特征进行提取,其结果如图4所示,可知,采用本文算法提取的特征数量与真实数量一致,由此说明,本文算法可有效考虑到不同个体之间的差异,实现对人体姿态数据的非线性映射和优化,精准提取人体姿态数据特征矢量,为后续识别提供可靠的支撑,以提高识别的准确性。

3.3.2 收敛速度分析

接着,针对收敛速度指标,分别对本文算法、文献[3]T-Fusion法与文献[4]分割注意力法进行测试,其3种算法的收敛速度结果如图5所示。

图5可以看到,与T-Fusion法和分割注意力法相比,本文算法在收敛速度方面展现出显著优势。T-Fusion法虽然能通过融合多种传感器信息来提高姿态识别准确性,但由于算法结构复杂,通常需要较多迭代次数才能达到稳定的性能。同样,分割注意力法虽然通过深度学习模型可实现人体姿态局部特征识别,但需要大量训练数据和长时间的模型训练,面临计算资源不足和时间成本过高的问题。而本文算法当迭代次数达到20时,其损失函数已降至最低,由此本文算法通过优化RBF神经网络结构和参数,不仅能在较少的迭代次数下收敛,还能在保证准确性的同时降低计算成本和时间开销。

3.3.3 相对误差均值分析

在上述测试的基础上,针对相对误差均值指标,分别对本文算法、文献[3]T-Fusion法与文献[4]分割注意力法进行测试,设定共执行13次实验,结果如图6所示。

观察图6看到,本文算法的相对误差均值最小,在人体姿态局部特征识别过程中,识别结果与真实值之间的偏差程度较小,可维持在0.8以下。相比之下,分割注意力法在多数情况下相对误差均值都很大,在2.0以上,T-Fusion法虽然整体表现较为平稳,但相对误差均值仍然大于本文算法,在1.6以上。由此可说明,本文算法识别结果更加趋近真实值,具有可靠性。

3.3.4 ROC曲线结果分析

现针对ROC曲线指标展开对本文算法、文献[3]T-Fusion法与文献[4]分割注意力法的测试,3种算法姿态局部特征识别ROC曲线对比结果如图7所示。

图7可以看到,本文算法ROC曲线不仅更加贴近左上角的理想点,且其曲线下的面积也明显大于文献方法,更加接近于1。由此证明本文算法不仅在正确识别正例方面表现优异,而且在避免误报方面也做得相当出色。在复杂多变的人体姿态识别场景中,能更准确地捕捉人体姿态细微变化,减少因误报带来的不必要干扰。

4 结束语

智能农机背景下,利用改进RBF神经网络算法处理人体姿态局部特征识别问题。本文算法可有效增强人体姿态局部特征的提取和识别能力,同时设计多组实验,全面评估改进RBF神经网络算法的性能。结果表明:该算法在不同场景下均能保持较高的识别准确率,对噪声和干扰具有较强的鲁棒性,满足了智能农机对人机交互的可靠性要求。

参考文献

[1]

陈怀林, 李文欣, 杜歆桐, 基于情境感知的智慧农机管控系统交互设计研究[J].包装工程, 2023, 44(22): 123-130.

[2]

Chen Huai-lin, Li Wen-xin, Du Xin-tong, et al. Interaction design of intelligent agricultural machinery managementand control system based on context-awareness[J]. Packaging Engineering, 2023, 44(22):123-130.

[3]

段铭钰, 袁瑞甫, 杨艺. 基于改进RBF神经网络的采煤机截割煤岩性状智能识别[J]. 河南理工大学学报:自然科学版, 2022,41(1): 43-51.

[4]

Duan Ming-yu, Yuan Rui-fu, Yang Yi. Intelligent recognition of coal and rock properties in shearer cutting process based on improved RBF neural network[J].Journal of Henan Polytechnic University (Natural Science), 2022, 41(1): 43-51.

[5]

曾明如, 熊嘉豪, 祝琴. 基于T-Fusion的TFP3D人体行为识别算法[J].计算机集成制造系统, 2023, 29(12): 4032-4039.

[6]

Zeng Ming-ru, Xiong Jia-hao, Zhu Qin. TFP3D human behavior recognition algorithm based on T-Fusion[J].Computer Integrated Manufacturing Systems,2023, 29(12): 4032-4039.

[7]

余金锁, 卢先领. 基于分割注意力的特征融合CNN-Bi-LSTM人体行为识别算法[J].电子测量与仪器学报, 2022, 36(2): 89-95.

[8]

Yu Jin-suo, Lu Xian-ling. Human action recognition algorithm of feature fusion CNN-Bi-LSTM based on split-attention[J].Journal of Electronic Measurement and Instrumentation, 2022, 36(2): 89-95.

[9]

孙剑明, 韩生权, 沈子成, 基于双卷积链的双目人体姿态距离定位识别[J]. 兵工学报, 2022,43(11): 2846-2854.

[10]

Sun Jian-ming, Han Sheng-quan, Shen Zi-cheng, et al. Binocular human pose and distance identification based on double convolutional chain[J].Acta Armamentarii, 2022, 43(11): 2846-2854.

[11]

Nguyen T T, Pham D T, Vu H, et al. A robust and efficient method for skeleton-based human action recognition and its application for cross-dataset evaluation[J].IET Computer Vision,2022,16(8):709-726.

[12]

Huang Y Z, Zhao H M, Zhao X T, et al.Pattern recognition using self-reference feature extraction for?-OTDR[J].Applied Optics,2022,61(35):10507-10518.

[13]

Zeng Y M, Xiang H J, Zheng N, et al. Flexible triboelectric nanogenerator for human motion tracking and gesture recognition[J]. Nano Energy,2022, 91: 106601.

[14]

李新春, 张玉琛, 阳士宇. 融合全局与局部特征的UWB雷达人体动作识别算法[J].重庆邮电大学学报: 自然科学版, 2023, 35(4): 636-645.

[15]

Li Xin-chun, Zhang Yu-chen, Yang Shi-yu. Human action recognition algorithm incorporating global andlocal features by UWB radar[J].Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition),2023,35(4):636-645.

[16]

Wang C, Zhang F, Zhu X T, et al.Low-resolution human pose estimation[J].Pattern Recognition: The Journal of the Pattern Recognition Society, 2022,126: 108579.

[17]

宋玉琴, 曾贺东, 高师杰, 基于改进高分辨表征的人体姿态估计算法[J]. 计算机工程与设计, 2022, 43(4): 1045-1051.

[18]

Song Yu-qin, Zeng He-dong, Gao Shi-jie, et al. Human pose estimation algorithm based on improved high resolution representation[J].Computer Engineering and Design,2022,43(4): 1045-1051.

[19]

Li J C, Han R, Feng W, et al. Contactless interaction recognition and interactor detection in multi-person scenes[J]. Frontiers of Computer Science, 2024, 18(5): 185325.

[20]

邓平, 吴明辉. 基于机器学习的人体运动姿态识别方法[J]. 中国惯性技术学报, 2022,30(1): 37-43.

[21]

Deng Ping, Wu Ming-hui.Human motion attitude recognition method based on machine learning[J]. Journal of Chinese Inertial Technology, 2022, 30(1): 37-43.

[22]

Zhang Y Q, Ding K, Hui J Z, et al.Human-object integrated assembly intention recognition for context-aware human-robot collaborative assembly[J]. Advanced Engineering Informatics, 2022,54: 101792.

[23]

Meng C, He X, Luan T L.Gait recognition based on 3D human body reconstruction and multi-granular feature fusion[J].Journal of Supercomputing, 2023, 79(11): 12106-12125.

[24]

刘锁兰, 周岳靖, 王洪元, 基于全局图遍历的ST-GCN人体行为识别算法[J]. 扬州大学学报: 自然科学版, 2022, 25(2): 62-68.

[25]

Liu Suo-lan, Zhou Yue-jing, Wang Hong-yuan, et al. ST-GCN human action recognition algorithm based on global graph traversal[J]. Journal of Yangzhou University (Natural Science Edition), 2022,25(2):62-68.

[26]

陈琳, 王子微, 莫玉良, 改进的自适应复制、交叉和突变遗传算法[J]. 计算机仿真, 2022,39(8): 323-326.

[27]

Chen Lin, Wang Zi-wei, Mo Yu-liang, et al. Im⁃proved genetic algorithms for adaptive replication crossover and mutation[J]. Computer Simulation, 2022, 39 (8): 323-326.

[28]

Fang N, Wei J, Feng T, et al. Feature super-resolution based facial expression recognition for multi-scale low-resolution images[J]. Knowledge-based systems, 2022, 236(25): 1076781.

[29]

王亚东, 秦会斌. 结合不确定性估计的轻量级人体关键点检测算法[J]. 电子技术应用, 2023, 49(10): 40-45.

[30]

Wang Ya-dong, Qin Hui-bin.Lightweight human key point detection algorithm with uncertainty[J].Application of Electronic Technique,2023,49(10):40-45.

[31]

Abul A B, Ram K K, Rahul J. A convolutional neural network and classical moments-based feature fusion model for gesture recognition[J]. Multimedia Systems, 2022, 28(5): 1779-1792.

基金资助

国家重点研发计划项目(2020YFC2008605)

AI Summary AI Mindmap
PDF (3582KB)

166

访问

0

被引

详细

导航
相关文章

AI思维导图

/