拟合下肢几何特征的多视角步态周期检测

张云佐 ,  董旭 ,  蔡昭权

吉林大学学报(工学版) ›› 2023, Vol. 53 ›› Issue (09) : 2611 -2619.

PDF (1943KB)
吉林大学学报(工学版) ›› 2023, Vol. 53 ›› Issue (09) : 2611 -2619. DOI: 10.13229/j.cnki.jdxbgxb.20211229
计算机科学与技术

拟合下肢几何特征的多视角步态周期检测

作者信息 +

Multi view gait cycle detection by fitting geometric features of lower limbs

Author information +
文章历史 +
PDF (1989K)

摘要

针对现有步态周期检测方法易受拍摄视角变化影响的问题,提出了一种拟合下肢几何特征的多视角步态周期检测方法。首先,利用MediaPipe模型提取步态视频序列中的人体姿态拓扑图,简化了图像预处理过程。然后,通过分析行走状态下人体下肢姿态拓扑图中各关节点间存在的周期性动态变化规律,将左小腿与水平地面构成的倾角以及中髋点(mid-hip)到左、右脚踝的欧氏距离比值作为特征进行提取。最后,采用傅里叶变换将特征数据拟合为正弦函数,并基于拟合结果进行步态周期检测。相比于当前主流的步态周期检测方法,本文方法在正、背面视角以及斜视角下都取得了较好的检测结果。

关键词

计算机应用 / 步态周期检测 / 多视角检测 / 姿态几何特征 / 步态识别 / 傅里叶变换

Key words

computer application / gait cycle detection / multi view detection / pose geometric features / gait recognition / Fourier transform

引用本文

引用格式 ▾
张云佐,董旭,蔡昭权. 拟合下肢几何特征的多视角步态周期检测[J]. 吉林大学学报(工学版), 2023, 53(09): 2611-2619 DOI:10.13229/j.cnki.jdxbgxb.20211229

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

随着全民安全意识的提高,方便、快捷的生物特征识别方法得到了快速发展1,其中步态识别因具有难伪装、远距离等特点,被认为是最具潜力的身份识别方法之一2。步态识别主要依据人体在行走状态下产生的连续特征完成身份识别,通常以连续图像,即视频序列作为输入3。步态周期检测是指判定初始输入的步态视频合适长度的过程3,其检测目的是使特征数据在输入时包含较少的冗余信息,同时又不会丢失有效的步态特征。步态周期是指人体在行走过程中步态变化的最小运动周期4,根据下肢摆动特性,其可以划分为右双腿支撑、右单腿支撑、左双腿支撑和左单腿支撑4个过程5

现有的大多数步态周期检测方法或具有视角局限性,或需要进行图像预处理,实时性差6。其中,基于穿戴设备的步态周期检测方法需要检测对象高度配合7-9,在安防监控领域可行性较小;基于深度学习的检测方法需要对步态图像进行繁琐的预处理操作,实时性较差310;基于人体行走状态下姿态几何特征的检测方法大多只能在某些特定视角下才可以获得有效检测结果。如Lee等11、Wang等12分别根据归一化后的步态图像轮廓宽度变化以及高宽比进行周期检测。这两种方法在正面和背身视角下检测效果较差。Ben等13提出了一种利用双椭圆模型拟合的方法,但该方法易受环境变化(如光照等)的影响。Sarkar等14根据人体腿部的面积变化检测周期,此方法仅在近 90°侧视视角下有较理想的检测效果。唐云祁等15受帧差法的启示,将空间和时间序列特征进行融合,并通过主成分分析(Principal components analysis,PCA)降维的方法对足趾离地状态进行降维判断,进而检测步态周期。该方法虽保留了更加丰富的步态特征,在近 90°侧视视角下的检测效果理想,但在 0°和 180°附近的视角下检测效果一般。

综上所述,为了克服视角局限性,本文提出了拟合下肢几何特征的多视角步态周期检测方法。利用MediaPipe模型进行特征提取,简化了图像预处理操作;提出将左小腿与水平地面构成的倾角以及中髋点(mid-hip)到左、右踝关节点的欧氏距离比值作为特征的检测方法,用于解决在斜视角以及正、背面视角下有效检测步态周期的问题;将特征数据经傅里叶变换拟合为正弦函数,用于解决传统分类方法因分类边界模糊而对后续检测结果产生影响的问题。

1 MediaPipe模型

MediaPipe是由Google提出的一个开源机器视觉模型16,其采用人体姿态追踪算法BlazePose中的姿态预测组件检测人体姿态关节点,检测流程如图1所示。通过人脸检测器对第1帧中的人脸进行检测,可以初步确定人体出现的位置,同时生成候选区域。在处理第2帧时则无需再次调用人脸检测器,而是在第1帧检测出的关节点坐标基础上自动生成候选区域。最后,姿态标志组件会从候选区域中检测出33个真实的人体3D关节点。

图2为由33个3D关节点所构成的人体姿态拓扑图17,其中本文研究只涉及到左髋(left-hip)、右髋(right-hip)、左膝(left-knee)、左踝(left-ankle)、右踝(right-ankle)、左脚跟(left-heel)和左脚尖(left-foot-index)这7个姿态关节点(图2中标注的点)。

BlazePose网络可以预测人体外接圆的半径、人体手和脚的比例以及方向信息,可以在复杂多变的环境下得到有效、一致的姿态追踪。图3为BlazePose网络的整体结构,该结构由关节点检测部分(keypoints detection)和关节点定位部分(keypoints regression)组成17。训练过程中,两个部分一同参与训练,并进行特征分享,但是不进行梯度传播。测试时,仅由回归定位部分参与推理,进而加快整个网络的推理速度,同时不损失精度。

2 拟合下肢几何特征的步态周期检测

步态识别的关键是提取步态特征。当人体处于行走状态时,其下肢受物体遮挡和视角变化的影响较小,姿态检测效果稳定,因此可以获取更有效的步态信息。本文提出的拟合下肢几何特征的多视角步态周期检测方法流程如图4所示。

现有步态周期检测方法大多集中在人物轮廓的变化上,然而这些方法通常对视角变化敏感且对图像序列有着严格的要求,例如背景整洁、人物轮廓提取完整等。导致图像预处理的步骤繁琐、计算量大,无法满足快速检测步态周期的现实需求。本文首先通过MediaPipe模型提取人体姿态拓扑图,该模型无需将视频序列拆分成图像进行处理,极大地简化了图像预处理步骤,减少了计算资源的浪费,同时又保留了丰富的时空信息。然后,在获得人体姿态拓扑图的基础上,将左小腿拓扑图与水平地面所呈倾角以及中髋点到左、右踝关节点的欧氏距离比值作为特征进行提取,用于在斜视角以及正、背面视角下的步态周期检测,克服了视角的局限性。最后,将离散的特征数据经傅里叶变换拟合为正弦函数,并通过判断正弦波中相邻的波谷或波峰的位置确定步态周期。

2.1 倾角提取

基于斜视角,本文提出了一种利用左小腿拓扑图与水平地面所呈倾角作为特征进行步态周期检测的方法。如图5(a)所示,将视频序列的每一帧按照时间轴展开,通过MediaPipe模型提取每一帧中的人体姿态拓扑图,利用余弦法则计算出左小腿拓扑图与水平地面法线所构成的夹角 ,原理如图5(b)所示。

通过计算左膝关节点(x left-kneey left-knee)到左踝关节点(x left-ankley left-ankle)间的欧氏距离得到左小腿长度 L,并基于左小腿长度,利用余弦法则计算出夹角 ,方法如下:

L = ( x l e f t - k n e e - x l e f t - a n k l e )   2 + ( y l e f t - k n e e - y l e f t - a n k l e )   2
c o s = y l e f t - k n e e - y l e f t - a n k l e L
= a r c c o s y l e f t - k n e e - y l e f t - a n k l e L

斜视角下拍摄到的人体运动方向为自左向右或自右向左,本文通过判断左脚尖与左脚跟横坐标值的大小进行区分。当 x l e f t - f o o t - i n d e x > x l e f t - h e e l时表示当前人体自左向右行进,反之,为自右向左。令 θ为左小腿拓扑图与水平地面所呈倾角,则有:

x l e f t - f o o t - i n d e x > x l e f t - h e e l θ = 90 ° - , x l e f t - k n e e > x l e f t - a n k l e θ = 90 ° + , x l e f t - k n e e x l e f t - a n k l e x l e f t - f o o t - i n d e x < x l e f t - h e e l θ = 90 ° + , x l e f t - k n e e > x l e f t - a n k l e θ = 90 ° - , x l e f t - k n e e x l e f t - a n k l e

图6为在 90 侧视视角下倾角 θ由小变大的完整过程。由图6可知,在斜视角下,根据行人步态运动中倾角数据的变化完成步态周期检测具有可行性。

2.2 欧氏距离比值提取

基于正面以及背身视角,本文提出了一种利用中髋点分别到左、右踝关节点的欧氏距离比值作为特征进行步态周期检测的方法。图7为在正面视角下比值 u由小变大的完整过程。由图7可知,比值数据的变化情况能够很好地反映正面以及背身视角下的步态周期。

图8为中髋点分别到左、右踝关节点的欧氏距离示意图。其中,通过左髋关节点与右髋关节点的坐标可计算得到中髋点坐标,方法如下:

x m i d - h i p = x l e f t - h i p + x r i g h t - h i p 2 y m i d - h i p = y l e f t - h i p + y r i g h t - h i p 2

k 1 k 2分别为中髋点到左踝关节点以及右踝关节点的欧氏距离,则有:

k 1 = ( x m i d - h i p - x l e f t - a n k l e ) 2 + ( y m i d - h i p - y l e f t - a n k l e ) 2
k 2 = ( x m i d - h i p - x r i g h t - a n k l e ) 2 + ( y m i d - h i p - y r i g h t - a n k l e ) 2

式(6)(7)可求出比值 u为:

u = k 1 / k 2

2.3 傅氏拟合

步态帧的连续性导致分类边界比较模糊,进而影响分类结果的准确性,使其存在较大误差。为了更精确地表示步态运动的周期性变化过程,本文采用傅里叶变换将特征数据拟合为正弦函数,通过判断正弦波的周期性变化检测步态周期,流程如图9所示。首先,将特征数据按视频帧顺序进行提取,其中 T为视频帧序列,即 T = [ t 1 , t 2 , ] W为倾角数据序列,即 W = [ w 1 , , w t , ] Q为比值数据序列,即 Q = [ q 1 , , q t , ]。为使得拟合后的倾角数据以及比值数据在同一数值区间内,本文方法将序列 W中的特征值统一缩小100倍,缩小至 [ 0,2 ]间。然后,将离散的特征数据经傅里叶变换拟合成正弦函数,得到由特征数据组成的与正弦波相似的波形(水平轴代表视频序列帧数 T,竖直轴表示 u)。最后,利用线性插值法对拟合后的波形进行消除尖锐噪声处理,达到波形平滑的效果,进而忽略个别帧特征值错误对结果带来的影响3。通过判断任意一个特征波形相邻的波谷或波峰确定步态周期(相邻两个波谷或波峰之间的序列帧为一个步态周期)。

3 实验设置及结果分析

3.1 实验环境及数据

本文以PyCharm和Matlab R2019a作为实验操作平台,以Python3.8和Matlab为编程语言完成实验。其中,使用MediaPipe库调用BlazePose姿态估计算法完成人体姿态拓扑图的检测。

本文的实验数据来自中国科学院自动化所模式识别国家重点实验室的CASIA步态数据库。CASIA步态数据库有3个数据集,分别为CASIA-A、CASIA-B和CASIA-C。本文采用的是CASIA-B数据集,CASIA-B是一个大规模、多视角的步态数据集,共有124个人,每个人有11个视角 ( 0 ° , 18 ° , 36 ° , , 180 ° ),在3种行走条件下(普通条件、穿大衣、携带包裹条件)采集18

3.2 评价指标

由于本文将特征数据拟合为正弦函数,并基于正弦波的波形变化判断步态周期,所以本文定义了一个直接度量判定特征数据经拟合后得到的正弦波主频率的显著性 W

W = F p ¯ - F v ¯ / F ¯

式中: F p ¯ F v ¯分别表示正弦波中波峰以及波谷的平均值, F ¯为参与测试的特征数据的平均值。 W值越大,表示拟合后得到的正弦波主频越显著,步态周期越容易确定。相反, W值越小,步态周期则越不易区分。

为了分析本文算法其他方面的性能,使用文献[3]中对步态周期的量化标准:

C = T - T s   / T

式中: C为帧误差与实际步态周期的比率; T为实际步态周期中总的帧数; T s为检测到的帧数目3

C值越小,误差越小,表明该方法的检测精度越高;相反, C值越大,检测性能越差。

3.3 实验对比及分析

为了避免实验结果的偶然性,对CASIA-B数据集中前10个人在不同行走条件及视角下的0~80帧(近3倍于正常人步态周期长度)的步态图像序列进行测试。图10为在001-nm-05数据集上11个视角下得到的特征数据经傅氏拟合再经线性插值法处理后输出的波形。

图10可以看出:①由比值数据和倾角数据在不同视角下拟合得到的波形多数具有良好的周期性。②在 0°和 180°视角下,受拍摄方式的影响,步态序列中包含的比值特征变化明显,而倾角特征数据在近 90°范围内上下波动;随着视角的变化,越接近 90 °,步态序列中包含的倾角变化信息越丰富,比值特征数据越收敛接近于1。③双特征数据之间大致呈同步递增(减)变化,这体现了肢体之间运动的协调性。

为了验证本文算法的泛化性,本文选取经典的基于计算机视觉的步态周期检测方法进行实验对比分析。包括深度卷积神经网络拟合3、深度卷积神经网络分类3、基于高宽比12、基于椭圆拟合13、基于腿部面积14、基于足趾离地状态15的方法。表1表2展示了不同步态周期检测方法在11个视角下的性能比较。

表1 C值对比可以看出:①本文方法在检测精度上要高于同类其他方法。②与文献[3]拟合法相比,在 72 ° 90 ° 108 ° 126 °视角下,本文方法的帧误差与实际周期的比率分别降低了0.04、0.08、0.08和0.1;在 0 ° 180 °视角下,两者之间的比率差值分别为0.02和0.03,平均误差约为1帧。③在斜视角以及正面和背身视角下,本文方法的帧误差与实际周期的比率均值分别为0.14和0.065,误差为1~2帧,这对于近30帧的完整步态周期是可以接受的19

表2 W值对比可以看出:①在斜视角以及正、背面视角下,本文方法的 W值均大于同类其他方法,表明本文方法得到的正弦波的主频率更加显著,以便通过观察波形的周期性变化确定步态周期;②正弦波主频率明显也从侧面证明本文方法受拍摄设备距人体的距离变化的影响较小,更加符合实际需求。

综上所述,本文方法在斜视角以及正、背面视角下都得到了较好的检测结果,验证了本文方法的正确性及可行性。

4 结束语

本文提出了一种检测步态周期的新方法,与之前大多数对视角变化敏感的方法不同,本文方法对视角变化有较好的抵抗力。基于人体姿态估计模型获取行走状态下的人体姿态拓扑图,并将左小腿与水平地面所呈倾角以及欧氏距离比值数据的变化与人体在斜视角和正、背面视角下的行走状态相对应。获取到特征数据后,经傅里叶变换将离散数据拟合为正弦函数,并基于拟合结果检测步态周期。避免了传统分类检测方法因分类边界模糊而导致检测失效的问题。在CASIA-B数据集上的大量实验结果和对比数据验证了本文算法的有效性,表明拟合下肢几何特征的多视角步态周期检测方法对于视角变化具有良好的鲁棒性,可以有效地检测步态周期。

参考文献

[1]

李贻斌, 郭佳旻, 张勤. 人体步态识别方法与技术[J]. 吉林大学学报: 工学版, 2020, 50(1): 1-18.

[2]

Li Yi-bin, Guo Jia-min, Zhang Qin. Methods and technologies of human gait recognition[J]. Journal of Jilin University (Engineering and Technology Edition), 2020, 50(1): 1-18.

[3]

Phillips P J. Human identification technical challenges[C]//Proceedings of IEEE International Conference on Image Processing, Rochester, USA, 2002: 49-52.

[4]

王科俊, 刘亮亮, 丁欣楠, 基于卷积神经网络的步态周期检测方法[J]. 哈尔滨工程大学学报, 2021, 42(5): 656-663.

[5]

Wang Ke-jun, Liu Liang-liang, Ding Xin-nan, et al. Gait period detection method based on convolutional neural networks[J]. Journal of Harbin Engineering University, 2021, 42(5): 656-663.

[6]

汤荣山, 葛万成. 基于卷积神经网络和不完整步态周期的步态识别方法[J]. 通信技术, 2018, 51(12): 2980-2985.

[7]

Tang Rong-shan, Ge Wan-Cheng. Gait recognition method based on convolutional neural network and incomplete gait cycle[J]. Communication Technology, 2018, 51(12): 2980-2985.

[8]

Yang X C, Zhou Y, Zhang T H, et al. Gait recognition based on dynamic region analysis[J]. Signal Processing, 2008, 88(9): 2350-2356.

[9]

王科俊, 贲晛烨, 唐墨, 基于区域特征分析的步态周期检测方法[P]. 中国: CN200910072171.4, 2011-3-16.

[10]

杨佩成. 面向术后康复的可穿戴步态监测与分析技术研究[D]. 南京: 南京大学计算机科学与技术系, 2020.

[11]

Yang Pei-cheng. Research on wearable gait monitoring and analysis technology for postoperative rehabilitation[D]. Nanjing: Department of Computer Science and Technology, Nanjing University, 2020.

[12]

Aminian K, Najafi B, Büla C, et al. Spatio-temporal parameters of gait measured by an ambulatory system using miniature gyroscopes[J]. Journal of Biomechanics, 2002, 35(5): 689-699.

[13]

陈法权. 基于可穿戴传感器的人体下肢动作识别及预测[D]. 乌鲁木齐: 新疆大学机械工程学院, 2020.

[14]

Chen Fa-quan. Recognition and prediction of human lower limb movements based on wearable sensors[D]. Urumqi: School of Mechanical Engineering, Xinjiang University, 2020.

[15]

闫河, 罗成, 李焕, 基于步态能量图与VGG结合的步态识别方法[J]. 重庆理工大学学报: 自然科学, 2020, 34(5): 166-172.

[16]

Yan He, Luo Cheng, Li Huan, et al. Gait recognition method based on gait energy map combined with VGG[J]. Journal of Chongqing University of Technology (Natural Science), 2020, 34(5): 166-172.

[17]

Lee C P, Tan A, Tan S C. Gait recognition with transient binary patterns[J]. Journal of Visual Communication and Image Representation, 2015, 33(11): 69-77.

[18]

Wang L, Tan T N, Ning H Z, et al. Silhouette analysis-based gait recognition for human identification[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2003, 25(12): 1505-1518.

[19]

Ben X Y, Meng W X, Yan R. Dual-ellipse fitting approach for robust gait periodicity detection[J]. Neurocomputing, 2012, 79(3): 173-178.

[20]

Sarkar S, Phillips P J, Liu Z, et al. The human ID gait challenge problem: data sets, performance, and analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2005, 27(2): 162-177.

[21]

唐云祁, 薛傲, 丁建伟, 基于帧差时空特征的步态周期检测方法[J]. 数据采集与处理, 2017, 32(3): 533-539.

[22]

Tang Yun-qi, Xue Ao, Ding Jian-wei, et al. Gait cycle detection by fusing temporal and spatial features with frame difference[J]. Journal of Data Acquisition and Processing, 2017, 32(3): 533-539.

[23]

Zhang F, Bazarevsky V, Vakunov A, et al. Mediapipe hands: on-device real-time hand tracking[EB/OL]. [2020-06-23].

[24]

Bazarevsky V, Grishchenko I, Raveendran K, et al. Blazepose: on-device real-time body pose tracking[EB/OL]. [2020-06-23].

[25]

李一波, 李昆. 双视角下多特征信息融合的步态识别[J]. 智能系统学报, 2013, 8(1): 74-79.

[26]

Li Yi-bo, Li Kun. Gait recognition based on dual-view and multiple feature information fusion[J]. CAAI Transactions on Intelligent Systems, 2013, 8(1): 74-79.

[27]

王新年, 胡丹丹, 张涛, 姿态特征结合2维傅里叶变换的步态识别[J]. 中国图象图形学报, 2021, 26(4): 796-814.

[28]

Wang Xin-nian, Hu Dan-dan, Zhang Tao, et al. Gait recognition using pose features and 2D Fourier transform[J]. Journal of Image and Graphics, 2021, 26(4): 796-814.

基金资助

广东省重点领域研发计划项目(2019B010137002)

国家自然科学基金项目(61702347)

国家自然科学基金项目(62027801)

国家自然科学基金项目(61972267)

河北省自然科学基金项目(F2022210007)

河北省自然科学基金项目(F2017210161)

河北省高等学校科学技术研究项目(ZD2022100)

河北省高等学校科学技术研究项目(QN2017132)

中央引导地方科技发展资金项目(226Z0501G)

AI Summary AI Mindmap
PDF (1943KB)

191

访问

0

被引

详细

导航
相关文章

AI思维导图

/