基于虚拟现实技术的肢体运动康复训练评估装置

赵剑 ,  杨晨 ,  李贵海 ,  史丽娟 ,  匡哲君

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (10) : 3274 -3282.

PDF (2159KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (10) : 3274 -3282. DOI: 10.13229/j.cnki.jdxbgxb.20240066
计算机科学与技术

基于虚拟现实技术的肢体运动康复训练评估装置

作者信息 +

Limb movement rehabilitation training evaluation device based on virtual reality technology

Author information +
文章历史 +
PDF (2209K)

摘要

针对传统肢体康复训练方法存在重复性高、个性化不足、训练数据不可视等问题,提出了一种基于虚拟现实技术的肢体康复训练评估系统。该系统以提高患者参与度、实现个性化康复方案、实时反馈和监控、保障安全性和数据分析为设计原则。本文对10名患者进行了实验,通过虚拟仿真环境,患者可以参与更具吸引力和交互性的康复训练,同时系统可根据患者的状况动态调整康复方案。此外,系统还能收集大量康复数据,为医护人员提供详细的信息,以支持治疗过程的优化和个性化调整。

Abstract

For patients, the traditional means of physical rehabilitation training have some problems such as high repeatability, lack of individuation and invisible training data. This paper provides the design, implementation and effect evaluation of a physical rehabilitation training evaluation system based on virtual reality technology. The system is designed on the principles of improved patient engagement, personalized rehabilitation, real-time feedback and monitoring, safety and data analysis. This paper conducted experiments on 10 patients. Through virtual simulation environment, patients can participate in more attractive and interactive rehabilitation training, and the system can dynamically adjust rehabilitation programs according to patients' conditions. In addition, the system can also collect a large amount of rehabilitation data, providing detailed information for medical staff to support the optimization and personalized adjustment of the treatment process.

Graphical abstract

关键词

虚拟现实 / 肢体康复 / 体态识别 / 骨骼坐标 / 系统评估

Key words

virtual reality / limb rehabilitation / body recognition / bone coordinates / system evaluation

引用本文

引用格式 ▾
赵剑,杨晨,李贵海,史丽娟,匡哲君. 基于虚拟现实技术的肢体运动康复训练评估装置[J]. 吉林大学学报(工学版), 2025, 55(10): 3274-3282 DOI:10.13229/j.cnki.jdxbgxb.20240066

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

康复训练一直都是医学领域中至关重要的一部分,旨在帮助患者恢复功能并提高其生活质量。然而,传统的康复方法存在一些固有的限制,具体表现为:缺乏动力和投入,患者可能会在长时间的训练中失去兴趣和动力,导致投入和积极性降低1;康复训练重复,传统康复训练通常包括重复性动作和练习,易使患者感到单调和无聊,降低参与度2;反馈受限,传统训练方法通常无法提供及时、充分的反馈,使患者难以了解自身进展和改进点3;个性化不足,传统训练通常采用通用方法,难以适应每位患者的独特需求和能力水平,导致康复效果不佳4;时间和资源限制,传统康复训练通常需要大量时间和资源,包括专业人员、设备和场地,增加康复的成本和时间压力5;实际应用有限,传统康复训练通常在受控的环境中进行,难以应用到日常生活中的实际情境,影响康复进展6。这些问题可能导致康复进程的缓慢和不稳定,影响了患者的康复效果。而随着虚拟现实技术的快速发展,它为康复医学领域带来了新的可能性。

本文旨在研究一种基于虚拟现实技术的肢体康复训练评估系统。实验结果表明,该系统在提高康复效果、增强患者动力和改善治疗体验方面取得了显著成效。这一研究为未来虚拟现实技术在康复领域的应用提供了有益的参考,同时也指出需要进一步深入研究,以不断优化系统性能,提高康复治疗的质量和效果。

1 相关工作

1.1 虚拟现实技术在医疗康复领域中应用的优势

虚拟现实技术已广泛应用于教育、娱乐、军事训练等领域,其在康复领域的应用也越来越受到重视。虚拟现实技术的主要优势在于它可以模拟真实环境,为患者提供一个沉浸式的训练平台。通过虚拟现实设备,患者可以感觉自己置身于不同的虚拟环境中,从而进行各种运动和康复训练。这种沉浸式体验可以激发患者的积极性,提高他们的参与度,从而增强康复效果。Laver等7的研究表明,虚拟现实康复训练能够为中风康复患者提供更具吸引力的康复体验。虚拟现实技术还具有实时反馈的能力,可以追踪和记录患者的运动,监测进展,并提供及时的反馈。这一功能对于康复训练非常重要,因为它可以帮助患者纠正错误的姿势和动作,确保训练的有效性和安全性。这些工作8-12都强调了实时反馈在虚拟环境中康复训练中的重要性。此外,虚拟现实技术还允许康复专业人员根据患者的特定需求和进展制订个性化康复计划,以优化康复效果。Lange等10研究了如何设计基于游戏的康复任务,以根据患者的特定需求和进展提供个性化计划。Lloréns等13探讨了使用虚拟现实技术进行平衡康复训练,通过Kinect骨骼跟踪系统,患者可以在家中完成训练,减少了对时间和场地资源的依赖。Merians等14研究了虚拟现实增强康复系统对中风患者的应用,指出该技术可以在康复中节省时间和场地资源,提高患者的可访问性。Sveistrup等15也指出,虚拟现实技术在运动康复中的应用,可以将虚拟训练任务与患者的日常生活情境相关联,从而提高康复成果的实际应用性。

1.2 肢体体感识别与手势识别技术

在医疗康复领域,特别是肢体康复及手功能康复方面,已有大量研究证实了虚拟现实技术在康复领域的潜力。如Oblak等16将Kinect设备与通用触觉驱动系统相结合,应用于上肢康复训练,特别是针对手臂康复。Prochnow等17探讨了在虚拟现实康复游戏系统中,使用Kinect进行肢体康复训练。多项研究18-22进一步利用Kinect设备及康复游戏,针对中风患者、帕金森病患者、多发性硬化患者的康复训练治疗问题展开研究,结果表明,与传统训练方法相比,虚拟现实组患者表现出更大的改善。在虚拟现实领域中,除Kinect设备外,LeapMotion设备也被用于手臂关节康复训练,如Weiss等23探讨了虚拟现实技术在神经康复中的应用,包括使用Leap Motion设备进行手臂康复训练。Chen等24探讨了集成Leap Motion设备的虚拟现实游戏系统,用于中风患者的认知和手臂康复。

通过以上研究分析发现,肢体体感识别技术已广泛应用于医疗康复领域。该技术主要通过传感器、摄像头和先进的算法实现,从而帮助患者进行康复训练、监测运动进展以及改善康复治疗的效果。当肢体体感识别与手势识别、虚拟现实技术相结合时,训练的反馈会更加明显、生动,可以提高康复训练时的自我感受效果。但到目前为止,在康复训练时,大多数虚拟现实康复系统要求患者佩戴笨重的生理传感器。对于身体不便或在医院病床上康复的患者来说,这会带来运动限制和身体负担,使他们无法完全实现高度沉浸和轻松自然的交互,并且无法直观清晰地看到数据可视化的训练结果。

2 系统架构

2.1 系统框架结构

该系统旨在满足肢体运动功能障碍患者的康复需求,患者需在肢体康复评估训练设备(以下统称康复评估设备)前做出相应动作。进行全身肢体康复训练动作时,患者需面向该设备,在1~3 m的距离完成肢体康复训练动作。Kinect传感器设备采集患者的运动轨迹,并传输给利用Unity3D和3Dmax等仿真软件构建的场景处理系统中;该系统主要由专项训练和综合训练两大模块组成,可根据虚拟场景中的康复训练任务及康复训练要求对数据进行处理,并将处理结果传输至数据评估系统模块。数据评估系统模块根据患者的姿势准确度记录每日训练次数、每日关节平均准确度、近3次平均准确度、与上次准确度对比,最后将处理后的结果反馈给患者。系统框架结构如图1所示。

2.2 硬件设备

本研究使用的设备由人体健康状态辨识与机能增强吉林省重点实验室成员联合研发,该产品为肢体运动障碍与手功能障碍患者提供了治疗、训练、康复一体化的综合解决方案。产品外部结构采用金属材质,保证产品结实耐用、稳定且安全性强。设备硬件包括立式一体机、43寸触控大屏、触控显示器构成,内部含有Kinect2.0体感深度摄像头用于检测记录患者做运动功能障碍康复训练,以及LeapMotion手势追踪器用于检测记录手功能障碍患者的医疗及康复情况。本产品全程自主研发,且与软硬件服务器相结合,可将患者数据实时传入云端保存,以供后续医生治疗所需。该设备全称为肢体康复训练评估仪,如图2所示。该产品为运动功能障碍患者提供娱乐性互动训练课程,通过体感摄像头捕捉人体动作,比对实际动作与标准动作的准确度,与游戏训练场景中的物体进行互动,提高患者康复训练的参与度。

使用的肢体姿势识别传感器为Kinect 2.0,该设备为微软推出的一款深度感应摄像头28,它采用了一系列先进的技术实现其功能。

Time-of-Flight摄像头技术:Kinect 2.0使用了时间飞行技术,通过发送红外光脉冲并测量光线从摄像头发射到物体表面返回的时间准确计算物体的深度,并创建一个深度图像。

高分辨率相机:Kinect 2.0配备了1 080p分辨率的彩色摄像头,能够捕捉更清晰、更丰富的细节图像,有助于更准确地识别和跟踪人体动作和面部表情。

多阵列麦克风:Kinect 2.0集成多个麦克风,支持空间声音的捕捉和定位,从而实现语音识别和控制功能。

骨骼追踪技术:Kinect 2.0使用先进骨骼追踪算法,能够准确捕捉人体关节的运动,实时跟踪用户动作,从而实现自然的用户界面和体感游戏。

红外照明和传感器:Kinect 2.0配备红外照明和传感器,确保在不同光照条件下可靠地工作。

具体技术路线图如图3所示。

2.3 采集数据与虚拟场景交互

肢体功能障碍患者站立于该设备前完成相应动作,由对应传感器采集其运动数据并传输至Unity开发的虚拟程序场景。本系统肢体康复训练共有9个虚拟场景,分别专项训练以下部位动作:颈部、肩关节、肩关节2、肘关节、腕关节、躯干、髋关节、髋-膝关节、踝关节。患者完成专项训练后,系统通过评估生成可视化数据报告并最终反馈给患者,使其可根据训练数据实时调整动作,提高康复训练的准确度,采集数据与虚拟场景的交互如图4所示。

2.4 虚拟场景设计

有趣的反馈可以缓解患者在训练过程中的疲劳,并防止治疗过于乏味,这对长期康复至关重要。本文设计了多种简单有趣的生物反馈虚拟环境,以满足不同障碍程度患者的需求,为用户提供肢体康复障碍康复的训练条件。系统通过易于操作的训练场景,使用户操作便捷、简洁。针对肢体运动障碍患者,本文设计了9种针对性训练场景,如图5所示。

以专项训练中的躯干-屈曲运动为例,患者站在设备前,根据屏幕右上角的教学视频做出相应的训练姿势;在右下角可查看自身运动轨迹信息;在屏幕左侧的虚拟场景中,小动物会随着患者做动作的标准程度做出相应的反馈,如向前跳跃并拾取金币。场景中还设有分数、时间、进度条等提示,有效提升康复训练的趣味性,如图6所示。

2.5 训练数据收集与可视化

2.5.1 训练数据收集

Kinect可以通过处理深度数据得到人体各个关节点的位置坐标,如头、手、脚等,具体如图7所示。Kinect最多可以跟踪2个骨骼,检测6个人。站立模式下可以跟踪20个关节点,坐姿模式下可以跟踪10个关节点。

以肘关节训练中所需采集的数据为例,需要计算肘关节的屈曲角度。在程序中,分别获得肘关节、腕关节和肩关节的空间坐标,分别记为ABC。从空间几何的角度来看,肘关节的屈曲角度即为向量AB和向量CA的夹角θ,根据空间向量夹角公式,θ=AB×CAAB×CA,再用180°减去θ即可得到肘关节屈曲的互补角度。

2.5.2 可视化数据及分析

本系统采用多种虚拟现实游戏化元素,将康复训练嵌入虚拟现实游戏中,通过游戏得分、关卡进度等方式呈现患者表现,从而激发其积极性和参与度;同时提供包括声音提示、视觉反馈和震动反馈在内的即时反馈,以帮助患者调整动作,确保正确的姿势和运动。系统还通过虚拟现实系统生成康复训练进度报告,以便医疗专业人员能够跟踪患者的进展,报告内容以图形、图表、数据等形式呈现。

图8所示,系统记录的康复训练数据包括每日训练次数柱状图、每日关节平均准确度、近三次平均准确度柱状图、与上次准确度对比图示。详细数据如图9所示。

采集的患者康复训练数据上传至云端服务器。当需要查看康复训练数据时,由设备向云端服务发送数据请求。

除在该设备上查看患者的康复训练数据外,医护人员或患者也可通过远程访问服务器平台,查看该患者详细的康复训练数据,如图10所示。

3 实验与结果

3.1 参加者

为验证系统有效性,本研究招募了10名中度烧伤患者参与测试,同时配备2名工作人员进行系统指导及培训。参与者被分为2组:第一组为对照组,5名参与者接受常规传统康复训练、肢体康复训练;第二组为实验组,其余5名参与者在本文设计的虚拟场景中进行康复训练。烧伤严重程度的划分25,目前临床上主要划分为轻度、中度、重度以及特重度烧伤。为确保效果评估的有效性,参与者符合以下标准:①符合中度烧伤标准;②康复训练期间无抗拒配合训练等行为;③具备良好的依从性和耐受性。

表1显示了参与者的信息。参与者筛选基于中度烧伤患者,年龄集中分布在25~45岁。为减少其他健康状况对实验的干扰,选择没有其他重大疾病且能够自行进行康复训练的参与者。

3.2 实验过程

每次训练结束后,每位参与者都会收到一份调查问卷,以反馈其培训经历。该量表通过以下问题考察参与者对培训的感受26:①训练的时候,你是否感到无聊?②训练过程中,您是否注意力不集中?③训练过程中,你能跟上训练节奏吗?

本次调查的每个项目均采用李克特五点量表27,选项范围为1~5,即非常同意到非常不同意。每项评分为1~5分,得分乘以相应的权重得到最终得分。

3.3 实验数据量化

在本次康复训练中,动作标准度通过以下方法统计:参与者统一完成50次康复训练动作,并由肢体康复训练评估仪进行测评。如果肢体康复训练评估仪识别骨骼动作正确率超过85%,则认为康复训练姿势正确,否则认为康复训练姿势错误。最终取所有参与者康复训练的平均正确率为动作标准度。

3.4 实验结果与分析

在本次康复训练中,系统记录了每位参与者训练前后康复参数的变化,以衡量训练系统的有效性。

图11所示,在进行传统康复训练或虚拟现实康复训练前,对照组与实验组成员的康复训练正确率是近似的。

对照组成员根据康复训练师进行一对一的传统康复训练方法,而实验组成员则采取本系统的虚拟现实环境进行康复训练,最终再进行标准度测试。双方康复训练对比如图12所示。

由实验数据得出,实验组成员的训练标准度整体高于对照组成员的标准度,且对于某项专项训练而言,实验组成员的训练标准度大幅提高。

同时,本实验统计总结了每位参与者在训练过程中的感受。如图13图14图15所示,在为期23 d的实验中,后续的康复训练可明显看出对照组的患者相较于实验组的患者,表现出了更多的注意力不集中、无聊感、跟不上节奏等问题。

这些数据表明,相较于传统的康复训练,虚拟现实技术为康复训练注入了更多的娱乐性和互动性,从而显著增强了患者的参与动力。

4 结 论

(1)本文系统通过实验设备和Kinect数据传感器,实现了人体肢体运动与虚拟场景结合及实时交互。本实验对采集的数据进行分析,利用人体运动数据驱动虚拟场景的变化,实现人体运动数据与虚拟场景的交互。通过数据可视化算法量化和可视化运动数据,以评估患者康复训练的有效性。在康复训练的虚拟场景中,通过任务、得分、情节等有趣的方式,引导患者在舒适的过程中持续进行康复训练,从而完成特定的康复训练任务和目标。该系统从训练效果和用户体验两个方面进行评估。

(2)对比10名参与者的实验结果和体验,实验数据表明,与传统的康复训练师进行康复动作的一对一指导相比,本研究系统具有更好的训练效果和体验,能促使康复训练更加积极。虚拟现实技术为康复训练注入了更多的娱乐性和互动性,从而显著增强了患者的动力。患者更愿意投入到虚拟仿真环境中,使康复过程更为愉悦,从而提高了治疗的依从性。实验结果支持基于虚拟现实技术的个性化康复方案的有效性,系统能够根据患者的特定需求和进展动态调整康复训练,使治疗更加贴近患者个体差异,提高治疗的针对性和有效性。

(3)本文系统针对的患者数量比较少、时间较短,下一步可开展进一步的长期研究和大规模应用,以更全面地评估系统的长期效果和患者的长期接受度。

参考文献

[1]

Levac D, Colquhoun H, O'Brien K K. Scoping studies: advancing the methodology[J]. Implementation science, 2015, 5(1): No.69.

[2]

Merians A S, Jack D, Boian R, et al. Virtual reality-augmented rehabilitation for patients following stroke[J]. Physical Therapy, 2002, 82(9): 898-915.

[3]

Holden M. K. Virtual environments for motor rehabilitation: review[J]. Cyberpsychology & Behavior, 2005, 8(3): 187-211.

[4]

Lohse K R, Lang C E, Boyd L A. Is more better? using metadata to explore dose-response relationships in stroke rehabilitation[J]. Stroke, 2014, 45(7): 2053-2058.

[5]

Laver K E, Schoene D, Crotty M, et al. Telerehabilitation services for stroke[J]. The Cochrane Database of Systematic Reviews, 2020,1(1): No.CD010255.

[6]

Barclay-Goddard R, Stevenson T. J. The impact of exercise in community-dwelling individuals with Alzheimer's disease: a meta-analysis[J]. Australasian Journal on Ageing, 2014, 33(2): 106-113.

[7]

Laver K E, George S, Thomas S, et al. Virtual reality for stroke rehabilitation[J]. Cochrane Database of Systematic Reviews, 2025, 5(6): No.CD008349.

[8]

Clark R A, Pua Y H, Bryant A L, et al. Validity of the Microsoft Kinect for providing lateral trunk lean feedback during gait retraining[J]. Gait & posture, 2013, 38(4): 1064-1066.

[9]

Deutsch J E, Borbely M, Filler J, et al. Use of a low-cost, commercially available gaming console (wii) for rehabilitation of an adolescent with cerebral palsy[J]. Physical Therapy, 2008, 88(10): 1196-1207.

[10]

Lange B, Koenig S, Chang C Y, et al. Designing informed game-based rehabilitation tasks leveraging advances in virtual reality[J]. Disability and Rehabilitation, 2012, 34(22): 1863-1870.

[11]

Cameirão M S, Badia S B I, Oller E D, et al. Neurorehabilitation using the virtual reality-based rehabilitation gaming system: methodology[J]. Journal of Neuro-Engineering and Rehabilitation, 2012, 9(1): 1-9.

[12]

Da Silva Cameirão M, Bermúdez I B S, Duarte E, et al. Virtual reality-based rehabilitation speeds up functional recovery of the upper extremities after stroke: a randomized controlled pilot study in the acute phase of stroke using the rehabilitation gaming system[J]. European Journal of Physical and Rehabilitation Medicine, 2011, 47(2): 223-232.

[13]

Lloréns R, Noé E, Colomer C, et al. Balance recovery through virtual stepping exercises using Kinect skeleton tracking: a follow-up study with chronic stroke patients[J]. Studies in Health Technology and Informatics, 2015, 217: 919-925.

[14]

Levac D E, Glegg S M, Sveistrup H, et al. Promoting therapists' use of motor learning strategies within virtual reality-based stroke rehabilitation[J]. PloS one, 2016, 11(12):No.e0168311.

[15]

Sveistrup H. Motor rehabilitation using virtual reality[J]. Journal of NeuroEngineering and Rehabilitation, 2004, 1(1): 1-10.

[16]

Oblak J, Cikajlo I, Matjačić Z. Universal haptic drive: a robot for arm and hand rehabilitation[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 2013, 21(3): 506-515.

[17]

Prochnow D, Bermúdez I B S, Schmidt J, et al. A functional magnetic resonance imaging study of visuomotor processing in a virtual reality-based paradigm: Rehabilitation gaming system[J]. European Journal of Neuroscience, 2013, 37(9): 1441-1447.

[18]

Borghese N A, Pirovano M, Lanzi P L, et al. Feasibility and preliminary efficacy of a telerehabilitation approach in stroke patients[J]. Games for Health Journal, 2013, 2(5): 318-324.

[19]

Shin J H, Kim M Y, Lee J Y, et al. Effective game-based virtual reality using Xbox Kinect on balance, gait, and cognitive function in individuals with Parkinson's disease: a randomized controlled trial[J]. Journal of Neuroengineering and Rehabilitation, 2013, 10(1): 1-11.

[20]

Webster D, Celik O, Popa D O. Exergame design for robotic stroke rehabilitation[C]∥Proceedings of the Conference on Interactive Entertainment, 2014: 1-8.

[21]

Bonnechère B, Jansen B, Omelina L, et al. The use of commercial video games in rehabilitation: a systematic review[J]. International Journal on Disability and Human Development, 2014, 13(4): 395-405.

[22]

Dutta A, Jacob A, Nair S. A game theoretic framework for analyzing Kinect based stroke rehabilitation system[C]∥IEEE 15th International Conference on e-Health Networking, Applications and Services (Healthcom), Visby, Sweden, 2013: 330-334.

[23]

Weiss P L, Rand D. Virtual reality in neurorehabilitation[J]. Journal of Clinical & Diagnostic Research, 2024,18(Sup.): No.41

[24]

Chen C, Jeng M C, Fung C P, et al. The effectiveness of an interactive virtual reality game system in patients with unilateral neglect following stroke[J]. The American Journal of Occupational Therapy, 2014, 68(6): 653-662.

[25]

Int. J. Mol. Burns: classification, pathophysiology, and treatment: a review[J]. International Journal of Molecular Sciences, 2023, 24(4): No.3749.

[26]

Lijuan S, Feng L, Yuan L, et al. Biofeedback respiratory rehabilitation training system based on virtual reality technology[J]. Sensors, 2023, 23(22): No. 9025.

[27]

DeVellis R. F. Scale Development: Theory and Applications[M]. Thousand Oaks: Sage Publications,2017.

[28]

Shotton J, Fitzgibbon A, Cook M, et al. Real-time human pose recognition in parts from single depth images[J]. Communications of the ACM, 2013, 56(1): 116-124.

基金资助

吉林省科技发展计划项目(YDZJ202303CGZH010)

吉林省科技发展计划项目(YDZJ202301ZYTS496)

吉林省教育厅科学技术研究规划项目(JJKH20230673KJ)

AI Summary AI Mindmap
PDF (2159KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/