基于体感交互技术的上肢主动康复系统的设计及信效度分析

Design of Upper Limb Active Rehabilitation System Based on Somatosensory Interaction Technology and Reliability and Validation Analysis

摘要

目的 将Kinect体感交互技术用于脑卒中导致的偏瘫患者上肢运动康复，结合脑卒中康复的基本理论及各康复阶段的特点，设计出针对上肢运动功能恢复的主动康复系统，以期提高康复效果。 方法 通过3D建模技术创造虚拟训练场景，结合Kinect体感交互技术对人体姿势及动作进行识别，基于中枢神经系统的可塑性、Brunnstrom理论、运动再学习等康复理论，设计出符合脑卒中上肢运动功能障碍特点的虚拟游戏，同时实现患者即时训练信息的实时反馈，建立上肢运动康复训练系统，并验证该康复系统对上肢关节活动度测量的效度与信度。 结果 应用体感交互技术设计出上肢主动康复系统，包括切食物、射击等多个虚拟训练游戏，通过运动检测及判别算法，实现患者与虚拟环境的交互，同时实现运动功能评估及关节活动信息的实时反馈。系统对肩关节外展、屈曲、后伸与肘关节屈曲等关节活动度测量与设定的目标值有较高的一致性，采用Bland-Altman进行比较，系统测量肩关节外展活动度的95%一致性界限为（-1.29，1.57），肩关节屈曲活动度的95%一致性界限为（-1.46，1.60），肩关节后伸活动度的95%一致性界限为（-1.53，1.67），肘关节屈曲关节活动度的95%一致性界限为（-1.42，1.56），系统效度良好。采用组内相关系数（ICC）评价系统的信度，其中在复测信度方面，肩关节外展、屈曲、后伸与肘关节屈曲等4个关节活动度的ICC均＞0.9；研究者间信度方面，4个关节活动度的ICC均＞0.9。 结论 本研究设计的基于体感交互技术的上肢主动康复系统具有良好的效度与信度，可行性强，能满足临床上肢功能康复的需求，该系统为脑卒中后上肢功能康复提供新的方法，相较于传统的上肢训练具有针对性强、趣味性高等优势，有望提高康复治疗的效率。

Abstract

Objective To develop an upper limb active rehabilitation system with Kinect somatosensory interaction technology based on the basic rehabilitation theory and different stages of rehabilitation treatment for the post stroke hemiplegic patients to improve the effect of rehabilitation treatment. Methods Virtual training scenarios were created with 3D modeling technology, and the human body posture and movements were detected with the Kinect somatosensory interaction technology. Based on the plasticity of the central nervous system, Brunnstrom theory, motor re-learning, and other rehabilitation theories, this study designed the virtual games in line with the characteristics of upper limb motor dysfunction after stroke. Meanwhile, the real-time feedback was given to the training of patients. Finally the upper limb exercise rehabilitation training system was established, and the validity and reliability of the rehabilitation system for the measurement of upper limb joint range of motion were verified. An upper limb active rehabilitation system was designed using the Kinect somatosensory interaction technology. Results The system included several virtual trai-ning games such as cutting food and shooting. Through motion detection and discrimination algorithm, the system realized the interaction between patients and virtual environment, as well as the evaluation of motor function and real-time feedback of joint range of motion information. The measurement of shoulder abduction, flexion, extension, elbow flexion and other joint range of motion in the system had a high consistency with the set target values. The Bland-Altman was used for comparison. The 95% consistency limits of shoulder abduction range of motion in the system was (-1.29, 1.57). The 95% consistency limits for shoulder flexion range of motion was (-1.46, 1.60), the 95% consistency limits for shoulder extension range of motion was (-1.53, 1.67), and the 95% consistency limits for elbow flexion range of motion was (-1.42, 1.56), indicating good system validity. Intra-group correlation coefficient (ICC) was used to evaluate the reliability of the system. In test-retest reliability, the ICC of shoulder abduction, flexion, extension and elbow flexion were all greater than 0.9. In terms of interobserver reliability, the ICC of all four joint range of motion were greater than 0.9. Conclusion This upper limb active rehabilitation system designed based on somatosensory interaction technology has good validity and reliability, strong feasibility, which can meet the needs of clinical upper limb rehabilitation, and provide a new method for the rehabilitation of upper limb function after stroke. Compared with the traditional upper limb training, it is highly targeted and interesting, and is expected to improve the efficiency of rehabilitation treatment.

Graphical abstract

关键词

脑卒中 / 体感交互 / 上肢主动康复 / 方案设计

Key words

stroke / somatosensory interaction / upper limb active rehabilitation / conceptual design

脑卒中，又称中风，是世界各地人民死亡和长期残疾的主要原因^［1］。据预测，全球脑卒中的发病率持续上升，到2030年将有1 200万人死于脑卒中，全世界将有6 000万脑卒中幸存者^［2］。上肢功能障碍是脑卒中最常见的后遗症，严重影响患者的日常生活能力^［3］。此外，幸存者常常变得依赖看护者，影响其社区生活和谋生能力，给家庭和社会带来极大的负担。因此，改善患者上肢功能是脑卒中康复的主要目标之一^［4-5］。

传统的康复技术能有效地改善上肢功能，但治疗往往需要反复地锻炼，单调乏味，难以激发患者的治疗积极性；同时，传统治疗需要患者与临床医师一对一的交流，由于医疗机构和临床医师有限，脑卒中后接受康复治疗的患者通常会选择早期出院，导致患者治疗剂量的不足^［6］。基于体感交互与3D虚拟技术（virtual reality，VR）的训练与传统的康复方法相比，具有可创造更真实的场景、可提供特定任务的重复训练、更强的参与感等优点^［7］。根据脑卒中康复的基本理论及各康复阶段的特点，将Kinect体感交互技术与VR技术结合构建的康复系统可以替代许多繁琐复杂的传统器材，增加训练的轻便性及灵活性^［8］。在康复训练的同时提供更高强度、有趣且量化的治疗，能够降低康复系统的成本，易于在社区和家庭中推广，解决患者治疗量不足的难题。本研究旨在将体感交互技术用于脑卒中患者上肢运动功能障碍的康复中，设计出针对上肢运动功能康复积极有效的主动康复系统，为脑卒中后遗留上肢功能障碍患者提供一种有效的康复方法。

1 系统的构成

1.1　系统的硬件构成

本系统由计算机主机及显示器、Kinect体感器、显示设备、音响设备及防护设施组成。患者坐于座椅上或站立进行训练。座椅下面有软垫、两侧有护栏，以保护患者安全。训练时患者正面对显示设备，在显示设备前放置Kinect传感器，使患者与Kinect的距离在2 m左右^［9］。相关硬件连接好后，通过计算机登录训练系统，选择训练项目及难度，开始康复训练。

1.2　系统的工作流程

在训练过程中，Kinect通过红外线实时获取人体在空间中的深度数据。在得到人体的深度数据之后，将人体各关节点的3D位置识别出来，从而对人体姿势及动作进行识别。将Kinect采集的受训肢体的运动信息与训练项目的虚拟场景中相对应的物体绑定，使这个物体能随着患者受训肢体的运动而运动。流程示意图见图1。同时数据处理模块会对获取的运动数据进行实时的处理及分析，根据患者的表现提供实时的反馈信息，完成任务后，系统会提供视觉及听觉的鼓励。

2 训练系统的内容及实现

2.1　关键技术参数

本训练涉及到3种关节活动度的测量，下面分别说明。

2.1.1　肘关节屈曲角度计算

因为左右两侧计算方法一致，所以下面不区分左右来统一说明角度的计算方法。首先计算肘关节屈曲的角度。在程序中，分别获得肘关节、腕关节和肩关节的空间坐标，分别记为A\mathrm{、}B\mathrm{、}C。从空间几何的观点来看，肘关节的屈曲角度就是向量\overrightarrow{AB}和向量\overrightarrow{CA}的夹角，根据空间向量夹角公式，肘关节屈曲角度＝\frac{\overrightarrow{AB}\times \overrightarrow{CA}}{\left|\overrightarrow{AB}\right|\times \left|\overrightarrow{CA}\right|}，再用180°减去肘关节屈曲角度即可得到肘关节屈曲互补角度。

2.1.2　肩关节前屈角度计算

因为左右两侧计算方法一致，所以下面不区分左右来统一说明角度的计算方法。在程序中，分别获得肘关节和肩关节的空间坐标，分别记为A\mathrm{、}B。记竖直向下的向量为\overrightarrow{down}。从空间几何的观点来看，肩关节前屈的角度就是向量\overrightarrow{BA}和向量\overrightarrow{down}的夹角，所以肩关节前屈角度＝\frac{\overrightarrow{BA}\times \overrightarrow{down}}{\left|\overrightarrow{BA}\right|\times \left|\overrightarrow{down}\right|}。

2.1.3　上肢水平内收角度计算

首先计算左上肢水平内收的角度。在程序中，分别获得左侧肘关节和左侧肩关节的空间坐标，分别记为A\mathrm{、}B。记水平向左的向量为\overrightarrow{left}。从空间几何的观点来看，左上肢水平内收的角度就是向量\overrightarrow{BA}和向量\overrightarrow{left}的夹角，所以左上肢水平内收的角度＝\frac{\overrightarrow{BA}\times \overrightarrow{left}}{\left|\overrightarrow{BA}\right|\times \left|\overrightarrow{left}\right|}。类似地，分别获得右侧肘关节和右侧肩关节的空间坐标，分别记为C\mathrm{、}D。记水平向右的向量为\overrightarrow{right}，右上肢水平内收的角度＝\frac{\overrightarrow{DC}\times \overrightarrow{right}}{\left|\overrightarrow{DC}\right|\times \left|\overrightarrow{right}\right|}。

2.2　系统训练功能的实现，以切食物游戏为例

2.2.1　适应证

脑卒中后遗留上肢功能障碍患者，在辅助器械协助下能够维持平衡，认知功能良好（MMSE≥22分）者。

2.2.2　训练方法及动作设计关键点

通过虚拟持刀切柜内食物动作，指导患者肩关节上下、前屈、外展、内收等多个方向的运动，提高肩关节各个方向主动运动控制能力。此外，促进上肢分离运动控制；抑制肩胛骨下沉、后撤的痉挛模式，促进上肢向前取物、够物能力，并提高肩肘关节的控制能力。同时可提高躯干控制、坐站平衡能力及患者注意力的转移、分配能力。游戏训练场景见图2。

2.2.3　训练难度设置说明

在控制台上，有3个控制选项：肘关节屈曲互补角度、肩关节前屈角度和上肢水平内收角度，这3个选项分别控制肘关节伸直、肩关节前屈、肩关节水平内收角度。通常情况下，角度越大，训练难度越高。治疗师可以根据患者的功能状况及时调整训练难度。游戏训练界面见图3。

2.3　系统的实时反馈功能

为更好地根据患者的情况调整治疗方案，系统提供实时反馈功能模块。该模块可以在游戏训练时让治疗师实时查看患者的训练信息。反馈模块包括直方图栏和统计信息栏，见图4。直方图栏动态跟踪显示患者某个关节角度随时间的变化。统计信息栏记录了从训练开始到现在，每个关节完成的最大角度和每个关节的完成次数。训练结束后，训练数据可导出生成患者的训练报告，训练报告包括游戏难度、关节活动度、完成游戏的时间和每个关节完成目标的次数等。

3 系统的效度与信度验证

3.1　效度分析

3.1.1　对象

本研究选取30例上肢无活动障碍的受测者。符合以下纳入标准：① 年龄18～60岁；② 无明显的上肢活动障碍，能够正常完成日常生活中的基本动作；③ 无神经系统疾病或严重肌肉骨骼问题的病史；④ 无心理障碍，能够理解并配合实验的要求；⑤ 签署知情同意书，表示自愿参与研究。

3.1.2　方法

本研究采用系统进行上肢4个关节活动度的测量：肩关节外展、肩关节屈曲、肩关节后伸和肘关节屈曲。在测量时，先设立相关关节的目标角度，肩关节外展、肩关节屈曲、肘关节屈曲设立30°～120°每隔10°为一目标角度，共10个角度。肩关节后伸设立5°～50°，每隔5°为一目标角度，共10个角度。30名受测者随机分为10组，每组进行各个关节的其中一个目标角度的测量。测量时受试者站于或坐于离Kinect传感器1.5～2.5 m的范围内，正面面对Kinect传感器进行测量。测量时受试者按照目标角度运动受测关节的两端肢体与角度尺目标角度的刻度线重合。当受测关节与刻度线吻合时，记录下系统测量出的角度值，即为测量角度值。通过测量角度值与目标角度进行比较，以验证系统的效度。以上测量均由同一名治疗师进行。

3.1.3　统计学方法

所有数据输入Excel表格，应用SPSS 23.0软件进行统计分析。计量资料符合正态分布以（\overline{x}±s）表示。效度分析采用Bland-Altman法进行比较。采用95%一致性界限及Bland-Altman图来分析。

3.1.4　结果

3.1.4.1　肩关节外展关节活动度的测量

采用Bland-Altman 法进行一致性评价，结果见图5。横坐标表示本系统测量值与目标角度的平均值，纵坐标表示测量值与目标角度的差值，圆圈表示测量的结果。“Mean”代表测量值和目标角度之间差值的平均值，“SD”表示差值的标准差。本系统测量的结果与角度尺示数的最大误差为1.7°，平均误差为0.16°，标准差为0.73°。这表明这种测量方法的偶然误差较小，可以满足临床测量需要。由图5的结果所示95%一致性限度分析，本系统测量值与目标角度的95%一致性界限为（-1.29，1.57），有29个数据点落在两条线上，占总体30个的96.67%，说明本系统的测量结果与目标值有较高的一致性。

3.1.4.2　肩关节屈曲和后伸关节活动度、肘关节屈曲关节活动度

在肩关节屈曲方面，本系统测量的结果与角度尺示数的最大误差为1.5°，平均误差为0.074°，标准差为0.783°，95%一致性界限为（-1.46，1.60）。肩关节后伸方面，本系统测量的结果与角度尺示数的最大误差为1.7°，平均误差为0.073°，标准差为0.82°，95%一致性界限为（-1.53，1.61）。在肘关节屈曲方面，本系统测量的结果与角度尺示数的最大误差为1.5°，平均误差为0.067°，标准差为0.760°，95%一致性界限为（-1.42，1.56）。以上关节活动度的测量均说明本系统的测量结果与目标值有较高的一致性。结果见图6～8。

3.2　信度分析

3.2.1　对象

同效度分析对象。

3.2.2　方法

① 复测信度：选取30例受测者，在不同时间同一名治疗师进行2次肩关节外展关节活动度的测量，并将2次测量值进行比较。② 研究者间信度：30名受测者，由2名治疗师分别对同一患者进行一次肩关节外展关节活动度的测量，然后将2名治疗师的测量值进行比较。

3.2.3　统计学方法

采用组内相关系数（intra-class correlation coefficients，ICC）进行信度分析的评价，当ICC＞0.80时表示一致性好。

3.2.4　结果

复测信度肩关节外展的ICC为0.999，ICC的95％可信区间为（0.998，1.000），2次测量的差值的均值为0.09°，标准差为1.20°，见表1。研究者间信度肩关节外展的ICC为0.999，ICC的95％可信区间为（0.998，1.000），2次测量的差值的均值为0.08°，标准差为1.22°，见表2。结果显示，该系统在重复测量误差和其他随机误差较小，说明此系统在不同时间、不同测量者间测量的重复性较好。

4 讨 论

目前，脑卒中后上肢功能障碍的治疗方法主要包括强制性运动疗法和运动再学习疗法^［10］。近年来，基于体感互动结合虚拟游戏的主动运动康复疗法备受关注。研究发现基于红外景深摄像头与体感游戏训练的方法，可以促进受损上肢运动功能和灵活性的恢复，明显提高患者的FMA评分和Wolf评分^［11］。

随着人类运动追踪技术的进步和计算机显卡的发展，极大地促进了视频游戏业的发展，同时使大家开始将游戏和虚拟现实技术相结合作为脑卒中康复的工具，用于脑卒中上肢运动、步态康复等^［12-13］。游戏系统可以极大提高患者的兴趣，从而增加患者参与物理治疗的积极性。但是为普通人群设计的游戏对有运动或认知缺陷的患者来说太复杂，现成的游戏是鼓励非特异性的运动，缺乏患者特异性的模式，有时甚至会对患者造成更严重的损害。因此主动运动康复训练系统的重点在于康复训练游戏的设置^［14-15］。

该系统通过虚拟游戏训练，诱导患者共同运动向分离运动转化，促使患者强化正常的运动模式，提高康复的效果。同时，要求患者进行大量的主动重复性活动，刺激大脑皮质神经通路的重建，储存正确的运动模式。此外，患者的训练活动具有一定的任务导向性。通过互动游戏方式，给患者创造任务导向性的训练，训练过程的趣味性可增加患者训练的积极性，使患者可以主动完成大量的重复性动作。同时，在患者完成训练任务时，给予听觉及视觉的反馈，促进神经通路的重建。这与为普通人群设计的游戏有本质区别。

最后，本系统还可以根据患者的上肢功能损伤的程度及康复的进度，定量调整每个游戏的难易程度，适用性较强。对于患者来说，这提供了一个个体化的训练平台。

本系统使用Kinect体感交互设备作为传感器，替代很多传统复杂且昂贵的传感器，极大地降低了设备的成本，使其易于在社区甚至家庭推广。在家中的患者可以通过游戏方式来增加锻炼和自我管理的剂量，减少对医疗保健的依赖，并可以使治疗师有时间管理有更严重问题的患者。系统测量精度可以满足一些复杂的动作捕捉，经算法修正后系统反应的延迟情况并不明显，精度及稳定性足以满足临床康复训练，稍微不足的是对手部小关节测量及训练仍欠缺。此外，红外体感设备对训练环境抗干扰能力有较高要求，这些需求需要进一步研究和提高。

参考文献

[1] VIRANI S S， ALONSO A， BENJAMIN E J，et al. Heart disease and stroke statistics-2020 update：a report from the American Heart Association ［J］. Circulation，2020，141（9）：e139-e596.

[2] BALLESTER B R， MAIER M， DUFF A，et al. A critical time window for recovery extends beyond one-year post-stroke ［J］. J Neurophysiol，2019，122（1）：350-357.

[3] HUANG Q Q， WU W， CHEN X L，et al. Evaluating the effect and mechanism of upper limb motor function recovery induced by immersive virtual-reality-based rehabilitation for subacute stroke subjects：study protocol for a randomized controlled trial ［J］. Trials，2019，20（1）：104.

[4] 中华医学会神经病学分会神经康复学组，中华医学会神经病学分会脑血管病学组，卫生部脑卒中筛查与防治工程委员会办公室. 中国脑卒中康复治疗指南（2011完全版）［J］. 中国康复理论与实践，2012，18（4）：301-318.

[5] Group Neurorehabilitation，Neurology Branch of Chinese Medical Association， Group Cerebrovascular，Neurology Branch of Chinese Medical Association，Office of Stroke Screening and Prevention Engineering Committee，Ministry of Health. Guidelines for rehabilitation treatment of stroke in China （2011 full version） ［J］. Chin J Rehabil Theory Pract，2012，18（4）：301-318.

[6] 蔡琛，杨宁，孙秋芳，等. 任务导向同步生物反馈治疗脑卒中后上肢功能障碍的临床研究［J］. 中国康复医学杂志，2020，35（3）：345-347.

[7] CAI C， YANG N， SUN Q F，et al. Clinical study of task-oriented synchronous biofeedback in treatment of upper limb dysfunction after stroke ［J］. Chin J Rehabil Med，2020，35（3）：345-347.

[8] DEO M G. "Doctor population ratio for India—the reality" ［J］. Indian J Med Res，2013，137（4）：632-635.

[9] AHMAD M A， SINGH D K A， MOHD NORDIN N A，et al. Virtual reality games as an adjunct in improving upper limb function and general health among stroke survivors ［J］. Int J Environ Res Public Health，2019，16（24）：5144.

[10] GAMA A DA， FALLAVOLLITA P， TEICHRIEB V，et al. Motor rehabilitation using Kinect：a systematic review ［J］. Games Health J，2015，4（2）：123-135.

[11] 蔡俊，战荫伟，吴齐云. 基于可靠性评估的人体骨架重建方法的研究［J］. 计算机应用与软件，2016，33（5）：144-147.

[12] CAI J， ZHAN Y W， WU Q Y. Research on human skeleton reconstruction method based on reliability evaluation ［J］. Comput Appl Softw，2016，33（5）：144-147.

[13] THIELMAN G， BONSALL P. Rehabilitation of the upper extremity after stroke：a case series evaluating REO therapy and an auditory sensor feedback for trunk control ［J］. Stroke Res Treat，2012，2012：348631.

[14] FRANCISCO-MARTÍNEZ C， PADILLA-MEDINA J A， PRADO-OLIVAREZ J，et al. Kinect V2-assisted semi-automated method to assess upper limb motor performance in children ［J］. Sensors （Basel），2022，22（6）：2258.

[15] UL A Q， KHAN S， ISHTIAQ S，et al. Therapeutic benefits of Xbox Kinect training on upper limb motor function in chronic stroke patients［C］//2022 8th International Conference on Virtual Reality （ICVR）. Nanjing：IEEE，2022：142-146.

[16] 麦王向，张朝霞. 虚拟现实技术在脑卒中患者步态康复中的应用进展［J］. 中国康复理论与实践，2016，22（4）：433-437.

[17] MAI W X， ZHANG Z X. Application of virtual reality in gait rehabilitation for stroke （review） ［J］. Chin J Rehabil Theory Pract，2016，22（4）：433-437.

[18] REINSDORF D S. Engineering for arm use after stroke：a precision rehabilitation model，minimalistic robot design pattern，and proprioception-targeting gaming paradigm ［D］. Irvine，CA，USA：University of California，Irvine，2022.

[19] XU Y F， TONG M， MING W K，et al. A depth camera-based，task-specific virtual reality rehabilitation game for patients with stroke：pilot usability study ［J］. JMIR Serious Games，2021，9（1）：e20916.

基金资助

国家重点研发计划资助项目(2020YFC2005700)

广东省科技计划项目(2021A1414020006)