基于迁移学习的肌电信号手势识别方法研究

Research on EMG Signals Gesture Recognition Based on Migration Learning Strategy

摘要

在利用肌电信号进行手势识别的过程中， 受行为习惯、 肌肉组织以及佩戴方式不同等影响， 往往存在手势训练时间长、 数据量大、 识别准确度低、 实时性差等难题。为此， 本文运用迁移学习理论对LSTM算法模型进行改进， 选取不同状态的手势组成源任务， 以训练好的LSTM网络作为源网络模型， 对设定的6种手势完成两种迁移策略与非迁移策略下的手势识别对比实验。结果表明： 采用预训练方式的迁移学习策略识别效果优于固定值方式的迁移策略。当采用预训练迁移策略的方式改进LSTM手势识别算法时， 其训练时间仅为使用LSTM识别算法所需训练时间的1/16， 当每个动作仅重复20次时， 准确率就可以达到80.2%， 比仅使用源网络中的LSTM手势识别方法平均高出22%。因此， 采用迁移学习方法在减轻训练量的同时， 也可以提高手势识别的准确率。

Abstract

In the process of gesture recognition using EMG signals， affected by behavioral habits， muscle tissues， and different wearing styles， there were often difficulties such as long gesture training time， large data volume， low recognition accuracy， and poor real-time performance. For this reason， this paper used the migration learning theory to improve the LSTM algorithm model， selected different states of gestures to form the source task， took the trained LSTM network as the source network model， and completed the gesture recognition comparison experiments under the two migration strategies and non-migration strategies for the six types of gestures set. The results show that the recognition effect of the migration learning strategy using the pre-training approach is better than that of the migration strategy using the fixed-value approach. When the LSTM gesture recognition algorithm is improved by using the pre-training migration strategy， the average training time is only one-sixteenth of the training time required to use the LSTM recognition algorithm， and when each action is repeated only 20 times， the accuracy rate can reach 80.2%， which is 22% higher on average than that of using only the LSTM gesture recognition method in the source network. Therefore， the gesture recognition accuracy can be improved while reducing the training amount by using the migration learning method.

Graphical abstract

关键词

肌电传感技术 / 迁移学习 / 神经网络 / 无人系统 / 手势识别

Key words

EMG sensing technology / migration learning / neural networks / unmanned systems / gesture recognition

0 引　言

肌电传感技术是利用肌肉收缩形成的不同电信号来识别人体动作过程的技术， 鉴于其较高的信息传输速率和时间分辨率， 已成为当前主流的穿戴式手势识别方法之一^［1‐3］。然而， 在设计手势识别算法时， 使用传统机器学习算法进行肌电信号识别时， 由于人体结构差异、 肌肉纤维类型差异以及传感器与肌肉接触程度不同等因素， 导致其对不同用户识别时的准确率差异较大， 极大限制了其在不同用户中的推广^［4‐6］。通过增加训练样本可以解决上述难题， 但是这又会给用户带来训练负担^［7］。为此， 一些国内外学者对肌电信号手势识别在不同用户之间的准确率与实时性问题进行了研究^［8‐10］， 主要是使用基于模型的迁移学习策略， 将源任务的整个模型应用于目标任务。同时， 研究人员从不同作用力和电极偏移对识别准确率的影响出发， 展开了对迁移学习的研究， 这些研究结果表明， 使用迁移学习策略改进的算法在准确率方面提高了4%~15%， 训练时间平均缩短53%。周祉君^［11］主要针对不同人与不同设备之间的自适应设计了基于对抗的领域自适应框架， 该方法的核心是通过对抗训练来找到一个能够映射源域和目标域的领域适应函数， 实现对目标领域的有效泛化， 最终的识别准确率提高了4.81%， 达到74.5%。周杨^［12］引入多流融合策略与数据增强方法， 从信号数据与算法网络两方面来解决泛化问题， 通过使用数据增强的方法将EMG信号识别的准确率从54.07%提升至64.67%， 训练时间也缩短至原来的1/3。从上述研究可以发现， 尽管通过迁移学习、 数据增强、 数据融合等策略可以提高识别的准确率， 但仍未达80%， 提高能力有限， 且无法满足实际需求。

迁移学习（Transfer Learning）是一种利用已学到的知识和经验从一个任务或领域迁移到另一个任务或领域的方法^［13］。选取一种符合肌电信号特征的源网络对于迁移学习至关重要。表面肌电信号是一系列随时间变化的电信号， 而循环神经网络有记忆特性， 这一特性使得循环神经网络在处理自然语言、 时间序列数据时有较大的性能优势。因此， 使用长短期记忆网络可以很好地匹配肌电信号数据在时间上的特性。但是， 仅使用长短期循环神经网络仍然无法很好地提高算法在不同使用者之间的泛化能力。为此， 本文提出一种新的EMG（Electromyography）手势识别方法——基于迁移学习策略的LSTM（Long Short-Term Memory）识别方法。基于迁移学习策略的手势识别主要通过数据采集、 预处理、 特征提取网络（源网络）构建和迁移学习策略以及手势控制无人机验证来实现。

1 源网络与目标网络迁移学习策略

迁移学习策略的算法中设计主要包括： LSTM源网络模型与目标网络模型， 算法流程如图 1 所示。LSTM源网络模型主要使用源数据集中的EMG信号来训练基础网络模型并调整参数， 然后将调整好的模型保存。在目标网络模型中， 首先使用少量新用户的EMG数据并调用源网络中的模型， 然后迁移其中部分参数并进行梯度更新， 最后测试模型的识别效果， 实现基于迁移学习的LSTM算法设计。本文使用的迁移学习策略为基于模型迁移的策略， 可以为解决EMG手势信号识别在不同人之间准确率低、 训练负担重的问题提供新的思路。

1.1 数据处理算法设计

源数据集与目标数据集在使用前需要进行数据预处理， 主要包括数据信号滤波、 数据分割。滤波算法主要采用高通滤波器， 表示为

y\left[i\right]=\alpha *y\left[i-\mathrm{1}\right]+\alpha *\left(x\left[i\right]-x\left[i-\mathrm{1}\right]\right),（1）

式中： x\left[i\right]为采样数据， y\left[i\right]为滤波结果， 初始y\left[\mathrm{0}\right]=x\left[\mathrm{0}\right]， 设置\alpha =\mathrm{0.8}， 经过循环计算可以不断弱化上次滤波的值， 使采样间的差值相对强化。在不断变弱上次滤波值的基础上， 增加本次采样值与上次采样值之间的变化。

数据采集完成后， 通过幅度阈值方法进行数据分割^［14］。由于肌肉的收缩和松弛状态之间存在明显的肌电信号幅值差异， 因此可以设置握拳能量阈值， 当窗口能量无法达到阈值时停止采集信号。窗口能量的计算公式为

E_{\mathrm{e}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{g}\mathrm{y}}=\frac{\mathrm{1}}{m*w_s}{\displaystyle \sum _{i=\mathrm{0}}^{m-\mathrm{1}}}{\displaystyle \sum _{j=\mathrm{0}}^{w_s-\mathrm{1}}}emg\left[i\right]{\left[j\right]}^{\mathrm{2}},（2）

式中： w_s为窗口长度； m为采集的通道数量（m=1）。

1.2 LSTM源网络算法结构

由于循环神经网络（Recurrent Neural Network）存在短时记忆（Short-Term Memory）问题， 只能记录相近的语义相关信息， 并且容易误差累计、 梯度爆炸。而LSTM（Long Short-Term Memory）是一种常用于处理序列数据的循环神经网络模型。LSTM通过引入门控机制， 可以有效地解决长序列训练中的梯度消失和梯度爆炸的问题。因此， 本文选用LSTM算法对源域数据集进行学习。LSTM算法网络结构如图 2 所示。

图 2 中， t表示一个手势序列的采样点的个数， 这里，t=100， 输入数据1~100表示第一个手势序列的第1~100组数据。手势识别时每个采样点的输入数据由1个维度的数据构成， 为EMG单通道信号。LSTM中包含3个门， 第一道门为遗忘门， 控制需要被遗忘的信息， 其函数表达式为

f_t=\sigma \left(W_f\cdot \left[h_{t-\mathrm{1}},x_t\right]+b_f\right),（3）

式中： \sigma为sigmoid激活函数， 输出为0~1； h_{t-\mathrm{1}}为上一个时刻的隐藏状态； x_t为当前时刻的输入， 而W_f为遗忘门权重； b_f为遗忘门偏置。

第二道门为输入门， 控制需要被添加到状态中的新信息以及需要被输出的信息， 其函数表达式为

i_t=\sigma \left({\mathit{W}}_i\left[h_{t-\mathrm{1}},x_t\right]+b_i\right),（4）

\tilde{C}=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(W_C\cdot \left[h_{t-\mathrm{1}},x_t\right]+b_C),（5）

C_t=f_t*C_{t-\mathrm{1}}+i_t*{\tilde{C}}_t,（6）

式中： {\mathit{W}}_i为输入门的权重矩阵； b_i为输入门的偏置项； {\tilde{C}}_t为记忆更新的候选单元状态； b_C为单元状态的偏置项； C_t为当前细胞单元状态。

tanh函数创建了一个新的候选值向量， 可以添加到状态中， 输出为一个介于0和1之间的数， 表示需要添加的信息比例。

第三道门为输出门， 其表达式为

o_t=\sigma \left(W_o\left[h_{t-\mathrm{1}},x_t\right]+b_o\right),（7）

h_t=o_t*\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(C_t),（8）

式中： W_o为输出门权重； b_o为输出门偏置； h_t为输出结果。

输出门的输入包括上一个时刻的隐藏状态、 当前时刻的输入和当前时刻的记忆状态， 输出为一个介于0和1之间的数， 表示需要输出的信息比例。

激活函数softmax可以用于处理最后一个时间步的LSTM输出。它可以将多分类的输出数值转化为相对概率， 输出层的输入是最后一个采样点对应的LSTM单元的输出， softmax函数为

S_i=\frac{{\mathrm{e}}^{{\mathit{V}}_i}}{{\displaystyle \sum _i^C}{\mathrm{e}}^{{\mathit{V}}_i}},（9）

式中： V 表示上一层的输出向量； i表示类别索引， 范围为1~6； C表示总的类别个； S_i表示输出向量的第i个元素。输出层输出一个六维向量， 六维向量分别表示该手势序列对应的6种手势的概率。

门控机制可以通过控制遗忘门、 输入门和输出门的值来更新记忆单元的值， 从而实现对序列中的信息的处理和维护。LSTM算法模型搭建完成后， 使用训练集训练模型， 具体步骤如图 3 所示。

1.3 目标网络算法设计

通过对上述LSTM算法进行训练来解决特定的任务， 一旦特征空间分布发生变化， 就必须从头开始重新构建模型。而迁移学习（TL）旨在利用从一个任务或领域中获得的知识， 来帮助目标领域学习， 可以很好地解决不同用户间肌电信号差异性的问题。

迁移学习策略能够利用以前学到的知识， 并将其应用于新的相关任务中。如果有更多任务T1的数据， 便可以利用这些数据进行学习， 并将其推广应用于任务T2（任务T2的数据较少）。例如： 在图像分类中， 边缘、 形状、 光照等特定的底层特征， 可以在不同的任务之间共享， 从而可以实现任务之间的知识迁移^［15］。

本文主要使用了两种迁移学习方式： 预训练方式的迁移策略（TL-Pretarin）以及固定值方式的迁移策略（TL-fixed）， 两种训练策略的流程如图 4 所示。在预训练迁移学习策略中， 将迁移的权重视作新网络的初始权重， 在训练的过程中其值会被梯度下降算法改变。而在固定值方式的迁移策略中， 迁移过来的部分网络在结构和权重上都保持固定的数值， 训练过程仅针对迁移模块后面的全连接网络。当使用反向传播算法时， 误差反传过程会在迁移模块中停止， 因此不会改变迁移模块中的权重数值。

2 迁移学习策略算法实验

2.1 手势数据的定义、 采集与处理

在手势数据采集过程中， 参与者将采集设备佩戴在手臂的合适位置， 确保肌电传感器在小臂的肌肉群上， 如图 5（a） 所示。EMG信号每个通道的采样率设置为38 400 Hz， 握拳阈值设为20， 采集界面如图 5（b） 所示。

本文手势选择的原则如下： 手势的执行会使肌肉收缩导致肌电信号发生明显变化； 手势简单易行； 手势在无人机交互过程中符合无人机飞行的特点。根据这些原理， 选择小臂上抬、 小臂下压、 小臂前伸、 小臂后退、 小臂左旋、 小臂右旋分别代表手势控制无人机中的无人机上升、 下降、 前进、 后退、 左转、 右转。

为了使源域数据尽可能覆盖更多人群， 选择10位不同年龄段、 不同性别、 不同身高体重的志愿者， 并采集其6个手势动作， 每个动作采集100次， 则每组数据采集100个EMG数据信号， 这6 000组EMG手势信号数据共同构成源数据集， 实验分10 d进行， 每个动作采集间隔为30 min。

2.2 源网络模型实验

设置learning_rate为0.002， 训练120轮， 批处理大小为64， LSTM层数为8， 隐藏单元大小为128， 序列长度为10。使用pytorch中的torch.save函数对模型进行保存以便在后续的迁移策略中调用。

图 6 为LSTM网络在epoch=120时的训练结果， 其中红色为测试数据错误率曲线、 蓝色为训练数据错误率曲线。

在epoch达到100次时， 该模型的训练集与测试集的错误率稳定在2%附近。最终经过120次epoch得到的平均准确率和平均损失函数值分别为98.18%和0.006。

2.3 两种迁移学习策略改进LSTM算法的实验

使用预训练方式的迁移学习时， 首先需要将2.2节中保存的源网络自动加载到original_net之中， 并定义权重复制函数， 使用copy.deepcopy函数将源网络中net.conv1.weight.data（权重）与net.conv.bias.data（偏置）复制到现在的网络中。

使用固定值方式的迁移策略时， 除了像预训练方式一样需要将源网络中的权重和偏置复制到现在的网络中， 还需要将每一个变量的requires_grad设置为False， 即不需要重新计算梯度值。

图 7 为预训练方式迁移（TL-Pretarin）、 固定值方式迁移（TL-fixed）、 无迁移学习算法（No-TL）在使用不同比例训练集数据时的错误率， 数据量为6 000/Fraction， 这些数据用于微调可训练模块并验证目标网络的识别性能。Fraction越大， 用来迁移学习训练的数据集越少。例如： Fraction最大为50， 此时数据量为120组， Fraction为1时， 数据量为6 000组。

首先对比迁移学习方法与非迁移学习方法性能差别。使用TL-Pretrain策略、 TL-fixed策略和非迁移学习算法（LSTM）的平均准确率分别为85.79%， 84.68%和74.58%。当数据量为120组时， LSTM算法的识别准确率只有58.2%， 无法满足无人机飞行可靠性的要求， 且TL-Pretrain策略下的手势识别准确率比非TL策略下的准确率高22%， 而当训练测试比率相对较大（Fraction=1）时， 3种学习方法的识别准确率相近。当Fraction=50时， 3种方式结果的对比如图 8 所示。

在训练时间方面， LSTM算法训练时间为140~925 s， 使用迁移策略的识别算法的训练时间为12.1~66.3 s。这是因为使用迁移学习的识别算法仅需要更新全连接层的梯度， 且所需训练的数据量较少， 因此相比非迁移学习方法， 迁移学习策略可以提升算法识别准确率和缩短训练时间。

从两类迁移学习方法的整体识别效果来看， 使用TL-Pretrain的识别准确率要比TL-fixed的识别准确率整体偏高。这是因为在改进LSTM算法的过程中， 预训练的方式在反向传播的过程中， 从LSTM模型中迁移的初始权重会在梯度下降算法中改变数值， 这样就可以使迁移过来的知识在新数据上的训练得到灵活调整。而固定值方式的迁移策略中， 梯度反传的信息仅限于改变后面全连接层的数值， 被阻隔在隐含层之外， 因此其适应新数据的能力会略差于预训练迁移方式。

在两类迁移学习策略下， 即使数据量相同， 训练时间也相差1.4~10.1 s。由于TL-fixed迁移学习方法梯度反传的信息仅限于改变后面全连接层的数值， 因此需要调节的参数很少， 学习的收敛速度比训练方式的迁移策略也更快。综合所有算法的准确率、 训练时间、 所需数据量， 最终将TL-Pretrain的识别方法应用在手势无人机的实验中。

3 手势控制无人机验证实验

3.1 仿真实验平台搭建

将手势识别模型在ROS环境下运行并得到实时手势识别结果， 添加一个发布者函数， 将识别结果发送到无人机控制节点， 通过订阅话题来获取当前的飞行状态和位置信息， 包括无人机的运动状态和位置。

根据手势信息发布无人机运动控制指令到地面站， 地面站通过MAVROS通信协议与PX4飞控进行通信， 进而控制Gazebo内无人机X、 Y、 Z轴的位置， 移动速度为0.3 m/s， 即手势保持1 s， 无人机在该手势控制的方向上移动0.3 m。仿真实验平台总体设计如图 9 所示。

3.2 ROS环境下Gazebo仿真验证

为了评估基于迁移学习策略的手势分类器在无人机控制中的实际效果， 实验中选取没有无人机控制经验、 且在本项目中未进行肌电数据采集的10位志愿者进行手势控制无人机仿真验证。

实验分为两部分： 1） 首先在一个6 m×8 m的场地内布置5个圆柱形障碍物， 无人机从起点起飞后需要从圆柱外侧绕行， 最终到达终点； 2） 为了验证算法的实时性以及控制准确率， 在场地内增加一个圆柱形障碍物使得场地内环境更加复杂， 无人机需要从圆柱内侧穿过并顺利到达降落点。

图 10（a） 为无人机在Gazebo中绕行圆柱完成飞行任务的轨迹图。图 10（b）和图 10（c） 分别为第一次飞行任务和第二次飞行任务的轨迹图。10位不同志愿者分别使用Xbox手柄遥控器与肌电传感设备控制Gazebo环境下的无人机执行两次任务， 分别统计两次任务中每位志愿者完成任务的时间（包括错误识别手势、 错误使用遥控指令所消耗的时间）。

由表 2 完成任务所需时间来看， 使用TL-pretarin的手势控制无人机方法比LSTM方法完成任务的时间更短。在两项任务中， 采用迁移策略的手势控制无人机能比遥控方式更快地完成任务。在更为复杂的任务2中， 完成任务的速度优势更加明显。从实验结果中可以发现， 使用迁移学习策略的手势识别可以满足复杂环境下的无人机控制的准确率和实时性的要求。

4 结　论

泛化程度低、 训练负担重始终是阻碍手势控制无人机应用的重要因素。本研究以LSTM为基本网络结构， 探索了一种基于迁移学习策略的手势识别方法， 以实现高泛化、 低训练负担的肌电控制系统。

实验结果表明， 所提出的迁移学习策略在通用肌电控制系统的实现中具有良好的应用价值。使用TL-Pretrain、 TL-fixed迁移策略的手势识别系统在仅仅有5%训练集时的识别准确率比No-TL训练方式的准确率高出22%。这种迁移学习策略的神经网络模型对新用户适应性强、 对数据采集方案要求低， 使得构建通用肌电控制无人机系统成为可能。从系统训练时间来看， TL策略可以减少两个目标网络的训练时间。在非TL策略下需要140~925 s的平均训练时间， 而在TL-Pretrain、 TL-fixed策略下分别只需要13.5~66.3 s与12.1~56.2 s的时间。

通过ROS环境的下的无人机避障实验， 成功实现了复杂环境下的无人机避障， 并且以更短的时间完成了更加复杂环境中的完成任务， 证明了迁移学习手势识别方法的实时性以及准确率可以满足无人机控制的要求。

本文源任务仅涉及6个手势且手势数据集仅由10位志愿者的数据组成， 无法完全覆盖肘关节、 腕关节和手指关节的所有状态。未来可以建立更大的源数据集使通用手势肌电特征提取网络更加健壮， 从而进一步提高目标网络的性能。另外， 尽管每个手势只需要重复训练20次就可以达到80%左右的准确率， 但要实现真正通用的肌电控制无人机系统， 仍需要提高其准确率， 只有这样才能提高无人机飞行稳定性， 从而降低风险。

参考文献

[1] WU J， TIAN Z， SUN L， et al. Real-time American sign language recognition using wrist-worn motion and surface EMG sensors［C］//2015 IEEE 12th International Conference on Wearable and Implantable Body Sensor Networks （BSN）， 2015： 1–6.

[2] 陈艺琛.基于肌电信号的手势识别系统研究［D］.哈尔滨： 哈尔滨工业大学，2021.

[3] SHENG X， DING X， GUO W， al et， Toward an integrated multi-modal sEMG/MMG/NIRS sensing system for human-machine interface robust to muscular fatigue［J］， IEEE Sensors，2021，21（3）： 3702–3712.

[4] FANG C， RUAN X， ZHANG X， et al.Exploration on the negative effects of sensor shifts in photoplethysmography-based gesture recognition and a solution based on transfer learning［J］.IEEE Transactions on Instrumentation and Measurement，2023， 72： 2511211.

[5] DELPRETO J， RUS D.Plug-and-play gesture control using muscle and motion sensors［C］//15th ACM/IEEE International Conference on Human-Robot Interaction （HRI’ 20）， 2020： 439-448.

[6] DELPRETO J， SALAZAR-GOMEZ A F， GIL S， et al.Plug-and-play supervisory control using muscle and brain signals for real-time gesture and error detection［J］.Autonomous Robots，2020，44（7）： 1303-1322.

[7] CHEN X， LI Y， HU R， et al.Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method［J］.IEEE Journal of Biomedical and Health Informatics，2021，25（4）： 1292-1304.

[8] 张炳亮. 面向可穿戴设备的手势识别算法研究与实现［D］.西安： 西安电子科技大学，2021.

[9] 刘国平. 肌电信号手势识别中的适应性问题研究［D］.桂林： 桂林电子科技大学，2022.

[10] 王天然. 基于深度学习的手语手势识别与手语情绪识别方法研究［D］.合肥： 合肥工业大学，2022.

[11] 周祉君.基于深度领域自适应的可穿戴设备人体动作识别研究［D］.合肥： 中国科学技术大学，2021.

[12] 周杨. 基于深度学习的肌电手势识别算法研究［D］.南京： 南京邮电大学，2022.

[13] PAN S J， YANG Q.A survey on transfer learning［J］.IEEE Transactions on Knowledge and Data Engineering，2010，22（10）： 1345-1359.

[14] 刘岚馨.基于可穿戴设备的多传感器手势设计与识别方法研究［D］.西安： 西安电子科技大学，2019.

[15] CODY T， BELING P A.A systems theory of transfer learning［J］.IEEE Systems Journal，2023，17（1）： 26-37.

基金资助

中央引导地方科技发展基金项目(YDZJSX2022A024)

中央引导地方科技发展基金项目(YDZJSX2023A026)

中国航天伺服驱动与传动实验室开放基金(LASAT-20210302)

2023年度山西省研究生教育创新项目(2023KY595)