基于双流卷积神经网络的表面肌电信号上肢动作识别

Upper Limb Motion Recognition Based on Two-stream Convolutional Neural Network for sEMG Signals

摘要

为提高基于表面肌电信号的上肢动作识别精度，验证意图识别模型在实际康复机器人上的应用，提出了一种基于双流卷积神经网络的表面肌电信号上肢动作识别方法。采用小波阈值去噪、带通滤波、全波整流与包络平滑，并以滑动窗口进行样本构建。对原始肌电信号进行变分模态分解和离散小波包变换，同时提取突出的本征模态函数和离散小波包变换系数作为模型两个分支的输入进行高层特征的学习。采用时间卷积网络捕捉特征中的时间动态信息和全局依赖关系，最终通过特征融合模块实现高层特征信息的融合。所提方法在公开数据集Ninapro DB4/DB5和自采的6类上肢动作数据中，平均识别准确率分别达到了93.43%、92.37%和97.54%，并且在上肢动作识别实验中5名实验人员的6类上肢动作的平均识别准确率达到了87%。

Abstract

In order to enhance the accuracy of upper limb motion recognition based on sEMG signals and to validate the applications of the intent recognition model in real rehabilitation robots， a upper limb motion recognition method was proposed using a two-stream convolutional neural network for sEMG signals. The approach began by applying wavelet threshold denoising， bandpass filtering， full-wave rectification， and envelope smoothing， followed by sample construction using a sliding window. The original EMG signals were then processed with variational mode decomposition and discrete wavelet packet transform. Key intrinsic mode functions and wavelet packet transform coefficients were extracted as inputs for the two branches of the model to enable high-level feature learning. A temporal convolutional network was employed to capture temporal dynamics and global dependencies within the features. The feature fusion module then integrated the high-level feature information. The proposed method achieves average recognition accuracies of 93.43%， 92.37%， and 97.54% on the public Ninapro DB4/DB5 datasets respectively and self-collected data for 6 upper limb movements. The average recognition accuracy reaches 87% for the 6 upper limb movements of 5 participants.

Graphical abstract

关键词

上肢动作识别 / 双流卷积神经网络 / 表面肌电信号 / 变分模态分解 / 离散小波包变换 / 上肢动作识别实验

Key words

upper extremity motion recognition / two-stream convolutional neural network / surface electromyographic（sEMG） signal / variational modal decomposition / discrete wavelet packet transform / upper extremity motion recognition experiment

0 引言

脑卒中俗称“中风”，具有高发病率、高致残率和高死亡率等显著特点^［1］。截至2019年，我国新增脑卒中病例已达394万例，累计患者总数已增至2876万。脑卒中会影响患者对肌肉的控制能力，并可能导致认知功能受损，从而引发肢体运动功能的丧失。由神经可塑性原理对卒中患者进行积极的康复治疗可以有效地恢复患者的运动能力。但传统以康复医师为主导的治疗方式受限于人力不足、周期长和成本高等问题，难以满足患者长期康复需求。研究表明，机器人辅助康复训练能够有效提高训练效率，加快患者的运动功能恢复^［2］。

针对患者不同康复阶段，外骨骼式康复机器人通常分为被动训练和主动训练模式。被动训练依赖预先规划的运动轨迹带动患者完成动作，而主动训练则通过识别患者的运动意图实现“按需辅助”。因此，对卒中患者上肢的运动意图进行检测和解码是实现机器人辅助治疗的重要一环。

基于表面肌电信号（sEMG）识别上肢运动意图是实现“按需辅助”的首选方法。sEMG通过非侵入式电极采集，具有时间、频率、振幅和空间等多维特性，这些特性包含了肌肉活动的固有模式。从sEMG中解码运动意图关键在于提取高质量特征并选择合适的分类器。线性判别分析（LDA）、支持向量机（SVM）和人工神经网络（ANN）等传统机器学习模型已被广泛应用于动作识别任务，并取得了较高的分类精度^［3-4］。这些方法依赖于手动特征提取，例如时域特征、频域特征以及时频域特征。这些方法虽具有一定可解释性，但特征构建过程复杂且繁琐。

近年来，深度学习技术成为sEMG解码的研究热点。相较于传统机器学习方法，深度学习通过多层非线性特征提取，能够从sEMG中自动学习高层的抽象特征，减少对人工特征设计的依赖，从而提高解码精度并实现端到端的模式识别。PRABHAVATHY等^［5］利用变分模态分解（VMD）提取sEMG的本征模态函数输入混合神经网络（CNN-LSTM）模型进行手势识别，识别10类抓握动作的准确率为98.04%。CHEN等^［6］将sEMG原始数据转换为单层灰度图像输入4个卷积层的CNN4-M模型中，在13类手势中的准确率为98.03%，且在Ninapro DB1和Ninapro DB3数据集上的准确率分别为99.95%和98.07%。LIU等^［7］使用连续小波变换提取sEMG的时频谱图，引入空间注意模块（SAM）构建 DCNN-SAM 模型，对10类手势的识别准确率为96.1%。XIONG等^［8］提出一种全局和局部特征融合CNN（GLF-CNN）模型，全局特征是基于傅里叶变换得到的频谱特征，而局部特征是基于sEMG分割得到，该方法在 BioPatRec DB1、BioPatRec DB3 和 Mendeley 数据集中的分类准确率分别为 91.4%、91.0% 和 88.6%。尽管上述方法在较低模型复杂度下取得了较高识别精度，但多基于单源信息建模，在复杂情况下的抗干扰能力和适应性方面仍存在不足。

本文提出了一种双流卷积神经网络（two-stream convolutional neural network，双流CNN）模型，以sEMG经变分模态分解和离散小波包变换得到的特征作为双分支输入，并结合时间卷积网络增强时序建模，相较于传统单源特征方法，能更好地抵抗噪声、提高动作区分度。最后，利用搭建的上肢康复机器人验证上肢意图识别模型的实际性能。

1 实验数据与方法

1.1 实验数据

NinaPro是由瑞士国家基金会资助的公开多模态数据库，包含10个子数据集，共计180余个数据采集。其中DB4数据集来自10名健康受试者（6男、4女），手臂佩戴12个Cometa电极，采样频率2000 Hz，共采集52类手势信号；DB5数据集同样来源于10名健康受试者（8男、2女），佩戴两个8通道MYO臂环，采样频率200 Hz，共采集53类手势信号。两者均为每个手势重复6次，每次5 s，间隔3 s。

本文从DB4和DB5数据集中选取12类精细手指动作和52类手势动作（12类精细手指动作、17类手腕动作、23类抓握手势）作为训练数据，手势动作介绍及示例见文献［9］。为验证所提方法在实际康复应用中的可行性，基于上肢康复样机开展实测实验，选取肘矢状面屈曲、肩矢状面上抬、复合运动、肩冠状面外展、肩水平面外展和肩水平面内收6个典型康复动作，如图1所示。

通过分析上肢运动相关肌肉，选取肱二头肌、肱三头肌及三角肌前、中、后束作为肌电信号采集部位，采用5通道 Gravity 肌电传感器采集相关肌肉的sEMG信号，如图2所示，采样频率为2000 Hz。实验人员为5人（年龄24±1 岁，身高 175±5 cm，体重73±8 kg）。每名受试者每个手势重复20次，每次持续4 s，单个手势完成后休息4 s，不同手势组间休息3~4 min，以避免肌肉疲劳和痉挛。每个上肢动作采集100组肌电样本，共获得600组肌电样本。

1.2 肌电信号预处理

1.2.1 信号去噪

针对DB4数据集中12类手势数据和NI USB-6210采集的6类上肢动作数据，采用改进阈值函数的小波阈值去噪算法进行去噪；DB5数据集则保持原始信号^［10］。预处理的目标是尽量保留有效肌电特征并抑制噪声，使信号在进入模型前更加稳定可靠。去噪后的信号再进行带通滤波、全波整流和平滑包络处理，具体流程参考文献［11］。采用改进对数衰减型阈值函数的小波阈值去噪算法，表达式如下：

f({\omega }_{j,k})=\left\{\begin{array}{l}\begin{array}{l}a{\omega }_{j,k}+(\mathrm{1}-a)\mathrm{s}\mathrm{g}\mathrm{n}({\omega }_{j,k})(|{\omega }_{j,k}|-\\ \frac{\lambda }{\mathrm{l}\mathrm{n}(|{\omega }_{j,k}|-\lambda +\mathrm{10}})|{\omega }_{j,k}|\le \lambda \end{array}\\ \mathrm{0}|{\omega }_{j,k}|>\lambda \end{array}\right.（1）

式中：{\omega }_{j,k}、f({\omega }_{j,k})分别为去噪前后的小波变换系数；a取值范围为0～1；\lambda为滤波阈值，本文采用改进的噪声估计阈值，即\lambda =\delta \sqrt[]{\mathrm{2}\mathrm{l}\mathrm{n}(L/{\mathrm{2}}^j)}，\delta =mid({\omega }_{j,k})/\mathrm{0.6745}，j为信号分解层数，L为信号长度，mid({\omega }_{j,k})为第一层的小波分解系数绝对值的中值。

为综合评估不同阈值函数的去噪效果，选取软阈值、硬阈值、指数衰减型阈值、对数衰减型阈值及改进对数衰减型阈值共5种方法进行对比，并采用均方根误差（RMSE）、信噪比（SNR）、峰值误差（PE）、自相关系数（AC）和平滑度（S）5 项指标进行评价，其计算公式如下：

\left.\begin{array}{l}{E}_{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}(s(i)-\widehat{s}{(i))}^{\mathrm{2}}}\\ R_{\mathrm{S}\mathrm{N}\mathrm{R}}=\mathrm{10}\mathrm{l}\mathrm{g}[\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}{s}^{\mathrm{2}}(i)}{{\displaystyle \sum _{i=\mathrm{1}}^n}(s(i)-\widehat{s}{(i))}^{\mathrm{2}}}]\\ E_{\mathrm{P}\mathrm{E}}=\stackrel{n}{\underset{i=\mathrm{1}}{\mathrm{m}\mathrm{a}\mathrm{x}}}(|s(i)-\widehat{s}(i)|)\\ C_{\mathrm{A}\mathrm{C}}=\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}(s(i)-\overline{s}(i))(\widehat{s}(i)-\overline{\widehat{s}}(i)]}{\sqrt[]{{\displaystyle \sum _{i=\mathrm{1}}^n}(s(i)-\overline{s}{(i))}^{\mathrm{2}}{\displaystyle \sum _{i=\mathrm{1}}^n}(\widehat{s}(i)-\overline{\widehat{s}}{(i))}^{\mathrm{2}}}}\\ S=\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}(\widehat{s}(i+\mathrm{1})-\widehat{s}{(i))}^{\mathrm{2}}}{{\displaystyle \sum _{i=\mathrm{1}}^n}(s(i+\mathrm{1})-s{(i))}^{\mathrm{2}}}\end{array}\right\}（2）

式中：i为第i个sEMG信号采样点；s(i)为原始sEMG信号；\widehat{s}(i)为去噪的sEMG信号；\overline{s}(i)和\overline{\widehat{s}}(i)分别为去噪前后信号的均值。

选取DB4数据库和NI USB-6210采集的sEMG信号作为测试对象，采用基于改进对数衰减型阈值函数的sym6小波基进行6层分解，计算上述评价指标，去噪效果如图3所示。其中，DB4 数据去噪后的均方根误差为0.0136、信噪比为37.31、峰值误差为0.0619、自相关系数为0.9999、平滑度为0.9917。

1.2.2 活动段信号检测和归一化

DB4和DB5中含有区分各个手势动作的标签数据，根据该标签数据可以划分提取所有活动段信号，NI USB-6210采集的信号则采用基于短时能量法的活动段检测算法提取活动段信号，最后对提取的所有活动段信号进行归一化处理。

1.2.3 滑动窗口分割信号

为了满足肌电控制上肢康复机械臂实时性的需求，需要使用滑动窗口对肌电信号进行滑动分割，滑动窗口的大小应小于300 ms，为此本文设定滑动窗口大小为200 ms，步长为150 ms，相邻窗口重复率为25%。

1.3 离散小波包变换

小波包变换（wavelet packet transform，WPT）是一种多尺度时频分析方法，能够同时对信号的低频和高频部分进行细化分解，从而获得更高的频率分辨率，适用于非平稳生物信号的特征提取。相较于传统小波变换（WT），WPT在高频分量分析方面具有优势；相较连续小波变换（CWT），WPT无需插值连续化处理，计算复杂度更低，更适合离散采样的sEMG信号分析。

本文首先采用滑动窗口对多通道表面肌电信号进行分割，随后对每个窗口中的单通道信号使用Daubechies 1小波基进行一维离散小波包变换（discrete wavelet packet transform，DWPT）分解。DWPT的尺度k通过公式k=\mathrm{l}\mathrm{b}(N/\mathrm{2})计算，其中N为滑动窗口内的采样点数。在窗口大小为200 ms，采样频率为2000 Hz下，对应的采样点数为N=\mathrm{400}，离散小波包变换的尺度k=\mathrm{l}\mathrm{b}(\mathrm{400}/\mathrm{2})\approx \mathrm{7.64}向上取整为8。本文提取第8层所有频段系数，总计a={\mathrm{2}}^{\mathrm{8}}=\mathrm{256}个系数，作为特征向量。

在离散小波包分解过程中，原始肌电信号依次通过低通和高通滤波，并下采样得到低频近似分量A和高频细节分量D，并对各分量进行递归分解以实现多频带划分，分解的过程如图4所示。

1.4 变分模态分解

变分模态分解（VMD）是一种自适应、完全非递归的信号处理方法，主要是将复杂信号分解为若干具有不同中心频率和有限带宽的模态分量。相较于传统的经验模态分解（EMD），VMD 能够有效缓解端点效应和模态混叠问题，并具有更稳定的数学理论基础。对于表面肌电信号，VMD 可降低信号复杂性、非线性和非平稳性，为后续特征提取与分类提供更优输入。

VMD将信号分解任务建模为一个变分问题。假设原始信号f(t)被分解为k个模态分量，各模态具有不同的中心频率和有限带宽，在确保各模态分量叠加后能够准确重构原始信号下，使各模态估计带宽之和最小，其约束变分模型表示为

\left.\begin{array}{l}\underset{\{u_k\},\{{\omega }_k\}}{\mathrm{m}\mathrm{i}\mathrm{n}}(\sum _k||{\partial }_t[(\delta (t)+\frac{\mathrm{j}}{\mathrm{\pi }t})\mathrm{*}{u}_k(t)]\mathrm{e}\mathrm{x}\mathrm{p}(-\mathrm{j}{\omega }_{k}t)|{|}_{\mathrm{2}}^{\mathrm{2}})\\ \mathrm{s}.\mathrm{t}.{\displaystyle \sum _{k=\mathrm{1}}^k}{u}_k=f(t)\end{array}\right\}（3）

式中：u_k、{\omega }_k为第k个模态分量及其中心频率；“\mathrm{*}”为卷积运算符，[\delta (t)+\mathrm{j}/(\mathrm{\pi }t)]\mathrm{*}{u}_k(t)为u_k(t)的希尔伯特变换，它将u_k(t)转换为解析信号。

对于式（3），使用二次罚因子\alpha和指数拉格朗日乘子\lambda，将约束变化问题变为由下式给出的非约束变化问题，即增广拉格朗日表达式：

\begin{array}{c}L(\{u_k,\{{\omega }_k\},\lambda )=\alpha \sum _k‖{\partial }_t[(\delta (t)+\frac{\mathrm{j}}{\mathrm{\pi }t})\mathrm{*}{u}_k(t)]\mathrm{*}\\ {\mathrm{e}\mathrm{x}\mathrm{p}(-\mathrm{j}{\omega }_{k}t)‖}_{\mathrm{2}}^{\mathrm{2}}+‖f(t)-\sum _k{u_k(t)‖}_{\mathrm{2}}^{\mathrm{2}}+\lambda (t)·\end{array}

(f(t)-\sum _k{u}_k(t))（4）

使用交替方向乘法（ADMM）对该优化问题进行求解，得到迭代子问题序列：

u_k^{(n+\mathrm{1})}=\underset{u_k\in X}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\{\alpha \sum _k‖{\partial }_t[(\delta (t)+\frac{\mathrm{j}}{\mathrm{\pi }t})\mathrm{*}{u}_k(t)]\mathrm{*}

（5）

再通过傅里叶等距方法，将式（5）从时域变换到频域，交替寻优迭代后的u_k、{\omega }_k、\lambda表达式如下：

\left.\begin{array}{l}{\widehat{u}}_k^{(m+\mathrm{1})}(\omega )=\frac{f(\omega )-\sum _{i\ne k}{\widehat{u}}_i(\omega )+\frac{\widehat{\lambda }}{\mathrm{2}}}{\mathrm{1}+\mathrm{2}\alpha (\omega -{\omega }_k{)}^{\mathrm{2}}}\\ {\omega }_k^{(m+\mathrm{1})}=\frac{{\int }_{\mathrm{0}}^{\mathrm{\infty }}\omega |{\widehat{u}}_k(\omega ){|}^{\mathrm{2}}\mathrm{d}\omega }{{\int }_{\mathrm{0}}^{\mathrm{\infty }}|{\widehat{u}}_k(\omega ){|}^{\mathrm{2}}\mathrm{d}\omega }\\ {\widehat{\lambda }}^{(m+\mathrm{1})}(\omega )\leftarrow {\widehat{\lambda }}^{(m)}(\omega )+\tau [\widehat{f}(\omega )-\sum {\widehat{u}}_k^{(m+\mathrm{1})}(\omega )]\end{array}\right\}（6）

式中：\tau为噪声容忍度；“\leftarrow”为迭代更新方向；m为迭代次数；{\widehat{u}}_k^{(m+\mathrm{1})}(\omega )、{\widehat{u}}_i(\omega )、\widehat{f}(\omega )、\widehat{\lambda }(\omega )分别为u_k^{(m+\mathrm{1})}(t)、u_i(t)、f(t)、\lambda (t)的傅里叶函数。

迭代过程的停止约束条件为

（7）

通过上述分析，VMD处理表面肌电信号的迭代过程如图5所示。

为确保分解后的本征模态函数（IMF）中不包含噪声分量，在分解过程中引入二次罚因子并将噪声容忍度设定为0。VMD分解的参数设置为：精度\epsilon =\mathrm{1}\times {\mathrm{10}}^{-\mathrm{6}}，惩罚因子\alpha =\mathrm{2000}，噪声容忍度\tau =\mathrm{0}，模态分解个数k=\mathrm{5}，其中模态数的选取参考文献［12］。

利用VMD分解将一组大小为N\times \mathrm{1}的1D原始肌电信号分解为5个IMF，如图6所示。由于并非所有IMF均包含有效判别信息，故本文对各 IMF进行功率谱分析。图7给出了DB4数据库中食指与中指的屈曲和伸展4类手势的IMF功率谱密度分布。可以观察到，IMF1、IMF2和IMF3的功率谱幅值明显高于其他模态分量，因此本文选择3个IMF（IMF1~IMF3）作为模型输入。

1.5 时间卷积网络

时间卷积网络（temporal convolutional net- work，TCN）是一种用于序列建模的深度学习模型，通过因果卷积和空洞卷积有效应对时间依赖性和长时间跨度的问题。因果卷积确保输出仅依赖当前及历史输入，保留时间序列的因果性；空洞卷积在不增加参数量的情况下扩大感受野，以捕捉长时间依赖特征。此外，TCN 采用残差连接结构，通过跨层信息传递缓解深层网络中的梯度消失问题，提高模型的收敛速度和泛化性能。TCN 采用残差连接机制缓解深层网络的梯度消失问题，提高模型的收敛性和泛化能力。本文中，残差连接由两个膨胀因果卷积层组成，每个卷积层后依次连接权重归一化、Relu激活函数和Dropout，具体结构如图8所示。随着膨胀系数D的指数增长，TCN的感受野大小（RFS）亦随残差模块数量呈指数扩大，其计算公式为

S_{\mathrm{R}\mathrm{F}\mathrm{S}}=\mathrm{1}+\mathrm{2}(K_{\mathrm{t}}-\mathrm{1})({\mathrm{2}}^L-\mathrm{1})（8）

式中：K_{\mathrm{t}}为卷积核大小；L为残差模块的数量。

本文的使用的TCN网络包含2个残差模块，每层卷积层设定数量为64、尺度大小为3的卷积核。

2 神经网络结构设计

2.1 双流卷积神经网络

基于双流CNN方法是人体动作识别和行为识别领域应用较为广泛的模型之一，通过两个并行流处理不同特征源，捕捉时空特征的互补信息。通常，这种网络包含RGB流和光流，从而有效融合静态和动态信息。

本文采用双流CNN结构，结合VMD和DWPT变换，对原始多通道表面肌电信号进行特征提取与融合。首先对原始多通道sEMG信号进行VMD分解并采用滑动窗口分割，获得VMD特征数据流；同时，对每个窗口内的原始信号执行DWPT以提取对应的系数流。接下来，将VMD数据流与DWPT数据流分别输入双流CNN的两个分支进行高层特征学习，并通过特征融合模块实现信息融合。上述过程可表示为：

\begin{array}{l}h=H_{\mathrm{c}}(H_{\mathrm{a}}(v;m_{\mathrm{a}}),H_{\mathrm{b}}(d;m_{\mathrm{b}});m_{\mathrm{c}})\\ v\in {\mathbf{R}}^{N\times C},d\in {\mathbf{R}}^{M\times C}\end{array}（9）

式中：h为双流卷积模型最终输出的特征；H_{\mathrm{a}}、H_{\mathrm{b}}分别表示处理VMD和DWPT数据流的CNN分支；v、d分别为从原始肌电信号中提取的VMD和DWPT数据流；m_{\mathrm{a}}、m_{\mathrm{b}}分别为VMD和DWPT数据流；H_{\mathrm{c}}为两个CNN输出高层特征的融合模型；m_{\mathrm{c}}为融合模块参数；N为时间步数量；M为频带数量；C为sEMG通道数量。

两个分支在训练过程中参数相互独立，不进行权值共享。

本文提出的双流CNN结构如图9所示。两个CNN分支均由6个卷积层和1个TCN模块组成，各卷积层采用\mathrm{3}\times \mathrm{3}大小为64的三维卷积核，并使用ReLU激活函数与批标准化（BN）提高训练稳定性。在前两个卷积层后分别加入最大池化层以降低特征维度。最后，两个CNN分支输出特征经扁平化后输入特征融合模块中实现高层特征融合与分类。

2.2 特征融合模块

本文提出的特征融合模块如图9所示，VMD和DWPT系数流分别经过CNN分支处理后得到的特征数据再通过特征扁平化后输入特征融合模块进行高层特征融合。该模块由两个相互独立的全连接分支组成，且分支均包含两个全连接层。

其中，VMD分支的全连接层神经元数依次设置为512和256，DWPT分支的两个全连接层神经元数都为512。各全连接层均采用ReLU激活函数，并通过批标准化以提高训练稳定性，同时引入丢弃率为0.3的Dropout机制以防止过拟合。两个分支输出的高层特征向量经拼接后，输入与手势类别数相同的G-way全连接层，其输出作为Softmax分类器的输入，用于动作类别的最终判别。通过两次特征融合过程使两个数据流之间进行更加密切的信息交互和学习。

3 实验与结果

3.1 实验环境和参数配置

实验在Anaconda的Spyder开发环境下完成，编程语言为 Python 3.9.19，使用PyTorch框架构建和训练神经网络。硬件配置为NVIDIA GeForce RTX 3060 6 GB显卡和Intel i5-12500H处理器，训练与测试主要在 GPU 上进行。

本研究选取DB4、DB5数据集中12类精细手指动作和52类手势动作以及NI USB-6210采集的6类上肢动作（分别记为DB4_12、DB4_52、DB5_12、DB5_52、NI_6）作为实验数据，具体实验数据介绍如表1所示。

数据划分采用被试内交叉验证：每位受试者数据按60%、20%、20%比例分为训练、验证和测试集，并以试次为划分单元，避免数据泄漏。不同受试者独立划分，结果取5折交叉验证的平均值和标准差。训练过程中，设置批大小为32，迭代次数为120，学习率为0.0001，丢弃率为0.3的Dropout层以防止过拟合，并采用{\mathrm{L}}_{\mathrm{2}}正则化方法，正则化参数设为0.001。

为保证结果的稳健性，所有实验均采用5个不同随机种子独立重复训练与测试，并报告识别率的均值及标准差。在与基线模型（VMD_CNN、DWPT_CNN、双流无TCN）比较时，采用配对t检验评估差异的统计显著性（p<0.05），从而确保评价结果的科学性与可靠性。

3.2 神经网络深度和优化器设置

神经网络深度直接影响模型特征学习能力。增加网络层数有助于提高模型对高层抽象特征的表征能力，但过深的网络结构可能引起梯度爆炸，进而影响训练稳定性。因此，网络深度需要在特征表达能力与训练稳定性之间合理权衡。

基于本文设计的双流卷积神经网络以及VMD数据流的CNN分支网络、DWPT系数流的CNN分支网络在不同卷积层数下进行手势识别实验。实验数据采用DB4数据集中的12类精细手指动作的肌电信号。实验结果如图10所示，从中可以看出，随着卷积层数的增加，3种网络的手势识别准确率逐步提高。然而，当卷积层数超过6层后，准确率的提高趋于平缓，增益变得不明显。因此，本文模型选择了采用6层卷积层作为最优配置，以在模型性能和计算复杂度之间达到平衡，卷积核大小为\mathrm{3}\times \mathrm{3}。

合适的优化器可以缩短训练时间，提高分类性能。本文模型在Adam、SGD、Adagrad、Adamax和Adadelta 5种优化器下的训练精度和损失值变化，如图11所示。除Adagra和Adadelta外，其余优化器均能在合理时间内收敛，其中Adam在准确率和损失收敛速度方面均优于其他优化器，故本文采用Adam作为模型的优化器。

3.3 性能评价指标和实验模型

为定量评估模型性能，本文采用手势识别准确率作为主要评价指标：

A_{\mathrm{c}\mathrm{c}}=\frac{T_{\mathrm{P}}+T_{\mathrm{N}}}{T_{\mathrm{P}}+T_{\mathrm{N}}+F_{\mathrm{P}}+F_{\mathrm{N}}}（10）

式中：T_{\mathrm{P}}表示真正例，即模型预测为正类，实际也为正类的数量；T_{\mathrm{N}}表示假正例，即模型预测为正类，但实际为负类的数量；F_{\mathrm{P}}表示假负例，即模型预测为负类，但实际为正类的数量；F_{\mathrm{N}}表示真负例，即模型预测为负类，实际也为负类的数量。

本文采用输入为VMD数据的CNN分支网络模型、输入为DWPT数据的CNN分支网络模型、不包含TCN模块的双流CNN模型以及包含TCN模块的双流CNN模型（分别记为VMD_CNN，DWPT_CNN，VMD+DWPT_CNN，VMD+DWPT_CNN+TCN）在实验数据上进行对比实验。

3.4 实验结果

VMD_CNN和DWPT_CNN网络模型由6个卷积层、1个TCN模块、神经元数量分别为512和256的2个全连接层、1个G-way全连接层和Softmax分类器组成。VMD+DWPT_CNN和VMD+DWPT_CNN+TCN网络模型结构参考图9，后者比前者多一个TCN模块。

以所有实验人员的肌电信号数据为训练对象，采用VMD_CNN模型（记为VMD模型）、DWPT_CNN模型（记为DWPT模型）、VMD+DWPT_CNN模型（记为VMD+DWPT模型）、VMD+DWPT_CNN+TCN模型（记为本文模型）在5个数据集中进行实验，数据划分采用被试内交叉验证策略，并在 5 折交叉验证下统计平均识别率与方差。分类结果如表2所示。

由表2可见，本文提出的VMD+DWPT_CNN+TCN双流卷积神经网络模型在5个数据中的分类准确率分别为93.43%、86.97%、92.37%、84.30%、97.54%，相较于其他3类模型分别平均高出3.13%、6.02%、3.95%、7.47%、4.38%，表明所提模型在肌电手势识别任务中具有更优的肌电手势识别性能。

为进一步分析模型在不同实验人员之间的分类表现，对每位受试者的数据分别进行实验。图12展示了4种模型在不同样本类别下的手势识别结果箱线图，其中箱体中线表示中位数，上下边缘分别对应第25和第75百分位数，箱体外延表示最大值和最小值（不含离群点）。各模型的平均识别率如表3所示。

可以看出，本文模型在5类样本中的平均识别准确率均高于其他模型。当手势数量由12类增至52类时，其余模型准确率出现不同程度下降，而本文模型在DB4和DB5数据集中的下降幅度仅为0.86%和3.65%，最终准确率仍达到94.12%和90.59%，表明所提出的意图解码模型具有较高的分类性能和良好的鲁棒性。

3.5 模型对比实验

表4对比了本文提出的网络模型与近年来肌电手势识别相关方法在3类实验数据上的识别准确率，并给出了单独受试者测试的平均结果。结果表明，本文模型在3类实验数据中基于所有实验人员的平均识别准确率分别较其他方法提高6.52%、3.01%、3.98%，基于单独实验人员的平均识别准确率比其他文献分别高出9.25%、22.61%、16.08%。因此本文提出的模型相比于其他方法在手势识别精度上具有一定的优越性。

3.6 上肢动作识别实验

为验证所提出的双流CNN模型在实际上肢康复机器人控制中的可行性，开展了实时数据的机器人控制实验。肌电信号采集与处理选用NI USB-6210数据采集设备，采集传感器为5通道Gravity肌电传感器。实验人员为5人，共采集6类上肢动作（0-肘矢状面屈曲、1-肩矢状面上抬、2-复合运动、3-肩冠状面外展、4-肩水平面外展、5-肩水平面内收）。其中，前4类动作的机器人初始姿态与手臂自然下垂一致，后2类动作的初始姿态位于水平面，与冠状面的夹角为90°。

实验前，采集实验人员6类上肢动作数据用于更新双流卷积神经网络分类模型。然后采用基于短时能量法的活动段检测算法提取有效信号段，并对分割后的sEMG信号进行VMD和DWPT，随后利用更新后的分类模型输出实时识别结果。识别结果通过Python和VC++的数据交互传输至上肢康复机器人，并由汇川IMC30G-E-008PCI运动控制卡转换为伺服驱动指令，驱动电机带动患者上肢实现康复运动。

5名实验人员参与上肢动作识别实验，受试者在充分休息的前提下按照6类上肢动作进行实验，每类动作重复实验10次，共计300次。表5为5名实验人员6类上肢动作识别后的混淆矩阵。

由表5的混淆矩阵整理得到包含5名受试者及对应6类上肢动作的分类准确率，如表6所示。

由表6可知，5名实验人员6类上肢动作的平均识别准确率为 87%，其中最高识别准确率为 93.3%。在各类动作中，肘矢状面屈曲的平均识别率最高，达到100%，主要由于该动作以肱二头肌主导，肌电信号与其他动作差异明显；肩矢状面上抬、复合运动和肩冠状面外展等动作的平均准确率相对较低，主要受动作重叠及多肌群干扰影响。肩水平面内收的识别准确率为70.6%，其主要原因在于该动作的肌电模式与相邻动作相似，区分难度较大。总体来看，6类上肢动作的实时识别准确率较基于NI USB-6210离线数据的分类结果降低11.7%，整体结果较为理想，满足实时识别患者运动意图的使用需求。

图13所示为识别的6类上肢动作在康复机器人上实现的效果。机器人具有4个主动自由度，采用伺服电机和谐波减速器实现关节的驱动。

4 结论

本文针对上肢康复机器人运动意图识别精度不足的问题，提出了一种基于双流卷积神经网络的表面肌电信号上肢动作识别方法，通过融合变分模态分解与离散小波包变换特征，避免了单一特征源建模带来的信息损失。引入时间卷积网络捕捉肌电信号中的时间动态信息和全局依赖关系，有效提高了模型对复杂、相似动作的区分能力和整体鲁棒性。在公开数据集Ninapro DB4/DB5及自采6类上肢动作数据上的实验结果表明，所提模型在不同样本规模和动作类别下均取得较高识别准确率，整体性能优于传统单流卷积神经网络模型。最后，通过上肢康复机器人实时实验验证了方法的可行性，5名实验人员6类上肢动作的平均识别准确率达87%，最高识别准确率为93.3%，满足康复机器人实时运动意图识别的应用需求。

参考文献

[1] 王亚楠， 吴思缈， 刘鸣. 中国脑卒中15年变化趋势和特点［J］. 华西医学， 2021， 36（6）： 803-807.

[2] WANG Yanan， WU Simiao， LIU Ming. Temporal Trends and Characteristics of Stroke in China in the Past 15 Years［J］. West China Medical Journal， 2021， 36（6）： 803-807.

[3] CHOCKALINGAM M， VASANTHAN L T， BALASUBRAMANIAN S， et al. Experiences of Patients Who Had a Stroke and Rehabilitation Professionals with Upper Limb Rehabilitation Robots： a Qualitative Systematic Review Protocol［J］. BMJ Open， 2022， 12（9）： e065177.

[4] FU Rongrong， ZHANG Baozhong， LIANG Haifeng， et al. Gesture Recognition of sEMG Signal Based on GASF-LDA Feature Enhancement and Adaptive ABC Optimized SVM［J］. Biomedical Signal Processing and Control， 2023， 85： 105104.

[5] HYE N M， HANY U， CHAKRAVARTY S， et al. Artificial Intelligence for sEMG-based Muscular Movement Recognition for Hand Prosthesis［J］. IEEE Access， 2023， 11： 38850-38863.

[6] PRABHAVATHY T， ELUMALAI V K， BALAJI E， et al. A Surface Electromyography Based Hand Gesture Recognition Framework Leveraging Variational Mode Decomposition Technique and Deep Learning Classifier［J］. Engineering Applications of Artificial Intelligence， 2024， 130： 107669.

[7] CHEN Qingzheng， TAO Qing， ZHAO Muchao， et al. CNN-based Gesture Recognition Using Raw Numerical Gray-scale Images of Surface Electromyography［J］. Biomedical Signal Processing and Control， 2025， 101： 107176.

[8] LIU Xiaoguang， ZHANG Mingjin， WANG Jiawei， et al. Gesture Recognition of Continuous Wavelet Transform and Deep Convolution Attention Network［J］. Mathematical Biosciences and Engineering， 2023， 20（6）： 11139-11154.

[9] XIONG Baoping， CHEN Wensheng， NIU Yinxi， et al. A Global and Local Feature Fused CNN Architecture for the SEMG-based Hand Gesture Recognition［J］. Computers in Biology and Medicine， 2023， 166： 107497.

[10] ATZORI M， MÜLLER H. The Ninapro Database： a Resource for sEMG Naturally Controlled Robotic Hand Prosthetics［C］∥2015 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society （EMBC）. Milano， 2015： 7151-7154.

[11] SHEN Shu， GU Kang， CHEN Xinrong， et al. Gesture Recognition through sEMG with Wearable Device Based on Deep Learning［J］. Mobile Networks and Applications， 2020， 25（6）： 2447-2458.

[12] CHAI Yuanyuan， LIU Keping， LI Chunxu， et al. A Novel Method Based on Long Short Term Memory Network and Discrete-time Zeroing Neural Algorithm for Upper-limb Continuous Estimation Using sEMG Signals［J］. Biomedical Signal Processing and Control， 2021， 67： 102416.

[13] 姜海燕， 许先静， 钟凌珺， 等. 采用变分模态分解与领域自适应的表面肌电信号手势识别［J］. 西安交通大学学报， 2024， 58（5）： 75-87.

[14] JIANG Haiyan， XU Xianjing， ZHONG Lingjun， et al. Gesture Recognition of Surface Electromyography Based on Variational Mode Decomposition and Domain Adaptation［J］. Journal of Xi’an Jiaotong University， 2024， 58（5）： 75-87.

[15] NGUYEN P T， KUO C H. A Novel Surface Electromyographic Gesture Recognition Using Discrete Cosine Transform-based Attention Network［J］. IEEE Signal Processing Letters， 2024， 31： 266-270.

[16] PENG Xiangdong， ZHOU Xiao， ZHU Huaqiang， et al. MSFF-Net： Multi-stream Feature Fusion Network for Surface Electromyography Gesture Recognition［J］. PLoS One， 2022， 17（11）： e0276436.

[17] WU Yuheng， ZHENG Bin， ZHAO Yongting. Dynamic Gesture Recognition Based on LSTM-CNN［C］∥2018 Chinese Automation Congress （CAC）. IEEE， 2018： 2446-2450.

[18] JOSEPHS D， DRAKE C， HEROY A， et al. sEMG Gesture Recognition with a Simple Model of Attention［J］. Proceedings of Machine Learning Research， 2020， 136： 126-138.

[19] XU Zhengyuan， YU Junxiao， XIANG Wentao， et al. A Novel SE-CNN Attention Architecture for sEMG-based Hand Gesture Recognition［J］. Computer Modeling in Engineering & Sciences， 2023， 134（1）： 157-177.

[20] WANG Zihao， WAN Huiying， MENG Long， et al. Optimization of Inter-subject sEMG-based Hand Gesture Recognition Tasks Using Unsupervised Domain Adaptation Techniques［J］. Biomedical Signal Processing and Control， 2024， 92： 106086.

[21] PENG Fulai， CHEN Cai， Danyang LYU， et al. Gesture Recognition by Ensemble Extreme Learning Machine Based on Surface Electromyography Signals［J］. Frontiers in Human Neuroscience， 2022， 16： 911204.

基金资助

煤炭无人化开采数智技术全国重点实验室开放基金(SZQZ2025016)

安徽省重点研究与开发计划项目(2022i01020015)