基于GO⁃SWCNT@PDMS压力传感器的手势识别

Gesture Recognition Based on GO⁃SWCNT@PDMS Pressure Sensors

摘要

手势作为人类最早且仍在广泛应用的通信方式， 在姿势语言中占据着重要地位。为解决基于计算机视觉和射频雷达的传统手势识别面临环境影响和成本较高的问题， 将柔性压力传感器封装在手指关节处， 通过监测手指弯曲而引起的电阻变化进行手势识别， 排除了周围环境对手势识别的影响， 解决了传统射频雷达成本较高的局限性。所制备的柔性压力传感器灵敏度最高可达13.57 kPa^-1， 加载响应时间为63 ms， 卸载响应时间为84 ms， 且具有良好的稳定性（>4 000次循环）。手势识别使用时域卷积网络-全卷积网络（Temporal Convolutional Network-Fully Convolutional Network， TCN-FCN）并联深度学习算法， 对9种具有强时空耦合特性的手势进行训练和测试， 最终识别平均准确率稳定维持在95%以上。该研究为增强现实以及人机交互等领域提供了一种便捷高效的手势识别方式。

Abstract

Gestures， as the earliest and still widely used communication method among humans， occupy an important position in posture language. To solve the problems of environmental impact and high cost in traditional gesture recognition based on computer vision and radio frequency radar， a flexible pressure sensor was encapsulated at the finger joint， and gesture recognition was performed by monitoring the resistance changes caused by finger bending， eliminating the influence of the surrounding environment on gesture recognition and solving the limitation of high cost in traditional radio frequency radar. The sensitivity of the prepared flexible pressure sensor can reach up to 13.57 kPa^-1， with fast response time and recovery time of 63 ms and 84 ms respectively， and excellent stability （>4 000 cycles）. The gesture recognition system used the TCN-FCN parallel deep learning algorithm to train and test 9 gestures with strong spatiotemporal coupling characteristics， and the final recognition average accuracy remains stable at over 95%. This study provides a convenient and efficient gesture recognition method for fields such as augmented reality and human-computer interaction.

Graphical abstract

关键词

压力传感器 / 褶皱结构 / 深度学习 / 手势识别

Key words

pressure sensor / wrinkled structure / deep learning / gesture recognition

0 引　言

将外部物理刺激转换为电信号的可穿戴系统在人类信息监测^［1］、 健康监测^［2］、 虚拟现实^［3］和人机交互^［4］等领域越来越重要， 手势识别是其中一个极具研究价值的方向^［5］。传统的手势识别通常使用计算机视觉来进行， 利用数码摄像机对手势进行拍摄或者录制视频， 从而捕捉到二维数据或三维数据以进行模型训练^［6］。但拍摄过程容易受环境光明暗程度、 拍摄角度、 环境遮挡等因素干扰， 在增加数据采集难度的同时降低了手势识别的准确率^［7］。基于射频（Radio Frequency， RF）传感的雷达技术也被用于手势识别， 从接受信号中获取距离剖面、 多普勒特征来识别手势特征^［8］。但距离分辨率受制于RF波带宽， 使用足够大带宽的硬件所需成本较高。

本研究针对传统手势识别的局限性， 提出采用柔性压力传感器采集数据的方法。由于柔性压力传感器具有柔软的特性， 使得其可以应用于不规则形状的表面， 并容忍不同类型的变形。因此， 本系统通过在指关节部位贴合柔性压力传感器， 对各类手势所造成的关节挠曲数据进行采集与识别^［9］。例如， Tan等^［4］提出了一种基于分层联锁压力传感器的可穿戴手势识别系统， 可以捕获手指关节弯曲信息。该系统结合外部数据采集系统， 利用Cinema 4D 软件， 通过将手指弯曲产生的电阻信号与相应的角度关联， 从而实现手势识别的实时监控。Su等^［10］使用浸涂的方法将碳纳米管和Mxene固定在三聚氰胺泡沫骨架上制备压阻传感器。柔性压阻传感器被贴附在五指关节部位， 用来获取手指在弯曲与伸展状态下产生的动态压力信号， 并采用决策树模型对10种手势进行分类识别， 系统识别的平均准确率高达98.9%。Wang等^［11］利用碳纳米管/聚氨酯海绵制备压力传感器， 并应用在感官手套上来捕捉各种手势动作的信号。通过分析不同人由于手的大小不同， 导致手套佩戴位置不同， 从而可能产生的错误识别， 采用Inception Network神经网络框架对4名志愿者×10个手势的数据集进行训练， 对于10种手势的平均识别准确率达到99.5%。

尽管基于柔性压力传感器的手势识别已取得了一定进展， 但仍面临压力传感器灵敏度较低， 无法对相似手势进行分辨， 导致手势识别分辨率不高； 重复性低， 在重复压缩循环后传感性能降低， 不具备长期稳定性； 不具备快速响应能力， 无法区分迅速变化的动态手势等。因此， 急需开发一个具有高分辨率、 高稳定性且拥有快速响应能力的手势识别方法。

本文提出了一种基于氧化石墨烯（GO）-单壁碳纳米管（Single Walled Carbon Nano Tubes， SWCNT）@聚二甲基硅氧烷（Polydimethylsiloxane， PDMS）微褶皱结构压力传感器， 并将其应用于手势识别系统。该传感器通过在敏感层形成微型褶皱结构来增强压力响应性能， 随后， 采用旋涂 PDMS 对其进行封装， 使其在具有防水耐污特性的同时， 有效提高了压力传感器的重复性。最后， 将5个传感器集成阵列封装在手指关节处， 引入时域卷积网络-全卷积网络（Temporal Convolutional Network-Fully Convolutional Network， TCN-FCN）并联的深度学习算法， 实现集成可穿戴的手势识别， 识别9个手势的平均正确率始终维持在95%以上。

1 敏感材料制备与表征

本实验材料有： 石墨粉（国药西陇科学）、 单壁碳纳米管（中国江苏， 苏州碳丰石墨烯科技有限公司）、 乙醇（中国上海， 阿拉丁， 99%）、 NaNO₃（中国广东， 富林， 0.1 mol/L）、 二氯甲烷（中国上海， 麦克林试剂）、 稀盐酸（中国广东， 氪道， 1 mol/L）、 聚二甲基硅氧烷（美国密歇根州米德兰， 道康宁）、 聚苯乙烯（Polystyrene， PS， M_W： 192 000， 中国义乌， 贝丝进出口有限公司）、 聚酰亚胺（0.075 mm， 中国东莞， 荣辉绝缘材料有限公司）、 铜浆（中国深圳， 赛雅电子浆料）、 浓硫酸（98%， 中国山东， 鑫阳化工有限公司）、 去离子水（DI）、 高锰酸钾（KMnO₄， ≥99%）和过氧化氢（H₂O₂， 3 wt%， Sigma-Aldric， 中国上海）。

1.1 敏感材料制备

1.1.1 氧化石墨烯制备

将反应瓶置于冰水浴中， 缓慢加入30 mL浓硫酸， 同时在连续磁力搅拌下将由2 g石墨粉和硝酸钠（重量比为3∶1）组成的固体混合物缓慢加入浓硫酸中， 并保证反应温度始终控制在20 °C以下。在搅拌过程中， 将总量5 mg高锰酸钾分次加入。1~2 h后， 提升温度至35 °C， 并继续搅拌3 h。接着， 向反应体系中加入60 mL去离子水， 并在加热至95 °C后持续搅拌20 min。随后， 缓慢加入350 mL浓度为3 wt%的过氧化氢持续搅拌。最终获得的反应产物分别使用稀盐酸和去离子水清洗2次， 干燥后得到氧化石墨烯^［12］。

1.1.2 复合压敏材料制备

取10 mg/mL的SWCNT 1 mL， 加入去离子水至总溶液体积为100 mL， 使用超声清洗机振荡10 min后取出， 得到分散均匀的SWCNT， 稀释后的浓度为0.1 mg/mL。称取10 mg GO， 加入10 mL去离子水后放入超声清洗机中振荡10 min， 待GO分散均匀后将其放入磁力搅拌机， 搅拌转速设置为800 r/min， 搅拌20 min， 得到浓度为1 mg/mL的GO溶液。制备GO与SWCNT的混合溶液， 溶质总质量为4 mg， SWCNT与GO的质量比为7∶3。取28 mL SWCNT分散液和1.2 mL GO溶液混合， 磁力搅拌30 min后， 超声分散10 min， 使其混合更加均匀， 最终得到GO-SWCNT混合溶液。将GO-SWCNT混合溶液通过真空抽滤的方式将溶质沉积在滤膜上， 沉积后的滤膜浸泡在无水乙醇中， 使用镊子将滤膜剥离， 成功制备GO-SWCNT复合薄膜， 如图 1 所示。

1.2 敏感材料表征

利用扫描电子显微镜（Scanning Electron Microscope， SEM）对GO-SWCNT复合薄膜表面表征。从图 2（a）和图2（b） 中可以清晰地看出GO-SWCNT复合薄膜中碳纳米管均匀分散在GO中， 未出现明显的团聚现象， 证明复合薄膜成功制备。复合薄膜热缩前后的SEM图像如图 2（c）和图 2（d） 所示。

通过对比可以发现， 复合薄膜相较于热缩前， 出现了均匀分布的褶皱结构， 这使得其在受到外力时， 接触表面积迅速增加， 从而丰富了受压时的导电路径。SWCNT和GO的拉曼光谱信号同样可以反映GO-SWCNT薄膜混合是否均匀。通过分别测试GO、 SWCNT、 GO-SWCNT薄膜的拉曼光谱， 发现复合薄膜拉曼光谱在保留SWCNT的特征下， 在1 355 cm^-1处出现GO的D峰， 如图 2（e） 所示。这些现象验证了SEM的结果， 表明复合薄膜混合均匀， 没有严重的聚集， 并且保持了各自碳组分的独特电子性质^［13］。

2 传感器制备与测试

2.1 传感器工作原理

压阻式压力传感器的传感机制是基于敏感层电阻随外界压力改变的原理。当敏感层受到外界压力时， 其电阻会发生改变， 从而实现压力-电阻之间的物理量转换。传感器的整体电阻R可拆解为电极电阻和敏感层电阻两部分， 其中， 信号的变化主要源自敏感层电阻的动态变化^{［14‐15］}。其数学表达式为

R=R_{\mathrm{e}}+R_{\mathrm{s}},（1）

式中： R_e为电极电阻； R_s为敏感层电阻。敏感层传感机制如图 3 所示， 敏感层经过热缩使得表面出现均匀的褶皱结构。在受到微弱压力时， 褶皱结构与电极间的接触面积增加， 从而形成导电路径。随着压力的增加， 褶皱结构和叉指电极之间的接触面积逐步增加， 导电路径数量进一步提高， 直至高压状态下导电路径逐渐饱和 ^［16］。

2.2 传感器制备

GO-SWCNT@PDMS传感器制备流程如图 4 所示。首先， 将PS热缩膜切割为5 cm×5 cm大小， 使用无水乙醇清洗正反两面， 放入等离子处理机进行等离子处理， 提高PS热缩膜表面附着力， 随后， 将制备的复合薄膜吸附在PS热缩膜上等待使用。

打开真空干燥箱， 将温度设置为140 ℃， 待温度稳定后， 将吸附复合薄膜的PS热缩膜放置在真空干燥箱中加热， 10 min后取出， PS热缩膜的面积收缩为原来的一半。之后配置PDMS， 其中， PDMS和固化剂的质量比为9∶1。在PS热缩片中心滴入2 mL体积对应重量的PDMS， 启动匀胶机， 低速20 r/min振动10 s， 高速100 r/min振动5 s， 通过离心力的作用使PDMS均匀旋涂在PS热缩片上皱缩后的复合膜上。将PDMS覆盖的热缩片放入100 ℃的恒温干燥箱隔夜保存， 待PDMS固化后， 将其浸泡在二氯甲烷中， 剥离PS热缩膜， 得到GO-SWCNT@PDMS敏感层。将GO-SWCNT@PDMS敏感层切割成5 mm×8 mm大小的长方形， 使用医用胶布将GO-SWCNT@PDMS封装在用聚酰亚胺和铜直接油墨书写而成的叉指电极上， 最终得到具有微褶皱结构的GO-SWCNT@PDMS压力传感器。

2.3 传感器性能测试

灵敏度、 响应时间、 重复性是评估压阻传感器性能的重要性能指标， 使用压力试验机、 高精度万用表KEYSIGHT34465A、 直流电源、 PC搭建测试平台， 全部性能测试采用1 V直流电压进行供电， 图 5 展示了传感器性能测试结果。灵敏度是判断压力传感器对输入压力微小变化感知能力的性能指标， 通常通过传感器所受压力与电流响应变化来表示， 其公式为

S=\frac{∆I/I_{\mathrm{0}}}{∆P},（2）

式中： ∆I为柔性压力传感器受压前后的电流变化量； I₀为柔性压力传感器0压力时的初始电流； ∆P为所施加的压力变化。

灵敏度越高， 表明传感器对于压力的分辨率越高， 可以更好地应用在手势识别中。如图 5（a） 所示， GO-SWCNT@PDMS压力传感器灵敏度分为2个区间， 当压力在0~168 kPa时， 传感器灵敏度值为13.57 kPa^-1， 随着压力持续上升， 在168~460 kPa时， 灵敏度值为5.55 kPa^-1， 相较于前一区间灵敏度略有下降， 推测为高压状态下， 导电路径趋于饱和。接着对GO-SWCNT@PDMS压力传感器响应时间进行测试， 评估实时压力传感性能， 向其施加300 kPa压力， 响应时间结果如图 5（b） 所示。通过结果可以发现， GO-SWCNT@PDMS压力传感器具有快速响应的传感性能， 加载响应时间仅为63 ms， 同时具有快速恢复的能力， 卸载时响应时间为84 ms。传感器优异的响应能力使其可以轻松面对手势识别中手势的快速变化。除灵敏度和响应时间外， 压力传感器的重复性同样是评估传感器性能的重要指标， 重复性的优劣反应了压力传感器是否具有持续的稳定性。因此， 通过单轴伺服电机循环撞击传感器进行循环加卸载测试。通过设置单轴伺服电机循环测试参数， 设置施加压力为300 kPa， 循环总数超过4 000次， 测试结果如图 5（c） 所示。结果表明该传感器在4 000次的循环测试中， 响应信号稳定， 且在循环测试初期和后期的压力响应值基本一致。这表明GO-SWCNT@PDMS压力传感器具有出色的稳定性， 保证了其应用在手势识别中的长期稳定性。

2.4 传感器的应用测试

手势作为人类最早且仍在广泛应用的通信方式， 在姿势语言中占据着重要地位。通过手指不同的弯曲程度和位置可以组成特定的语言系统^［17］。GO-SWCNT@PDMS压力传感器传感性能测试结果表明， 通过抽滤制备的压力传感器在保证长期稳定的同时具有较高的灵敏度和低响应时间， 这为基于柔性压力传感器的手势识别研究提供了关键支撑。因此， 利用GO-SWCNT@PDMS压力传感器组成压力传感器阵列并封装在手指第二关节处， 结合数据采集系统和深度学习算法， 成功完成基于柔性压力传感器的手势识别， 其采集系统如图 6 所示。

图 7（a） 展示了基于TCN-FCN并联结构的手势识别完整流程。采用ESP32作为采集系统的主控芯片， 相关电路集成在印刷电路板（Printed Circuit Board， PCB）并粘附在手背上， 利用3.3 V的锂电池为其供电， 极大地减少了连接线， 使采集系统更加便携轻便。

信号采集系统实时收集手指弯曲时压力传感器的动态数据， 并通过订阅范式的消息协议将数据发送至云端（华为云）， 利用PC可将云端数据实时下载到本地， 实现数据的实时显示和高效管理。之后， 将信号采集模块采集的五路数据进行归一化处理， 得到高质量预处理数据集。因为数据集为多维数据且每次采集到的是手势从初始状态演变到相应手势的压力变化， 使得采集数据具有显著的时空耦合特性， 所使用的识别算法须具备良好的时序能力和多维空间处理能力。同一手势采集100组数据， 每组数据中包含5个手指×200个特征点。针对该数据集， 对于其时序特征引入TCN时序卷积网络， 该网络能够在保持时间顺序的同时捕捉不同时间尺度下的序列特征。设置其卷积层个数和卷积核大小分别为7和3， Relu作为激活函数。针对数据集多维特点， 引入FCN前馈卷积网络， 该网络适用于捕捉空间分布特征， 使用三层堆叠的1D卷积模块， 激活函数选择与TCN相同的Relu函数。通过TCN-FCN并联结构设计， 在保持TCN和FCN各自优势的同时， 通过特征拼接策略实现了信息互补与耦合表达， 两种网络提取的特征向量在融合后， 通过全连接分类层进行特征整合， 最终由 Softmax 函数输出代表9种手势类别的概率分布。图 7（b） 展示了9种手势所对应的电压曲线， 体现了传感器对不同手势之间的细微区别具有良好的分辨率。图 8（a） 显示了9种手势识别的混淆概率。其中， 6类手势识别精度接近100%， 而第2类、 第4类、 第6类存在一定程度的类别混淆， 分析原因可能是由于手势对应的手指弯曲程度相近， 9种手势识别的平均准确率始终维持在95%以上。为监测模型训练过程中训练集的精度变化趋势， 采用交叉熵损失函数处理信号， 图 8（b） 展示了手势识别的准确率随训练轮次的变化曲线， 图8（c） 为训练集交叉熵损失。

将柔性压力传感器和深度学习算法相结合， 能够有效地应用在手势识别领域。该研究不仅为手势识别提供了新的思路， 而且对于未来基于增强现实（Augmented Reality， AR）的人机交互提供了可靠的方法。

3 结　论

本文成功开发了一种基于一维材料和二维材料混合的柔性压力传感器， 并采用热缩的方法构建了一种褶皱的微结构， 最后通过旋涂PDMS作为保护层， 所研究出的传感器展现出卓越的性能， 最高灵敏度可达到13.57 kPa^-1， 具有快速响应的传感性能， 加载响应时间为63 ms， 卸载恢复时间为84 ms。在具有高灵敏和快速响应的同时， 所制备的传感器在经超过4 000次加卸载循环测试后仍保持稳定的传感性能。基于所制备传感器的优异性能， 集成传感器阵列并封装在手指关节处， 提出了一种基于TCN-FCN并联深度学习算法的手势识别。将9种常见维修工具抓握手势作为数据集， 经过TCN-FCN模型训练后， 平均识别正确率稳定维持在95%以上。该手势识别方法可结合AR技术， 为维修人员提供可视化的维修指导， 提高维修的效率和质量。此外， 柔性传感器驱动的手势识别技术在诸多人机交互以及辅助康复的应用场景中也展现出重要的价值。

参考文献

[1] DE FAZIO R， MASTRONARDI V M， DE VITTORIO M， et al. Wearable sensors and smart devices to monitor rehabilitation parameters and sports performance： an overview［J］. Sensors， 2023， 23（4）： 1856.

[2] XUAN X， CHEN C， MOLINERO-FERNANDEZ A， et al. Fully integrated wearable device for continuous sweat lactate monitoring in sports［J］. ACS Sensors， 2023， 8（6）： 2401-2409.

[3] FRISOLI A， LEONARDIS D. Wearable haptics for virtual reality and beyond［J］. Nature Reviews Electrical Engineering， 2024， 1（10）： 666-679.

[4] YIN R， WANG D， ZHAO S， et al. Wearable sensors-enabled human-machine interaction systems： from design to application［J］. Advanced Functional Materials， 2021， 31（11）： 2008936.

[5] TAN Y S， HAN W， WU Y， et al. Bioinspired， highly sensitive interlocked flexible textile pressure sensor based on multilayer SWCNTs/PVP/rGO dendritic for gesture recognition［J］. Composites Part B： Engineering， 2024， 283： 111639.

[6] DAMANEH M M， MOHANNA F， JAFARI P. Static hand gesture recognition in sign language based on convolutional neural network with feature extraction method using ORB descriptor and Gabor filter［J］. Expert Systems with Applications， 2023， 211： 118559.

[7] GUO L， LU Z， YAO L. Human-machine interaction sensing technology based on hand gesture recognition： a review［J］. IEEE Transactions on Human-Machine Systems， 2021， 51（4）： 300-309.

[8] YU M， KIM N， JUNG Y， et al. A frame detection method for real-time hand gesture recognition systems using CW-radar［J］. Sensors， 2020， 20（8）： 2321.

[9] XU C， CHEN J， ZHU Z， et al. Flexible pressure sensors in human-machine interface applications［J］. Small， 2024， 20（15）： 2306655.

[10] SU Y， MA K， MAO X， et al. Highly compressible and sensitive flexible piezoresistive pressure sensor based on MWCNTs/Ti₃C₂T_x MXene @ melamine foam for human gesture monitoring and recognition［J］. Nanomaterials， 2022， 12（13）： 2225.

[11] WANG F， ZHANG W， SONG Y， et al. Wearable and cost-effective pressure sensor based on a carbon nanotube/polyurethane sponge for motion detection and gesture recognition［J］. ACS Applied Electronic Materials， 2023， 5（12）： 6704-6715.

[12] YUAN H， YE J， YE C， et al. Highly efficient preparation of graphite oxide without water enhanced oxidation［J］. Chemistry of Materials， 2021， 33（5）： 1731-1739.

[13] HUANG J H， FANG J H， LIU C C， et al. Effective work function modulation of graphene/carbon nanotube composite films as transparent cathodes for organic optoelectronics［J］. ACS Nano， 2011， 5（8）： 6262-6271.

[14] QIN R， NONG J， WANG K， et al. Recent advances in flexible pressure sensors based on MXene materials［J］. Advanced Materials， 2024， 36（24）： 2312761.

[15] 王吕昊， 曹咏弘. 基于石墨烯的充油高压压力传感器仿真设计［J］. 中北大学学报（自然科学版）， 2024， 45（5）： 565-572.

[16] WANG Lühao， CAO Yonghong. Simulation design of oil-filled high-pressure sensor based on graphene［J］. Journal of North University of China （Natural Science Edition）， 2024， 45（5）： 565-572. （in Chinese）

[17] CHENG Y， MA Y， LI L， et al. Bioinspired microspines for a high-performance spray Ti₃C₂T_x MXene-based piezoresistive sensor［J］. ACS Nano， 2020， 14（2）： 2145-2155.

[18] NIU H， YIN F， KIM E S， et al. Advances in flexible sensors for intelligent perception system enhanced by artificial intelligence［J］. InfoMat， 2023， 5（5）： e12412.

基金资助

国家重点研发计划资助项目(2023YFB3209100)

山西省基础研究计划青年科学研究项目(202303021222087)

国家自然科学基金区域创新发展联合基金(U24A20136)