SignBot:一种基于轻量深度神经网络的人形手语机器人

摘要

人形机器人凭借高度逼真的人类外观与灵活稳定的运动能力，能够深度参与到人类社会活动场景；人机交互是人形机器人进入现实世界，成为人们生活、学习和工作中的伴侣的必要能力.然而，现有机器人交互技术主要面向正常人群，缺乏适用于听力或者语言障碍人士的人机交互方案.为此，设计了一种轻量级的手语识别深度网络(SignNet),该模型能够快速集成到机器人硬件平台，使其具备手语识别能力.此外，本文将手语识别模型与现有表情控制算法、语音合成算法联合，使机器人能够识别手语，并通过表情和语音反馈进行交互.实验结果表明，SignNet在多个手语数据集(WLASL、CSL、SLR500)上识别准确率最高达到98.2%,进一步测试显示，该机器人能精准识别手语并提供适当反馈，为听力或语言障碍人士提供了有效的人机交互途径.

关键词

人形机器人 / 人机交互 / 轻量级网络 / 手语识别

基金资助

国家重点研发计划项目(2023YFC3605800)资助