多视角特征融合的孤立手语识别方法

摘要

目前国内尚无公开的多视角手语数据集，手语识别研究主要围绕单一视角数据展开，由于手势遮挡问题，模型识别效果不佳.针对这些问题，创建了一个多视角孤立手语数据集(Multi-View Chinese Isolated Sign Language Dataset, MV-CISL);基于该数据集，提出了一种多视角特征融合的孤立手语识别方法，该方法使用基于改进的3D-ResNet18的端到端多流网络提取不同视角的特征信息，并通过决策级融合来整合这些特征信息；为提高网络识别性能，使用CSL-500单视角数据集对所提出网络进行迁移学习，并将其应用于MV-CISL数据集.实验结果表明，所提出方法在性能上优于单视角和双视角方法；在多流网络骨干模型ResNet+LSTM、ResNet+BiLSTM、3D-MobileNet和3D-ShuffleNet上进一步验证了该方法的有效性；与基于正面视角RGB和深度信息融合的方法相比，数据采集成本更低，性能更优良.

关键词

多视角特征 / 孤立手语识别 / 迁移学习 / 决策级融合