3D-UNet网络的手势分割及其识别性能

摘要

手势分割及识别过程中的光照和背景干扰会导致非手势区域的错误分割及手势区域的空洞问题,图片序列处理时还会丢失时间维度信息,降低分割精度.针对该问题,提出一种结合三维U形网络(3D-UNet)与残差密集块(RDB)的模型3D-UNet-RDB,用于捕捉图像序列的时序特征,实现手势区域的准确分割.在3D-UNet的编码器后嵌入RDB模块,并在不同时间步长之间建立连接,以便网络捕获关于时间的相关信息,增强其特征提取能力和信息传递效率.分割后的手势图通过ResNet50模型训练以验证图像识别性能.结果表明, 3D-UNet-RDB模型的平均分割精确度为94.31%,相比IASPP-ResNet模型的90.75%提升3.56%.识别任务中, 3D-UNet-RDB在美国手语和中文孤立词手语视频数据集中的识别率分别为95.36%和98.13%,比HGR-Net模型的92.17%和94.32%分别提升3.19%和3.81%. 3D-UNet-RDB模型能够有效捕获输入图像序列的关键特征,显著提升了手势分割与识别的精度.

关键词

手势识别 / 手势分割 / 3D-UNet-RDB网络 / 残差网络

基金资助

国家自然科学基金项目（61861023）