Gait-ViT:基于Vision Transformer的跨视角步态识别方法

摘要

步态识别作为一种远程生物特征识别技术，在医疗康复、刑侦侦查及社会治安等领域展现出广泛的应用前景.近年来，随着深度学习的快速发展，步态识别方法逐渐从传统的卷积神经网络(Convolutional Neural Network, CNN)转向更为先进的Transformer架构.尽管CNN在图像处理任务中表现优异，但其对图像关键区域的关注能力有限，而注意力机制则能够通过聚焦图像局部区域来学习更具判别性的特征.为此，本文提出了一种融合注意力机制的Vision Transformer模型(Gait-ViT)用于步态识别，该方法首先将步态轮廓划分成多个小块并转化成块序列；然后通过位置嵌入和类嵌入对序列中的位置信息进行重新排列和编码；最后，将向量序列反馈给Vision Transformer进行预测.Gait-ViT模型在CASIA-B和OU-MVLP两个公开步态数据集上分别取得了98.1%和91.2%的识别准确率，验证了所提模型的有效性.

关键词

步态识别 / Vision Transformer / 卷积神经网络 / 特征提取

基金资助

江苏省高等学校自然科学研究重大项目(22KJA520010)资助; 江苏省研究生科研与实践创新计划项目(SJCX23＿0273,SJCX24＿0318)资助; 浙江大学计算机辅助设计与计算机图形学国家重点实验室开放课题项目(A2118)资助