基于双路时空特征融合的步态识别方法

摘要

为了增强步态特征的表达能力，充分利用步态图像的外观信息和时序信息，提出了一种基于双路时空特征融合的步态识别方法。在空间上，分别对全局和局部的空间特征进行提取：全局特征采用2D CNN的方法提取，关注整个视觉步态外观；局部特征采用焦点卷积的方法提取，关注步态细节。在时间上，对于步态帧的全局和局部信息，分别引入注意力机制来获取长短期时间中最具判别力的特征。最后将全局、局部和长短期特征进行自适应融合，把双路的自适应时空特征进行拼接，从而构成基于双路时空特征融合的步态识别网络。采用三元损失函数和交叉熵损失函数进行联合训练。实验表明，在CASIA-B数据集上，本方法在正常行走、携带行李和穿着外衣的情况下，分别实现了97.1%、93.3%和82.0%的Rank-1精度，优于其他算法；同时，在mini-OUMVLP数据集上也获得了较高的步态识别率。

关键词

步态识别 / 双路网络 / 时空特征提取 / 注意力机制 / 自适应时间特征融合

基金资助

国家自然科学基金资助项目(71672117); 辽宁省教育厅高校基本科研资助项目(JYTMS20231165); 国家级创新创业训练项目(202311035007)