基于多通道特征融合的人体动作识别方法

摘要

现阶段，深度学习已在基于WiFi的人体动作识别领域得到广泛应用且取得显著成果。然而，在利用多输入、多输出（MIMO）系统强大的空间分集特性进行动作识别时，受多径效应影响，获得信道状态信息（CSI）存在对相同动作的特征描述存在差异、不同动作的特征描述存在类似、特征提取不完整和动作分类复杂的问题。为解决上述问题，本文提出一种基于双重注意力机制和多通道、多尺度的时间卷积网络的动作识别方法。首先，根据MIMO系统的空间分集特性，构建多通道信息提取模型，从各个天线接收到的信道中提取出有关动作的特性信息。然后，设计多尺度的统合机制，强化同一动作在不同通道接收数据的表征，通过整合不同尺度的动作特征，增强对动作的表征能力。再次，采用特征图融合注意力机制和特征通道注意力机制对各通道的动作特征进行聚合。注意力机制能有效地找出对最终动作识别有重要贡献的特征，使模型可以更好地进行特征聚焦。与此同时，将时间卷积网络应用于特征处理过程，使不同时间步的动作特征间的长期依赖关系得以维持，增加对复杂和连续动作的识别能力。最终，利用全局平均池化层（GAP）将各通道的特征图与动作分类器进行连接，以便多通道的动作特性能有效聚合在一起，进一步提高动作识别的精度。本文提出的模型在公共数据集7种动作测试中，实现98.72%的平均准确率。同时在自行搭建的实验室、教室和走廊等真实环境下进行测试时，10种不同的动作分别获得97.94%、97.28%和95.66%的识别准确率。实验结果充分证明了本文所提出的基于WiFi的人体动作识别模型在不同环境的有效性和优越性。

关键词

动作识别 / 深度学习 / 信道状态信息 / TCN / 注意力

基金资助

国家重点研发计划资助项目（2018YFB1403303）; 辽宁省教育厅基本科研资助项目（LJKZ0349）;辽宁省教育厅基本科研项目（LJKMZ20220676）