基于时空双流网络的阿尔兹海默症先兆动作识别方法

摘要

阿尔兹海默症发病早期症状不明显，被确诊时往往已步入中晚期。为了通过日常活动的视频监控提早识别阿尔兹海默症，提出了基于时空双流网络的阿尔兹海默症先兆动作识别方法(premonitory behavioral identification of Alzheimer’s disease base on spatiotemporal two-stream networks, STADP)。首先，从阿尔兹海默症对人体机能的负面影响角度出发，基于医学研究成果定义了日常活动中的阿尔兹海默症先兆动作，构建了阿尔兹海默症先兆动作数据集(Alzheimer’s disease premonitory action dataset, ADP),给出了基于关键帧的视频数据处理算法；其次，将基于三维卷积模型的空间特征提取模块与基于Transformer模型的时间特征提取模块结构相融合，设计了时空双流网络以捕捉阿尔兹海默先兆动作的特征，从而形成了STADP算法；最后，对不同特征融合权重的模型性能进行比较，获得了STADP的最优工作参数。与2种模型的对比实验结果表明：STADP的平均识别准确率、精确度、召回率以及F1值均优于比较算法，分别为83.21%、84.61%、83.14%和82.14%。本研究将为日常活动数据驱动的阿尔兹海默症先兆动作智能感知提供方法与实现手段。

关键词

阿尔兹海默症 / 动作识别 / 双流网络 / 特征融合 / 日常活动