融合时序关系和上下文信息的时间动作检测方法

摘要

时间动作检测是视频理解领域中具有挑战性的任务。先前的时间动作检测模型主要关注视频帧的分类，而忽略视频帧之间的时序关系，导致时间动作检测模型的性能下降。为此，提出融合时序关系和上下文信息的时间动作检测方法(temporal action detection based on enhanced temporal relationship and context information, ETRD)。首先，设计了基于增强局部时序关系注意力机制的全局特征编码器，关注相邻帧的时序关系；其次，构建基于上下文信息的时序特征增强模块，融合上下文信息；最后，通过头部输出分类和回归结果。实验结果表明，所提出的ETRD模型在THUMOS14和ActivityNet1.3数据集上的平均mAP(mean average precision,平均精度均值)分别达到了67.5%和36.0%。相比于Actionformer模型的66.8%和35.6%,ETRD模型的平均mAP分别提升了0.7%和0.4%。利用视觉传感器，所提出的模型可检测出行为类别和持续时间。同时，结合心率等生理信号，可实现个体健康状态管理，为远程医疗、智能监控等提供了一种解决方案。

关键词

时间动作检测 / 时序关系 / 上下文信息 / 多头注意力机制 / 视频动作理解