基于协同卷积的轻量级行为检测方法

摘要

时空行为检测是计算机视觉领域重要的研究方向，为了减小模型体量，提高检测速度，提出一种基于协同卷积(collective convolution, CoConv)的轻量级行为检测方法。将视频的时序信息转换为时空图像(spatio-temporal image, STI),利用协同卷积获取相同位置不同时间的时空特征信息。在YOLOv5的基础上将骨干网络和检测头部替换为协同卷积模块构建时空行为检测网络结构，通过后处理对时空图像的检测结果进行连接，快速形成视频结果，提高网络的行为检测性能。实验结果表明，提出的方法可以在保证准确率和不增加参数量的情况下，减少网络计算量，提高网络检测速度，且优于现有的行为检测方法。

关键词

深度学习 / 时空行为检测 / 轻量级 / 协同卷积 / 时空图像