基于X3D特征和语义融合的篮球运动员检测跟踪方法

摘要

针对单机位篮球视频中运动员频繁遮挡、队服相似及相机抖动导致的跟踪难题，本文提出融合X3D时空特征与多模态语义的实时检测跟踪方法.首先，采用单应性稳像将直播流配准至参考平面，抑制背景漂移.其次，利用轻量化X3D网络在16帧片段上提取1 024维时空描述子(5 GFLOPs算力约束),捕获各种篮球比赛的关键动作模式，同时满足了边缘部署的延迟要求；最后，设计注意力驱动的特征融合模块，自适应结合几何位移、外观直方图与X3D特征.在NBA-SYN和UCF-Sports-Basket公开数据集上的实验表明，该方法分别达到77.43%和79.30%的MOTA,以45.31 FPS的实时性能，显著优于现有方案，为有效硬件条件下的篮球视频分析提供可靠技术支撑.

关键词

篮球视频 / 检测跟踪 / X3D网络 / 单应性稳像 / 特征融合

基金资助

国家自然科学基金资助项目(42402278); 甘肃省科技计划资助项目(23YFGA0073); 2023年度广东省教育科学规划课题(高等教育专项)资助项目(2023GXJK297)