基于对齐网络的无监督视频目标分割

摘要

针对无监督视频目标分割中运动目标变化剧烈、模态差异导致特征对齐困难等问题，本文提出了一种基于可变形对齐的时序融合方法。首先，分别提取参考帧的外观特征与光流帧的运动特征，以外观特征为引导对运动特征进行可变形对齐，从而实现模态间的互补与融合；其次，在局部邻域范围内预测偏移量与调制掩码，对邻域帧特征执行可变形采样对齐，有效缓解帧间错位并增强短时表达；最后，采用Lovasz Hinge Loss提升分割结果的区域一致性与重叠质量。本文算法在两个常用数据集的评估结果显示，该方法在DAVIS 2016数据集上，J&F为87.8%;在Long-Videos数据集上，J&F为77.75%,证明了该方法的优越性。

关键词

无监督视频目标分割 / 特征对齐 / 可变形卷积 / 互补融合

基金资助

2025年泰州市自然科学基金(TZ202519); 2025年度泰州职业技术学院校级教改研究课题(JY2025040)