基于CLIP模型和知识数据库的零样本动作识别

摘要

零样本动作识别旨在从已知类别的动作样本数据中学习知识，并将其迁移到未知的动作类别上，从而实现对未知动作样本的识别和分类．现有的零样本动作识别模型依赖有限的训练数据，可学习到的先验知识有限，难以将视觉特征准确地映射到语义标签上，是限制零样本学习性能提升的关键因素．针对上述问题，本文提出了一种引入外部知识数据库和CLIP模型的零样本学习框架，利用多模态CLIP模型通过自监督对比学习方式积累的知识，来扩充零样本动作识别模型的先验知识．同时，设计了时序编码器，以弥补CLIP模型时序建模能力的欠缺．为了使模型学习到更丰富的语义特征，缩小视觉特征和语义标签之间的语义鸿沟，本文扩展了已知动作类别的语义标签，用更为详细的描述语句代替简单的文本标签，丰富了文本表示的语义信息；在此基础上，在模型外部构建了一个知识数据库，在不增加模型参数规模的条件下为模型提供额外的辅助信息，强化视觉特征与文本特征表示之间的关联关系．最后，本文遵循零样本学习规范，对模型进行微调，使其适应零样本动作识别任务，提高了模型的泛化能力．所提方法在HMDB51和UCF101两个主流数据集上进行了广泛实验，实验数据表明，该方法的识别性能相比目前的先进方法在上述两个数据集上分别提升了3.8%和2.3%，充分体现了所提方法的有效性．

关键词

零样本学习 / 动作识别 / CLIP模型 / 知识数据库