结合图像-文本提示与跨模态适配器的零样本多标签图像分类

摘要

最近的零样本多标签图像分类方法主要基于视觉语言预训练模型CLIP(contrastive language-image pre-training)。然而，这些工作仅仅在文本提示上进行改进，忽略了图像和文本2种模态之间的交互。针对以上问题，提出一种结合图像-文本提示和跨模态适配器(image-text prompts and cross-modal adapter, ITPCA)的零样本多标签图像分类方法，充分挖掘视觉语言预训练模型的图文匹配能力。通过结合提示学习为图像和文本分支设计提示，提高了模型对不同标签的泛化能力。此外，设计了一个跨模态适配器建立图像和文本2种模态之间的联系。实验结果表明，在NUS-WIDE、MS-COCO多标签数据集上，所提方法优于其他零样本多标签图像分类方法。

关键词

视觉语言预训练模型 / 提示学习 / 零样本学习 / 多标签图像分类

基金资助

国家自然科学基金面上项目(62371084)