基于多模态和度量学习的小样本图像分类方法

岳之一, 钱素琴

doi:10.19886/j.cnki.dhdz.2023.0305

东华大学学报（自然科学版） ›› 2024, Vol. 50 ›› Issue (06) : 146 -150. DOI: 10.19886/j.cnki.dhdz.2023.0305

基于多模态和度量学习的小样本图像分类方法

岳之一, 钱素琴

作者信息 +

Author information +

文章历史 +

PDF (4454K)

摘要

在小样本图像分类中，由于样本数量有限，神经网络难以进行充分训练，同时仅使用单一的判别方法容易产生相似性偏差，分类准确率较低。针对上述问题，提出一种多模态和度量学习相结合的小样本图像分类模型。使用卷积神经网络提取查询集和支持集图像的特征，通过度量模块判断图像与图像间的相似度；通过多模态模块对已知类别图像的文本信息与查询图像进行跨模态对比，从而计算查询图像与每个类别文本信息的相似度；最后结合两种相似度，基于多模态信息得出最终预测结果。在MiniImagenet和CUB-200-2011两个数据集上进行小样本分类试验，同时与6种先进的小样本分类模型进行对比，结果显示，所提模型的分类准确率优于其他模型。试验结果证实了所提模型的有效性。