基于对比学习文本感知的小样本遥感图像分类

摘要

针对现有方法主要利用遥感图像单一模态解决同种类别相似度低的问题，本文提出了一种基于多模态学习的遥感图像分类方法。首先，修正图像的空间特征并利用对比学习进行图像编码器的预训练进而生成图像特征，利用文本编码器生成文本特征。其次，引入特征解码器获取文本感知的视觉特征，在特征融合阶段提出了一个新的注意力机制方法。再次，设计了一个新的图像编码器用于提高分类精度。最后，通过计算支持集和查询集之间的相似性进一步进行类别预测。在NWPU-RESISC45、AID和UC Merced数据集上进行实验，其5-way 5-shot准确度分别达到86.46%、85.89%和80.32%，优于现有的小样本遥感图像分类方法。

关键词

计算机应用技术 / 对比学习 / 文本感知 / 小样本学习 / 遥感图像分类