基于对比学习文本感知的小样本遥感图像分类

Few-shot remote sensing image classification based on contrastive learning text perception

摘要

针对现有方法主要利用遥感图像单一模态解决同种类别相似度低的问题，本文提出了一种基于多模态学习的遥感图像分类方法。首先，修正图像的空间特征并利用对比学习进行图像编码器的预训练进而生成图像特征，利用文本编码器生成文本特征。其次，引入特征解码器获取文本感知的视觉特征，在特征融合阶段提出了一个新的注意力机制方法。再次，设计了一个新的图像编码器用于提高分类精度。最后，通过计算支持集和查询集之间的相似性进一步进行类别预测。在NWPU-RESISC45、AID和UC Merced数据集上进行实验，其5-way 5-shot准确度分别达到86.46%、85.89%和80.32%，优于现有的小样本遥感图像分类方法。

Abstract

Aiming at the problem that existing methods mainly use a single modality of remote sensing images to solve the problem of low similarity of the same class， a remote sensing image classification method based on multimodal learning is proposed. Firstly， The spatial features of the image are corrected. The image encoder is pre-trained using contrastive learning to generate image features and text features are generated using text encoder. Secondly， a feature decoder is introduced to acquire text perception visual features， and a new attention mechanism approach is proposed in the feature fusion stage. Thirdly， a new image encoder is designed to improve the classification accuracy. Finally， the similarity between the support set and the query set is computed for further class prediction. Experiments are conducted on the NWPU-RESISC45， AID and UC Merced datasets. The 5-way 5-shot accuracies of 86.46%， 85.89%， and 80.32% respectively outperform existing methods in few-shot remote sensing image classification.

Graphical abstract

关键词

计算机应用技术 / 对比学习 / 文本感知 / 小样本学习 / 遥感图像分类

Key words

computer application technology / contrastive learning / text perception / few-shot learning / remote sensing image classification

0 引 言

遥感图像分类是对输入的遥感图像采用一定的方法进行分类的过程。这些技术已广泛应用于城市土地利用类型的精确分类、资源勘探和自然灾害的检测^［1，2］。目前，随着卫星遥感技术的不断进步，高分辨率场景的图像数量不断增加。由于标注数据的人力物力成本很高，传统的基于深度卷积网络^［3］的遥感图像分类方法受限于大量的人工标注数据进行训练，所以减少大量的人工标注数据进行训练的研究受到关注^［2，4］。

小样本学习是指利用先验知识快速识别新类别的能力，即使每个新类别只有少数标记图像可用^［5］。现有的小样本遥感图像分类方法采用两个阶段进行训练和测试。第一阶段将网络预训练为嵌入网络，第二阶段用度量学习进行分类任务。Snell等^［6］提出了原型网络，其思想是在神经网络学习的表示空间中通过其示例的平均值表示每个类。Sung等^［7］提出了关系网络，能够通过计算查询图像与每个新类别的少量示例之间的关系得分对新类别的图像进行分类，而无须进一步更新网络。Li等^［1］提出了自适应匹配网络的判别性学习，将支撑集合和查询集合的判别性特征沿深度拼接，利用一个匹配器适应性地选择语义相关的样本对，并计算相似度得分。Ye等^［8］提出了一种带有Transformer的小样本嵌入适应方法，通过一种集合到集合的函数将实例嵌入适应目标分类任务，从而产生任务特定且具有区分能力的嵌入。Cheng等^［9］提出了原型自校准和相互校准的连体原型网络，自校准利用支撑集合的标签提供的监督信息校准支撑特征的原型，互校准将查询集合里的样本的置信度得分作为另一种形式的原型，用同样的方式预测支撑集样本。

近年来，随着自监督学习的不断发展，自监督学习技术已经被应用于遥感图像分类。这些方法使模型能够学习数据中的底层结构和关系，减少对标记数据的依赖，提高分类性能。Li等^［2］提出了基于自监督对比学习的度量学习框架，将自监督对比学习融入小样本中，能够让特征提取网络在较少数据的情况下依然学习到具有代表性的图像特征。虽然对小样本遥感图像分类任务的大部分研究都集中在可区分的特征上，但研究者主要是利用图像单一模态。随着多模态学习的发展，研究显示了多模态模型在预训练中的有效性，尤其是视觉文本模型^［10］。因此，如果能够利用多模态交互提示分类器，特征提取的效果将得到提升。

因此，本文提出一种基于对比学习文本感知的度量学习框架CLTP-ML（Contrastive learning text perception-metric learning），通过优化图像特征和文本特征的相似度关系，并得到特征的高级融合表达，进而提升遥感图像分类任务的准确度。

1 本文方法

为了模型能够有效捕捉到区分类的特征，本文提出基于对比学习文本感知的度量学习框架CLTP-ML。首先，简要介绍预训练阶段对比学习的整个过程；然后，介绍整个框架中的特征编码器以及改进的图像编码器具体结构，再详细介绍特征解码器生成文本感知的视觉特征以及新提出的注意力机制结构；最后，介绍度量学习阶段的过程。

1.1　预训练阶段

在预训练阶段，为了训练出能够学习增强特征表示的图像编码器，本文采用基于对比学习的方法从训练集D_{\mathrm{t}\mathrm{r}}中抽取N对图像和标签，并对每个样本进行扩充，总共得到\mathrm{2}N个增强样本。首先给出两个样本对之间损失函数计算公式：

L_{ij}=-\mathrm{l}\mathrm{o}\mathrm{g}\frac{\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{c}\mathrm{o}\mathrm{s}(f_i,f_j)/\tau )}{{\displaystyle \sum _{k=\mathrm{1}}^{\mathrm{2}N}}\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{c}\mathrm{o}\mathrm{s}(f_i,f_k)/\tau )}（1）

式中：i\ne k时上述等式成立，\tau为温度系数。则对全局损失函数^［11］可以定义为：

L_g={\displaystyle \sum _{i=\mathrm{1}}^{\mathrm{2}N}}\frac{\mathrm{1}}{\mathrm{2}{N}_{y_i}-\mathrm{1}}{\displaystyle \sum _{j=\mathrm{1}}^{\mathrm{2}N}}{L}_{ij}（2）

式中：i\ne j且y_i=y_j时等式成立。

虽然全局损失都能够让图像编码器产生高级特征表达，但是全局损失也会造成对局部区域的判别丢失情况。针对这种情况，在预训练阶段加入一种基于自注意力机制的对比学习方法。图1为整个预训练对比学习过程。假定给出两张遥感图像，通过图像编码器得到对应的空间特征向量。为了计算二者之间的局部损失，采用自注意力机制^［12］对它们进行空间对齐。设\mathit{k},\mathit{q},\mathit{v}分别为d维度的键向量、查询向量和值向量，给定一对空间特征向量{\mathit{f}}_a和{\mathit{f}}_b作为输入，要计算a相对于b的对齐值{\mathit{v}}_{a|b}需要找到a和b两个特征中对相似度影响大的那些空间位置，并体现在相似度矩阵{\partial }_{ab}中：

{\partial }_{ab}=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{{\mathit{q}}_b{\mathit{k}}_a^{\mathrm{T}}}{\sqrt[]{d}})（3）

式中：\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}为图中的归一化指数函数。接下来，再使a突出这些有更大影响力的空间位置处的特征，完成特征对齐，则给出对齐值{\mathit{v}}_{a|b}的计算公式：

{\mathit{v}}_{a|b}={\partial }_{ab}{\mathit{v}}_a（4）

同理还会计算一次b相对于a的对齐值v_{b|a}。因此，计算一对空间特征之间的相似性的表达式如下：

\mathrm{s}\mathrm{i}\mathrm{m}({\mathit{f}}_a,{\mathit{f}}_b)=\frac{\mathrm{1}}{HW}{\displaystyle \sum _{r=\mathrm{1}}^{HW}}[{\mathit{v}}_a^T{\mathit{v}}_{b|a}+{\mathit{v}}_b^T{\mathit{v}}_{a|b}]（5）

每个空间位置都按上述方式计算一次相似度，再将结果相加取平均。则可以定义局部损失函数为：

L_l={\displaystyle \sum _{a=\mathrm{1}}^{\mathrm{2}N}}\frac{\mathrm{1}}{\mathrm{2}{N}_{y_a}-\mathrm{1}}{\displaystyle \sum _{b=\mathrm{1}}^{\mathrm{2}N}}{L}_{ab}（6）

L_{ab}的表达式为：

L_{ab}=-\mathrm{l}\mathrm{o}\mathrm{g}\frac{\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{s}\mathrm{i}\mathrm{m}({\mathit{f}}_a,{\mathit{f}}_b)/\tau )}{{\displaystyle \sum _{k=\mathrm{1}}^{\mathrm{2}N}}\mathrm{e}\mathrm{x}\mathrm{p}(\mathrm{s}\mathrm{i}\mathrm{m}({\mathit{f}}_a,{\mathit{f}}_b)/\tau )}（7）

针对预训练阶段的目标主要考虑的是全局损失函数和局部损失函数的加权系数和，分别用\mu和\lambda控制每一项的贡献，后续实验中将讨论具体系数的选择。预训练阶段总损失函数定义为：

L=\mu L_g+\lambda L_l（8）

1.2　特征编码器

图2为CLTP-ML框架的结构图。在小样本学习的数据准备中，通常将数据集分为支持集S和查询集Q。CLTP-ML框架中的文本编码器采用的与CLIP^［13］训练的文本编码器一致，具体的文本信息映射描述与文献［14］一致。首先，将每张图像的类别标签生成对应的文本描述。其次，将文本描述输入文本编码器中。文本编码器用于将自然语言文本转换为抽象的特征表示，特征向量能够有效捕捉到文本的语义和上下文信息。

CLTP-ML框架中的图像编码器MRNet共享预训练对比学习阶段的参数。具体网络结构是基于传统的ResNet12模型^［15］的基础上引入了Mixer^［16］架构。如图3所示，首先将遥感图像输入ResNet12模型中，以第一个残差块为例，通过残差块后对输出张量进行维度转换，然后分别通过层归一化、线性层、GeLU激活函数和线性层。将其结果与输入张量相加后通过一次层归一化，接下来与通过线性层、GeLU激活函数、线性层的结果相加得到第一个残差块的结果。上述操作一共进行4轮，分别通过ResNet12中的4个残差块。

1.3　特征解码器

由于遥感图像存在类内相似性低的问题，使从有限样本中提取可区分特征变得更具挑战性。为了解决这个问题，通过将图像的视觉特征和文本的语义特征相结合，可以增加样本的多样性和信息丰富性，从而提高对不同类别的区分能力。因此，CLTP-ML框架采用一种基于多头注意力机制^［12］的特征解码器生成文本感知的视觉特征。图4为特征解码器结构图。首先将生成的文本特征和图像特征分别进行层归一化和线性层的操作得到T₁和I₁，然后将特征投影到同一空间中利用多头注意力机制对视觉特征进行校正，将其重新映射到视觉空间，具体融合过程如图5所示。首先将I₁输入层归一化和多头自注意力机制中，利用文本特征T₁作为键和值获得文本感知特征I，然后将其重新映射到视觉空间。在进行文本特征图像特征融合和对齐时，多头自注意力将输入的序列数据分成多个头，对每个头进行独立的查询、键、值线性变换，可表示为：

\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_i=\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q}{W}_i^{\mathrm{Q}},\mathit{K}{W}_i^{\mathrm{K}},\mathit{V}{W}_i^{\mathrm{V}})（9）

式中：\mathit{Q}{\mathit{W}}_i^Q,\mathit{K}{\mathit{W}}_i^K,\mathit{V}{\mathit{W}}_i^V分别为第i个头的查询、键、值变换矩阵，然后对每个头进行自注意力计算：

\mathrm{a}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{S}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}})\mathit{V}（10）

式中：d_k为键向量的维度。最后将所有头的输出拼接在一起，并进行输出线性变换，具体如下式所示：

\mathrm{m}\mathrm{u}\mathrm{l}\mathrm{t}\mathrm{i}\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{d}(\mathit{Q},\mathit{K},\mathit{V})=\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{c}\mathrm{a}\mathrm{t}(\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_{\mathrm{1}},\cdots ,\mathrm{h}\mathrm{e}\mathrm{a}{\mathrm{d}}_n){\mathit{W}}^O（11）

式中：n为头的数量；{\mathit{W}}^O为输出变换矩阵。

最后利用新设计的注意力机制计算空间和通道注意图，增强感兴趣的特征。图6为新设计的注意力机制ECSAM结构图。首先在H和W上对输入进来的特征层进行最大池化和平均池化，然后进行一个1D卷积再取一次Sigmoid将值固定在0~1，最后将这个权值乘上原输入特征层。进行通道注意力机制后，进行空间注意力机制。首先对输入进来的特征层，在每一个特征点的通道上取最大值和平均值。之后将这两个结果进行一个堆叠，利用一次通道数为1的卷积调整通道数，然后取一个Sigmoid，将这个权值乘上原输入特征层。

1.4　度量学习阶段

假设每个类别的训练样本向量的平均值设为m，那么k类训练样本的质心表示为：

m_k=\frac{\mathrm{1}}{\left|S_k\right|}\sum _{(x_i,y_i)\in S}f(x_i)（12）

式中：S_k为标记k类的支持集样本。在测试阶段，对于每个测试样本，计算它与所有类别的原型之间的相似度，并将测试样本分配给与其相似性最高的类别。本文选择的是余弦相似度作为距离函数d(·)，为了在所有类中产生一个分布，从查询集Q中选取一个查询样本q，则其分布表达式为：

p(y=k|q)=\frac{\mathrm{e}\mathrm{x}\mathrm{p}(-d(f(q),m_k))}{{\displaystyle \sum _{k_{\mathrm{1}}=\mathrm{1}}^C}\mathrm{e}\mathrm{x}\mathrm{p}(-d(f(q),m_{k_{\mathrm{1}}}))}（13）

因此，度量学习阶段的总损失函数为：

L_{\mathrm{T}\mathrm{e}\mathrm{s}\mathrm{t}}=d(f(q),m_k)+\mathrm{l}\mathrm{o}\mathrm{g}{\displaystyle \sum _{k_{\mathrm{1}}=\mathrm{1}}^C}d(f(q),m_{k_{\mathrm{1}}})（14）

2 实验结果与分析

2.1　数据集

为验证CLTP-ML在遥感图像分类任务中的有效性，先后在3个公共遥感数据集上进行实验，主要包括NWPU-RESISC45数据集^［17］、AID数据集^［18］和UC Merced数据集^［19］。NWPU-RESISC45数据集是西北工业大学公布的用于遥感图像场景分类的大规模公开数据集，包含45类场景。每个类别各包含700 张遥感图像，整个数据集一共31 500张图像，每张图像的像素大小为256×256像素，具有规模大、图像中所含信息丰富等特点。AID数据集是一个大型航空图像数据集，从Google Earth图像中收集样本图像，包含30个场景类，每个类有220~420张图像。整个数据集一共有10 000张图像，每张图像的像素大小为600×600像素。UC Merced数据集是从美国地质勘探局国家地图城市地区图像数据库中收集的，包含21个不同的场景类，每个类包含100张图像。整个数据集一共有2 100张图像，每张图像的像素大小为256×256像素。

2.2　实验环境和参数设置

以PyCharm为实验平台，使用PyTorch开发框架实现模型，该模型部署在带有CUDA版本11.4的NVIDIA GeForce RTX 3090 GPU上。模型使用Adam优化器进行优化，学习率为0.000 1，学习率调整乘数为0.5，学习率衰减区间为10，温度系数为128。

2.3　图像预处理

NWPU数据集随机选取25个类用于训练数据集，10个类用于验证数据集以及10个类用于测试数据集。AID数据集随机选取16个类用于训练数据集，7个类用于验证数据集以及7个类用于测试数据集。UCM数据集随机选取10个类用于训练数据集，5个类用于验证数据集以及6个类用于测试数据集。为了进行有效的实验比较，划分方式遵循SCL-MLNet^［2］的划分。为了公平地比较，实验中采用的图像编码器为新设计的图像编码器。采用的数据增强方式为随机水平翻转，随机裁剪和随机灰度变换。实验时随机生成100集用于训练，500集用于验证，2 000集用于测试。在训练和测试阶段，用15个查询样本评估模型在5-way 5-shot情况下的性能。

2.4　总体实验结果及比较

本文将CLTP-ML框架与一些经典和前沿的小样本遥感图像分类方法进行对比，包括原型网络（ProtoNet）^［6］、关系网络（RelationNet）^［7］、自适应匹配网络（DLA-MatchNet）^［1］，自监督对比学习度量学习框架（SCL-MLNet）^［2］，带有Transformer的小样本嵌入适应方法（FEAT）^［8］，原型自校准和相互校准的连体原型网络（SPNet）^［9］及文本感知框架（TeAw）^［10］。表1显示了现有的小样本遥感图像分类模型与本文框架的分类准确度对比。在NWPU数据集中，CLTP-ML框架在5-way 5-shot情况下的分类准确率达到86.46%，与TeAw方法相比高出0.89%。在AID数据集中，CLTP-ML框架在5-way 5-shot情况下的准确率达到85.89%，比排名第二的TeAw方法相比高出1.27%。在UCM数据集中，5-way 5-shot情况下的准确率可以达到80.32%，相较于TeAw方法相比提升2.82%。通过对比可以看出，本文提出的框架能够在小样本遥感分类任务中取得较好的效果。

2.5　参数实验结果及比较

本文对各个模型参数进行了实验，实验结果如表2所示。从实验结果中可以看出，参数量最小的模型是ProtoNet，仅为11.84 M，尽管参数量较小，但是ProtoNet在遥感图像分类任务上的准确率是最低的。FEAT模型的参数量最大，达到37.52 M。尽管FEAT方法的准确度有一定的提升，但是该方法的参数量大约达到了ProtoNet方法的3倍。在计算复杂度方面，RelationNet的数值是最低的，FEAT方法的数值是最高的。然而CLTP-ML方法结合参数量小、计算复杂度小以及准确度高几方面因素能够取得相对优越的性能。

2.6　预训练损失函数加权系数结果比较

为了使预训练阶段的训练效果达到最优，对预训练阶段总损失函数的加权系数进行讨论。如图7所示为不同加权系数在3个数据集上5-way 5-shot的分类准确度，横轴表示的是全局损失与局部损失的比值，即\mu /\lambda，纵轴表示的是分类准确度。本文选择了12组不同情况的取值，前9组\mu和\lambda的和等于1，后3组\mu确保等于1，调整\lambda的值。从图中结果可以看出，对于前9组数据，随着\mu的值不断减少0.1，\lambda的值不断增加0.1，在3个数据集上5-way 5-shot的分类准确度不断下降。对于后3组数据，可以从图中看出，在3个数据集上的折线走势都是先上升后降低，所有折线在\mu =\mathrm{1}、\lambda =\mathrm{0.5}处达到峰值且高于前9组中的最大数据。从结果中可以分析出，在全局损失和局部损失中全局损失占的比例更大，适当引入局部损失可以有效地提升模型的分类准确度。因此，选择1作为全局损失的系数，选择0.5作为局部损失的系数。

2.7　图像编码器对比实验

为了验证改进的图像编码器对CLTP-ML框架的效果，本文研究了基于多模态学习模型的不同图像编码器的性能。首先，选取的图像编码器包括ResNet12^［15］、ResNet18^［15］和改进的图像编码器MRNet。图8显示了分别使用上述3个图像编码器在3个数据集的5-way 5-shot任务下的分类准确度。从图中可以看出，在NWPU数据集中，MRNet的分类准确度相较于ResNet12网络高出1.10%。在AID数据集中，MRNet的分类准确度最高，比第二名的ResNet18网络高出0.92%。在UCM数据集中，MRNet的分类准确度能够达到80.32%，高出ResNet12网络1.13%。这有效地证明MRNet网络更加适合于CLTP-ML框架。

2.8　注意力机制对比实验

为了证明提出的新的注意力机制ECSAM对特征学习的有效性，本文将ECSAM与一些常见的注意力机制进行比较，如SENet^［20］、ECANet^［21］和CBAM^［22］。表3为4种注意力机制在3个数据集上的5-way 5-shot分类准确度结果。根据结果可以看出，在NWPU和UCM数据集中，ECSAM的准确度最高，其次是CBAM，SENet的准确度相对最低。在AID数据集中，ECSAM的分类准确度最高，相比第二名SENet的准确度高了0.47%。因此，本文提出的新的注意力机制方法通过结合通道注意力机制和空间注意力机制，可以同时考虑特征通道和空间位置之间的关系，使模型能自适应地选择重要的特征通道和空间位置，从而提高模型的准确性。

2.9　可视化实验

此外，为了更直观地显示CLTP-ML框架中对关键特征信息提取的有效性，本文根据XGrad-CAM^［23］方法绘制类热力图。图9给出了4组不同数据集中的图像，第一行代表原图像，第二行代表使用FEAT方法绘制出的类热力图，第三行代表使用TeAw方法绘制出的类热力图，第四行代表CLTP-ML框架绘制出的类热力图。图中红色区域为特征信息贡献度高的区域，蓝色区域为特征信息贡献度低的区域。对于飞机的识别，CLTP-ML框架将重点放在机翼与机身连接处，而TeAw方法将整架飞机都设为重点。对于湖泊的识别，CLTP-ML框架将重点放在湖泊边缘形状突出的位置；而FEAT方法和TeAw方法将重点识别在非湖泊关键位置。对于宫殿的识别，CLTP-ML框架将重点放在宫殿屋顶镂空部分；而FEAT方法和TeAw方法将重点放在宫殿屋顶边缘位置，但是只能重点识别到一个边缘。对于船只的识别，CLTP-ML框架将重点放在船身的位置；而FEAT方法将非船只部分设为重点。因此，通过类热力图的对比实验可以看出CLTP-ML框架能够有效捕捉到区分类的特征。

2.10　消融实验

为了进一步探讨预训练阶段以及注意力机制对遥感图像分类的影响，本文进行了消融实验。表4给出了在3个遥感数据集上是否进行预训练阶段（P）、是否采用文本信息融合（T）以及注意力机制（A）在5-way 5-shot任务下的分类准确度结果。从实验结果中看出，在NWPU数据集中，加入预训练阶段比不加入预训练阶段的分类准确度高出2.45%，使用文本信息融合后分类准确度提升了0.21%，加入注意力机制模块后，分类准确度又提升了0.41%。在AID数据集中，不加入预训练阶段的分类准确度可以达到82.19%，而加入预训练模块和文本信息融合后可以提高3.09%，再加入注意力机制模块后分类准确度可以达到85.89%。在UCM数据集中加入预训练阶段的分类准确度相较于不加入预训练阶段的分类准确度提高了1.63%，在此基础上，加入文本信息融合后准确度又提高0.84%，再加入注意力机制模块后，分类准确度达到了80.32%。因此，在3个数据集中加入预训练阶段、加入文本信息和注意力机制可以使模型的分类准确度提高，使得模型能够更加有效地学到区分类的特征。

3 结束语

本文提出了一种基于对比学习文本感知的小样本遥感图像分类框架CLTP-ML。在模型中，通过预训练阶段进行全局和局部损失优化图像编码器，从而提高分类精度；通过引入文本特征进一步提高模型的感知能力；通过改进图像编码器结构使其更加适用于遥感图像分类任务。除此之外，通过设计一个新的注意力机制方法使模型可以自适应地选择重要的特征通道和空间位置，使模型能够更大程度捕捉到区分类的特征。模型分别在3个遥感数据集上进行了对比实验，实验结果表明：CLTP-ML框架与经典小样本遥感分类框架相比分类结果更准确，同时也说明了使用多模态学习解决同种类别相似度低的问题比单一模态更加有效。

参考文献

[1] Li L, Han J, Yao X, et al.DLA-MatchNet for few-shot remote sensing image scene classification[J].IEEE Transactions on Geoscience and Remote Sensing, 2020, 59 (9): 7844-7853.

[2] Li X, Shi D, Diao X, et al.SCL-MLNet: boosting few-shot remote sensing scene classification via self-supervised contrastive learning[J].IEEE Transactions on Geoscience and Remote Sensing, 2021, 60: 1-12.

[3] 崔璐, 张鹏, 车进.基于深度神经网络的遥感图像分类算法综述[J]. 计算机科学,2018, 45 (6): 50-53.

[4] Cui Lu, Zhang Peng, Che Jin. A review of deep neural network based remote sensing image classification algorithms[J]. Computer Science,2018, 45(6): 50-53.

[5] Gong T, Zheng X, Lu X.Meta self-supervised learning for distribution shifted few-shot scene classification[J].IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.

[6] Yuan Z, Tang C, Yang A, et al.Few-shot remote sensing image scene classification based on metric learning and local descriptors[J].Remote Sensing,2023, 15 (3): No.831.

[7] Snell J, Swersky K, Zemel R.Prototypical networks for few-shot learning[J].Advances in Neural Information Processing Systems, 2017, 30:No. 05175.

[8] Sung F, Yang Y, Zhang L, et al. Learning to compare: relation network for few-shot learning[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 1199-1208.

[9] Ye H J, Hu H, Zhan D C, et al. Few-shot learning via embedding adaptation with set-to-set functions[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle,USA, 2020: 8808-8817.

[10] Cheng G, Cai L, Lang C, et al.SPNet: Siamese-prototype network for few-shot remote sensing image scene classification[J].IEEE Transactions on Geoscience and Remote Sensing,2021, 60: 1-11.

[11] Cheng K, Yang C, Fan Z, et al. TeAw: Text-aware few-shot remote sensing image scene classification[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing(ICASSP), Rhodes Island, Greece, 2023: 1-5.

[12] Khosla P, Teterwak P, Wang C, et al.Supervised contrastive learning[J].Advances in Neural Information Processing Systems, 2020, 33: 18661-18673.

[13] Vaswani A, Shazeer N, Parmar N, et al.Attention is all you need[J].Advances in Neural Information Processing Systems, 2017, 30: No. 03762.

[14] Radford A, Kim J W, Hallacy C, et al. Learning transferable visual models from natural language supervision[C]∥International Conference on Machine Learning, Jeju Island, Repubic of Korea, 2021: 8748-8763.

[15] Li Y, Zhu Z, Yu J-G, et al.Learning deep cross-modal embedding networks for zero-shot remote sensing image scene classification[J].IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(12): 10590-10603.

[16] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 770-778.

[17] Tolstikhin I O, Houlsby N, Kolesnikov A, et al.Mlp-mixer: an all-mlp architecture for vision[J].Advances in Neural Information Processing Systems,2021, 34: 24261-24272.

[18] Cheng G, Han J, Lu X.Remote sensing image scene classification: benchmark and state of the art[J].Proceedings of the IEEE, 2017, 105 (10): 1865-1883.

[19] Xia G S, Hu J, Hu F, et al.AID: a benchmark data set for performance evaluation of aerial scene classification[J].IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(7): 3965-3981.

[20] Yang Y, Newsam S. Bag-of-visual-words and spatial extensions for land-use classification[C]∥Proceedings of the 18th SIGSPATIAL International Conference on Advances in Geographic Information Systems, San Jose, USA,2010: 270-279.

[21] Hu J, Shen L, Sun G. Squeeze-and-excitation networks[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 7132-7141.

[22] Wang Q, Wu B, Zhu P, et al. ECA-Net: Efficient channel attention for deep convolutional neural networks[C]∥Proceedings of the IEEE/CVF conference on computer vision and pattern recognition, Online, 2020: 11534-11542.

[23] Woo S, Park J, Lee J-Y, et al. Cbam: Convolutional block attention module[C]∥Proceedings of the European Conference on Computer Vision(ECCV), Glasgow, England, 2018: 3-19.

[24] Fu R, Hu Q, Dong X, et al.Axiom-based grad-cam: Towards accurate visualization and explanation of cnns[J/OL].[2023-10-11].2020

基金资助

吉林省科技发展计划项目(20230201082GX)