结合CNN与Transformer的旋转鲁棒遥感图像分类

摘要

针对如何将卷积神经网络(convolutional neural network, CNN)与Transformer结合，从局部-全局的角度挖掘遥感图像特征，实现旋转鲁棒的遥感图像分类，提出结合CNN与Transformer的旋转鲁棒遥感图像分类方法。构建分块嵌入模块，通过中心池化卷积核和旋转卷积核提取旋转鲁棒的局部图像特征；设计空间结构计算模块，通过计算块嵌入之间的余弦相似度和中心相对距离来弥补Transformer缺失的空间结构信息。在NWPU-VHR-10和RSOD这2个遥感数据集上进行实验，结果表明所提方法的分类性能优于对比的大部分方法。

关键词

卷积神经网络 / 深度学习 / 旋转变化 / 遥感图像分类