结合CNN与Transformer的旋转鲁棒遥感图像分类

摘要

针对如何将卷积神经网络(convolutional neural network, CNN)与Transformer结合，从局部-全局的角度挖掘遥感图像特征，实现旋转鲁棒的遥感图像分类，提出结合CNN与Transformer的旋转鲁棒遥感图像分类方法。构建分块嵌入模块，通过中心池化卷积核和旋转卷积核提取旋转鲁棒的局部图像特征；设计空间结构计算模块，通过计算块嵌入之间的余弦相似度和中心相对距离来弥补Transformer缺失的空间结构信息。在NWPU-VHR-10和RSOD这2个遥感数据集上进行实验，结果表明所提方法的分类性能优于对比的大部分方法。

关键词

卷积神经网络 / 深度学习 / 旋转变化 / 遥感图像分类

基金资助

国家自然科学基金项目(62371084); 重庆市自然科学基金面上项目(CSTB2022NSCQ-MSX1418); 重庆市博士后研究项目特别资助项目(2022CQBSHTB2041); 中国博士后科学基金项目(2022MD723727)