状态特征空间驱动的多模态遥感图像材质分类识别

摘要

在感知辅助的无线通信领域，感知用户所处地理环境中地物分布的材质类型，可以辅助确定电磁信号在地理环境中的传播情况，从而支撑无线组网、通导部署等应用。现有的地理环境感知主要借助于深度学习，实现多模遥感图像，如高光谱影像(HSI)、激光雷达(LiDAR)和合成孔径雷达(SAR)的地物精细分类，常面临计算复杂度高、难以有效捕获大范围空间上下文依赖和长序列光谱依赖，以及多模态特征融合受限等挑战。为解决这些问题，提出了一种基于状态特征空间驱动(Mamba)的空谱掩码自编码器方法(SS-MAE-Mamba),高效学习多模态遥感图像的鲁棒特征表示。该框架将Mamba模型引入SS-MAE的双分支编码器，利用其线性计算复杂度和内容感知选择性机制，有效捕获复杂的空谱长程依赖并提升处理效率。将SS-MAE-Mamba在Berlin, Augsburg, Houston2018数据集上进行实验验证。结果表明，在Berlin数据集上相较于基线SS-MAE在总体精度(OA)提升6.32%,Kappa提升8.63%,平均精度(AA)提升3.76%;在Augsburg数据集上，OA提升2.61%,Kappa提升3.79%,AA提升4.10%。在Houston2018数据集上，OA提升0.24%,Kappa提升0.33%,AA提升0.48%。

关键词

状态特征空间驱动 / 遥感图像分类 / 多模态特征融合 / 空谱特征