基于动态优化细节感知网络的遥感图像分割方法

摘要

现有的遥感图像分割模型，例如基于卷积神经网络（Convolutional neural network,CNN）和基于Transformer框架的模型，取得了巨大成功，但是还存在难以完整保留原始编码器特征图细节、动态捕捉全局上下文信息等缺点.因此，基于CNN–Transformer混合框架，提出了一种全新的基于动态优化细节感知网络（Dynamic optimized detail-aware network,DODNet）的分割方法.首先，在编码器采用ResNext–50作为主干网络，提出一种多重减法感知模块（Multi-subtraction perception module,MSPM）来收集多尺度特征图之间的空间细节差异，有效减少冗余信息.然后，在解码器设计一个动态信息融合模块（Dynamic information fusion block,DIFB），它结合了全局双层路由自注意力分支和局部注意力分支，用于提高全局和局部信息的获取能力.最后，提出一种新的通道空间注意力模块—统一特征提取器（Unified feature extractor,UFE）以进一步获取语义和上下文信息.在Vaihingen、Potsdam和LoveDA三个经典公开数据集，通过对比和消融实验的定量和可视化分析表明，所提方法在F1分数、总体精度（Over accuracy,OA）和平均交并比（Mean intersection over union,mIoU）评价指标中优于十种最先进的分割方法，其中平均交并比分别达到了84.96%、87.64%和52.43%，验证了所提方法在分割具有复杂背景、内类方差大和类间方差小问题的高分辨率遥感图像的优越性能.

关键词

遥感图像 / 语义分割 / CNN–Transformer框架 / 动态Transformer / 多尺度减法

基金资助

国家自然科学基金面上资助项目（62273155）; 山东省自然科学基金资助项目（ZR2021MF017,ZR2024QF022）; 山东省重点研发计划（软科学）资助项目（2023RKY01015）