基于多模态遥感图像的特征融合模型

摘要

为了解决传统单分支网络在遥感图像语义分割中存在的模型精度受限于单模态数据、参数规模庞大等问题，提出了一种基于大核卷积的多模态特征融合网络(large-kernel convolution-based multi-modal feature fusion network, LMFNet)模型。采用改进的大核MobileNetV3(GMBNetV3)作为并行主干，通过交互自注意力强化模块(cross-self-attention enhancement module, CSAEM)融合多源特征，并利用门控单元聚合模块(gating unit aggregation module, GUAM)在解码阶段整合抽象与纹理信息。在公共数据集Potsdam和Vaihingen上，将LMFNet与当前先进的多模态图像分割模型进行性能对比，并进行消融实验验证模型各模块功能。结果表明：在Potsdam数据集下，LMFNet在参数量降低29.3%～73.6%的基础上，分割性能mIoU相较于其他先进多模态分割模型提升0.32个百分点～6.50个百分点，推理速度提高1.7%～45.9%。所提模型有效地融合了差异图像特征，能够更清晰地对遥感图像进行语义分割，可为城市管理中的遥感图像实例分割提供有力支持。

关键词

计算机神经网络 / 大核卷积 / 遥感图像分割 / 多模态 / 特征融合