基于CNN和ViT的三支路生成对抗网络的多源遥感图像融合

摘要

多源遥感图像具有信息互补性，其中同一场景的全色图像具有较高空间分辨率，而多光谱图像具有较高光谱分辨率。通过多模态图像融合技术，可将全色图像与多光谱图像的信息进行整合，从而得到同时具有高空间分辨率与高光谱分辨率的融合图像。为此，提出了一种基于CNN和ViT的三支路生成对抗网络的多源遥感图像融合方法。具体地，先将全色图像与多光谱图像分别输入至生成器的空间支路与光谱支路进行特征提取，与此同时将全色图像与多光谱图像经联结后输入至生成器的融合支路进行特征提取；然后，在融合支路，将空间支路、光谱支路提取到的特征逐级地与融合支路提取到的特征进行交互和联结，并重构得到融合图像；接着，采用两个判别器，即空间判别器与光谱判别器，分别对融合图像从空间信息与光谱信息两方面进行真伪判别；最后，通过生成器与两个判别器之间的对抗训练，最终得到同时具有高空间分辨率与高光谱分辨率的融合图像。实验结果表明，相较于CNMF,PanNet, Pan-GAN,SDPNet方法，所提方法得到的融合结果在定性、定量对比方面均具有优越性。

关键词

遥感图像融合 / 卷积神经网络 / 视觉Transformer / 生成对抗网络

基金资助

国家自然科学基金面上资助项目(62271236); 江苏海洋大学自然科学基金项目(Z2015009);江苏海洋大学研究生科研与实践创新计划项目(KYCX2022-41)