结合多尺度特征增强与记忆引导Transformer的遥感图像描述算法

摘要

为解决传统的遥感图像描述算法对图像多尺度信息利用不充分的问题，本文提出了结合多尺度特征增强与记忆引导Transformer的遥感图像描述生成算法(MFE-MGT).首先，利用预训练的视觉特征提取器提取图像特征，并将卷积神经网络中浅层与深层的特征进行拼接；其次，通过多尺度特征增强模块获得融合增强后的图像特征，以更好地捕捉多尺度特征；接着，将融合增强后的视觉特征输入记忆引导Transformer的编码器进行编码聚合；最后，通过Transformer记忆解码器生成图像描述.模型采用RSICD数据集进行训练，实验结果表明，MFE-MGT在多个评价指标上的表现均优于当前主流的遥感图像描述生成算法，能够准确的描述图像内容.

关键词

多尺度特征增强 / 深度神经网络 / Transformer / 遥感图像描述