基于多模态语义特征融合的遥感图像描述生成方法

摘要

利用图像分类等辅助任务的结果作为先验信息可以为遥感图像生成高质量的描述，然而这些方法采用的特征融合方式难以捕捉特征之间的复杂交互关系，无法充分描述遥感图像中的内容。为解决此问题，提出一种基于多模态语义特征融合的遥感图像描述生成方法。该方法首先利用预训练的ResNet50网络提取图像区域特征；其次，基于多层感知机网络预测图像的语义属性；再次，通过属性引导的交叉注意力子模块和文本引导的交叉注意力子模块，实现图像、属性和文本特征的交互与融合；最后，将融合后的特征输入解码器，生成目标图像的描述。实验结果表明，该方法在各项评价指标上与基线方法相比均有性能提升，能够生成更加准确的描述。

关键词

遥感图像描述生成 / 多标签分类 / 特征融合 / 交叉注意力机制