多尺度特征与语义增强的轻量化遥感图像描述生成模型

摘要

遥感图像描述技术是遥感领域的重要研究方向，能够对图像内容进行智能解析.然而，现有算法通常计算复杂度高、资源消耗大，难以在资源受限的终端或场合应用.为此，本文设计了一种轻量化遥感图像描述生成模型，旨在降低模型复杂度，同时保持描述生成的准确性.首先，在图像编码器中引入对比语言-图像预训练模型算法，提取图像的多尺度特征，增强模型对不同尺度特征的感知能力.其次，提出基于图注意网络的语义增强算法，促进遥感图像的视觉表示与文本属性的匹配.最后，通过模型轻量化设计，显著减少了训练时间和内存消耗.实验结果表明，在中型数据集UCM-Captions和大型数据集RSICD上，所提模型在整体性能上优于对比模型，为资源受限场景下的遥感图像描述提供了有效解决方案.

关键词

图像描述 / 深度学习 / 轻量化模型 / 多尺度特征提取 / 语义增强 / 图注意网络

基金资助

国家自然科学基金项目(62171145)资助; 广西自然科学基金项目(2021GXNSFAA220058)资助