多时相高分辨率卫星遥感图像语义分割算法

Semantic segmentation algorithm for multi temporal high⁃resolution satellite remote sensing images

摘要

为了解决单一时相低分辨率图像无法准确识别遥感图像中各类语义对象的问题，提出了多时相高分辨率卫星遥感图像语义分割算法。通过求解图像信息的多时相分辨率，进行遥感目标分区处理，准确识别并提取遥感图像中各类语义对象及特征；基于尺度函数定义式计算分割权重，实现对遥感图像语义对象的精确识别与分割。实验结果表明，本文方法显著提高了语义对象的识别准确率，分割后地物信息中各项语义对象占比的实验值与真实值之间的最大数值差未超过0.2%，为遥感图像的应用提供了有力支持。

Abstract

In order to solve the problem of inaccurate recognition of various semantic objects in remote sensing images using a single temporal low resolution image， a multi temporal high-resolution satellite remote sensing image semantic segmentation algorithm was proposed. By solving the multi temporal resolution of image information， remote sensing targets are partitioned， and various semantic objects and features of remote sensing images are accurately identified and extracted. Based on the definition of scale function， the segmentation weight is calculated to realize accurate recognition and segmentation of semantic objects in remote sensing images. The experimental results show that the recognition accuracy of semantic objects is significantly improved by the proposed method， and the maximum numerical difference between the experimental value and the real value of each semantic object content in the segmented ground object information does not exceed 0.2%， which provides strong support for the application of remote sensing images.

Graphical abstract

关键词

多时相高分辨率 / 卫星遥感图像 / 语义分割 / 显著遥感区域 / 尺度函数 / 分割权重

Key words

multi temporal high-resolution / satellite remote sensing images / semantic segmentation / significant remote sensing areas / scale function / segmentation weight

0 引 言

卫星遥感图像的显著遥感区域具有复杂的结构和纹理特征^［1］。地物表面的纹理和特征在不同地点和不同时间会发生变化，在单一时相的低分辨率图像中，由于无法捕捉到纹理和特征的详细变化，导致图像分割结果与实际地物占比存在较大差异。为此，研究一种遥感图像语义分割算法具有重要意义。

在以上研究背景下，文献［2］提出了结合特征切片重建和注意力上采样的语义分割方法，对不同层次的特征图进行切片和重组，获取地表物体的细节信息，得到分割结果。但是该方法在对地表物体特征信息进行切片重建时，卫星主机极易将不同尺度的特征图融合在一起，从而导致不精准的语义分割处理结果。文献［3］提出了基于多模态互补特征学习的语义分割方法，定义多核最大均值距离为互补约束条件，提取两种不同的模态特征，并进行互补处理，再根据互补特征，实现对语义对象的分割。但是该方法难以有效保障语义对象的分割准确性。文献［4］提出了基于视觉注意力机制的语义分割方法，使用通道交换网络完成对多源遥感特征图的交换，减少数据冗余，利用Transformer模块建模，对卫星主机进行分割处理。但是该方法容易导致语义分割失准的问题。文献［5］提出了基于BFFNet的语义分割方法，利用双向特征融合提取影像特征，将全局信息与局部细节融合，实现对遥感图像语义对象的分割。但是该方法在融合处理图像特征时可能会忽略一些底层的细节信息，导致语义分割结果的有效性难以得到保障。文献［6］提出了基于多尺度特征融合注意力卷积神经网络（CNN）的语义分割方法，通过添加卷积层对遥感图像特征进行融合，采用跳跃连接方式将图像尺度信息与地表物体相对应，实现针对性的语义分割处理。但是该方法的卷积层容纳信息有限，所以部分语义特征无法记录，难以得到准确分割的语义对象。

针对上述研究中分割不准确、有效性受限的问题，本文提出多时相高分辨率卫星遥感图像语义分割算法。多时相高分辨率卫星遥感图像是指在不同时间获取的具有高空间分辨率的卫星遥感图像，通过比较不同时间点的图像，可以清晰地看到地表物体特征的变化趋势和模式^［7］。

1 遥感图像语义对象检测

由于卫星遥感图像的显著遥感区域内地物非常复杂，包括建筑物、道路、植被、水域等，这些地物的形状、纹理和特征变化多样，仅使用单一时相的低分辨率图像进行分割，很难准确识别，因此需要对语义对象进行检测，即精确定位和识别图像中的各类语义对象。

1.1　显著区域内的多时相分辨率求解

地物在低分辨率图像中会被模糊化，不同地物之间的边界不够清晰，导致地物类别的混淆和误判，特别是对于复杂地物形态和纹理特征丰富的显著区域。多时相可以理解为卫星主机在不同时间点或时间段内获取的遥感图像，该项物理量的数值水平越高，表示遥感图像所展示地表物体的空间结构越精细^［8］。因此，为了提高地物识别的精度，需要结合多时相高分辨率图像获取更丰富、更详细的地物信息，以准确识别各类语义对象并改善图像分割的效果。多时相高分辨率图像数据融合了不同时间点的信息，能够有效利用地物在不同时间段的变化信息，提供更全面、更准确的地物描述。通过计算显著区域内的多时相分辨率，可以综合利用多个时相的特征，有助于提升地物识别的效率和准确性。

在显著卫星遥感图像区域内，多时相高分辨率数据能够描述图像数据在空间和辐射上的一致性。规定\left(x,y\right)为显著区域内的一个随机地表物体样点，且x\ne \mathrm{0}、y\ne \mathrm{0}的不等式取值条件恒成立，利用该样点，可将显著区域内的遥感图像多时相分辨率表示为：

\mathit{L}=\left|\mathrm{l}\mathrm{o}{\mathrm{g}}_{\psi }\frac{{\omega }_X·x+\mathrm{1}}{{\omega }_Y·y+\mathrm{1}}\right|·\mathit{\xi }（1）

式中：\psi为空间分辨率；{\omega }_X为水平方向上的遥感图像辐射参数；{\omega }_Y为竖直方向上的遥感图像辐射参数；\mathit{\xi }为地表物体样点\left(x,y\right)在显著卫星遥感图像区域内的空间结构向量。

在显著区域内定义遥感图像的多时相分辨率，能够使卫星主机准确评估像素对象的显著值，从而保障地表物体像素信息与遥感影像分辨率标准的一致性。

1.2　基于多时相高分辨率的遥感目标分区

在显著区域内，地物的纹理和特征变化多样，如城市地区的建筑物、道路交通设施等。多时相高分辨率卫星遥感图像可以提供具有更丰富信息的多个时刻的数据，从而能够更准确地识别并分割出不同类别的语义对象，进一步提升地物识别的精度。通过比较和分析不同时相的遥感图像，可以更好地识别目标物体样点的影像变化和特征^［9］。所谓分区，即按照多时相高分辨率标准，将包含目标物体样点的遥感图像划分成多个图像部分，以便于卫星主机对语义对象的分区采集。

为了提高语义对象定位的准确性和可靠性，通过使用多时相高分辨率遥感图像，可以在不同时间点捕捉到目标区域的地物变化情况，从而更全面地理解目标区域的特征。因此，将显著区域内的多时相分辨率\mathit{L}代入遥感目标分区计算式中，使得对目标区域的分析更加准确。设\tilde{j}为目标物体样点遥感影像变化特征；\upsilon为遥感目标的形态变化参数；\tau为多时相高分辨率下的遥感图像分区数量；\mathit{k}为标准分区向量；\sigma为基于多时相高分辨率的遥感目标样点标记系数，联立式（1），可将基于多时相高分辨率的遥感目标分区定义为：

\mathit{K}=\sigma \mathrm{l}\mathrm{g}\frac{\mathit{L}}{\mathit{k}}+\left(\mathrm{1}-\tau \right)\left({\mathit{L}}^{\mathrm{2}}-\upsilon \tilde{j}\right)（2）

利用遥感目标分区结果，多时相高分辨率图像遥感目标分区示意图如图1所示。

完成分区后，区域性遥感图像中所包含的遥感目标数量明显减少，这些细微的语义特征也将为后续分割过程提供重要的图像信息。

1.3　不同遥感图像分区内的语义对象定位

卫星遥感图像由于分辨率限制，低分辨率图像无法提供足够的空间细节准确描述和识别较小和复杂的语义对象。因此，利用多时相高分辨率的遥感目标分区结果可以在一定程度上解决上述问题。通过将遥感目标分区的结果引入语义分割过程中，可以实现对语义对象的精确定界。基于识别结果，可以确定语义对象在卫星遥感图像中的位置信息^［10］。

由于多时相高分辨率卫星遥感图像的每一分区中都包含大量的语义对象，因此在对其进行定位时，必须确定图像信息所属的具体遥感区域。设h_{\mathrm{1}}、h_{\mathrm{2}}、…、h_n为单一卫星遥感图像中n个不重合的图像分区，其定义式为：

\left\{\begin{array}{l}{h}_{\mathrm{1}}={\rho }_{\mathrm{1}}\times \mathit{K}\\ h_{\mathrm{2}}={\rho }_{\mathrm{2}}\times \mathit{K}\\ ⋮\\ h_n={\rho }_n\times \mathit{K}\end{array}\right.（3）

式中：{\rho }_{\mathrm{1}}、{\rho }_{\mathrm{2}}、…、{\rho }_n为不同分区内的目标语义对象分布密度。

遥感图像受制于空间分辨率的限制，很难全面反映整个图像范围内的地物信息。利用不同分区结果可以聚焦于局部细节特征，提取更丰富的语义信息。因此，利用n个不重合的图像分区结果，推导不同遥感图像分区内的语义对象定位表达式为：

\mathit{G}=\frac{\mathrm{1}}{\vartheta }\left[s{H}^{\text{'}}\left({\widehat{\mathit{g}}}^{\theta }\right)\right],H^{\text{'}}\in \left(h_{\mathrm{1}},h_{\mathrm{2}},\cdots ,h_n\right)（4）

式中：\vartheta为语义对象的边界定义项；s为遥感图像区域的识别参数；H^{\text{'}}为不重合的图像分区集合；\widehat{\mathit{g}}为中心点标记向量；\theta为目标语义对象定位系数。

2 卫星遥感图像的语义分割

遥感图像通常具有较高的分辨率和大面积覆盖的特点，若直接对整幅图像进行语义分割，则计算量会非常庞大。通过对卫星遥感中的语义对象进行检测，可以将注意力集中在包含感兴趣类别的区域内，减少了计算复杂度，提高了处理效率。因此，面向卫星主机检测出的多时相高分辨率遥感图像中的语义对象，设定语义特征提取条件，并联合尺度函数表达式，求解权重参数，以实现对卫星遥感图像的语义分割。

2.1　遥感图像语义特征提取

多时相高分辨率遥感图像能够提供丰富的地物特征信息，通过提取这些特征，可以增强语义分割的准确性。利用多时相信息融合能够更好地捕获地物的动态特征，从而提高语义分割的精度。卫星主机通过分析图像分区中语义对象的颜色、纹理、形状等视觉信息，并结合目标对象所属图像区域的像素水平，确定具体的语义特征定义标准^［11］。

设a为遥感图像区域内的像素参数；\dot{\mathit{d}}为语义信息标记向量；\varpi为语义信息在卫星遥感图像中的分类项；\mathrm{\Delta }A为遥感图像区域内的像素数据总量；f为特征信息提取系数。利用上述物理量，联立式（4），推导卫星遥感图像的语义特征提取表达式为：

\mathit{F}=-a\mathit{G}\left(\mathrm{1}-{\dot{\mathit{d}}}^{\varpi }\right)·\frac{\mathrm{1}}{\mathrm{1}+f}\left|\mathrm{\Delta }A\right|（5）

多时相高分辨率遥感图像的语义特征是卫星主机通过分析图像中视觉信息和像素样点对象之间的关系确定的，对主机元件理解图像内容并进行语义目标的识别具有重要意义。

2.2　语义分割的尺度函数定义

卫星遥感图像中的地物通常具有丰富的纹理和细节。传统的分割算法可能会受到地物内部纹理复杂性的影响，导致分割结果边界不清晰^［12］。利用遥感图像语义特征提取结果，定义尺度函数，可以根据地物的语义信息对分割算法的尺度进行调整，使其更好地适应不同地物类型的尺度变化，从而提高分割的准确性^［13］。

设\iota、\kappa为2个不重合也不为0的遥感图像语义对象；{\mathit{V}}_{\iota }为语义对象\iota处的像素特性向量；{\mathit{V}}_{\kappa }为语义对象\kappa处的像素特性向量；\tilde{\mathit{b}}为多时相高分辨率卫星遥感图像中的像素尺度基向量。利用上述物理量，联立式（5），可将遥感图像语义分割的尺度函数定义为：

\mathit{C}=\mathrm{e}\mathrm{x}\mathrm{p}\left(-\frac{\frac{{\left|\left|{\mathit{V}}_{\iota }+{\mathit{V}}_{\kappa }\right|\right|}^{\mathrm{2}}}{\mathrm{2}\tilde{\mathit{b}}}}{\mathrm{2}{\mathit{F}}^{\mathrm{2}}}\right)（6）

2.3　语义分割的实现

规范尺度函数是为了更好地融合不同尺度上的目标物体样点分割结果，以获得更全面的语义信息。设置权重可以帮助分割算法更有效地处理地物内部的纹理复杂性，使其更好地适应地物的不同纹理特征，并更好地分割出地物的边界。卫星主机利用标注数据训练语义对象，并自动学习不同类别和特征之间的权重关系^［14］。此外，还可以根据具体的遥感图像区域调整权重参数，以达到更好的分割效果。设\mu为语义对象训练参数；\mathit{O}为分割区域内的目标物体样点标注向量；\widehat{p}为语义对象分类系数；i^{\text{'}}为与目标语义对象对应的像素信息类别计算值；\lambda为遥感图像中目标语义对象的分割阈值。利用上述物理量，构建分割权重运算式，从而实现对卫星遥感图像的分割。其表达式为：

\mathit{M}=\frac{\mu \mathit{O}·\mathit{C}}{\left|\widehat{p}\right|}{\left[\lambda \left(i^{\text{'}}\right)\right]}^{\mathrm{2}}（7）

通过对目标语义对象的精确识别和分割，为多时相高分辨率卫星遥感图像的处理提供有力支持。

3 实验分析

本文实验选用的卫星遥感图像数据集中共包含5类不同的语义对象，其空间分辨率隶属于亚米级标准。该数据集中原始图像的格式均为PNG，包含1张6 116×3 357的影像、1张2 470×4 100的影像、1张7 939×7 699的影像、2张7 322×7 515的影像，其平均存储格式接近55 MB。卫星主机将该训练数据集内的语义对象分为背景物、植物、建筑结构、水系结构、连通道路5种类型。完整的卫星遥感图像数据集影像如图2所示。

利用不同颜色对卫星遥感数据集中的语义对象进行标注，各标注参数的取值如表1所示。经过不同色彩标注后的卫星遥感图像数据集如图3所示。

实验过程中，背景物地物信息特指语义对象背景；植物地物信息包括园地、灌木地与乔木地；建筑结构地物信息包括住宅用地与工业用地；水系结构地物信息包括湖泊与河流；连通道路地物信息包括人工草地与天然草地。

各类语义对象在卫星遥感图像数据集中的真实占比情况如图4所示。

分别应用多时相高分辨率卫星遥感图像语义分割算法（简称本文算法）、文献［2］提出的结合特征切片重建和注意力上采样的语义分割方法（简称文献［2］算法）、文献［3］提出的基于多模态互补特征学习的语义分割方法（简称文献［3］算法），对卫星遥感图像数据集中的语义对象进行分割处理，以图4中10种不同的语义对象作为研究目标，分割后语义对象的占比情况越接近其真实占比量，表示所用方法的分割能力越强。

图5为实验过程中3种不同算法应用下的卫星遥感图像语义对象的分割情况。

分析图5可知，经过本文算法的分割后，背景物、植物、建筑结构、水系结构、连通道路5类地物信息中各项语义对象占比的实验结果极为接近真实占比，实验值、真实值之间的最大数值差未超过0.2%。经过文献［2］算法、文献［3］算法的分割后，地物信息中各项语义对象占比实验结果与其真实占比之间的差值水平较高，表期这2种方法对于卫星遥感图像语义对象的分割精度远不及本文算法。

综上可知，应用多时相高分辨率卫星遥感图像语义分割算法，可以在遥感图像中精准提取并识别出各类地表覆盖信息。相较于其他应用方法，该方法的分割精度更高，能够使卫星主机更有效地判定各类信息在遥感图像中的占比情况。

4 结束语

通过对多时相高分辨率卫星遥感图像的处理和分析，卫星主机实现了地表物体动态变化的精准捕捉与不同语义对象的精确识别分割。本文算法的不断优化与创新，显著提高了遥感图像中有用信息的提取精度，为分割决策的制定提供了科学依据。由于遥感图像的复杂性和多样性，不同场景、不同时相的图像可能存在较大的差异，而这也为语义分割算法的设计与实现带来了一定难度。未来，相关研究单位可以继续关注遥感技术的最新进展，积极应对新的挑战和问题，为推动遥感技术的应用与发展做出更大的贡献。

参考文献

[1] 王志敏, 王加胜, 王丽蒙. 基于注意力机制的U型网络遥感影像分割[J]. 计算机仿真, 2023, 40(3): 232-235, 240.

[2] Wang Zhi-min, Wang Jia-sheng, Wang Li-meng. Remote sensing image segmentation based on U-shaped network fused with attention mechanism[J]. Computer Simulation, 2023, 40(3): 232-235, 240.

[3] Lang F K, Zhang M, Zhao J Q, et al. Semantic segmentation for multisource remote sensing images incorporating feature slice reconstruction and attention upsampling[J]. International Journal of Remote Sensing, 2024, 45(8): 2761-2785.

[4] 王兴武, 雷涛, 王营博, 基于多模态互补特征学习的遥感影像语义分割[J]. 智能系统学报, 2022, 17(6): 1123-1133.

[5] Wang Xing-wu, Lei Tao, Wang Ying-bo, et al. Semantic segmentation of remote sensing image based on multimodal complementary feature learning[J]. CAAI Transactions on Intelligent Systems, 2022, 17(6): 1123-1133.

[6] 谭大宁, 刘瑜, 姚力波, 基于视觉注意力机制的多源遥感图像语义分割[J]. 信号处理, 2022, 38(6): 1180-1191.

[7] Tan Da-ning, Liu Yu, Yao Li-bo, et al. Semantic segmentation of multi-source remote sensing images based on visual attention mechanism[J]. Journal of Signal Processing, 2022, 38(6): 1180-1191.

[8] Hou Y D, Wu Z B, Ren X H, et al. BFFNet: a bidirectional feature fusion network for semantic segmentation of remote sensing objects[J]. International Journal of Intelligent Computing and Cybernetics, 2024, 17(1): 20-37.

[9] 蔡超丽, 李纯纯, 黄琳, 基于多尺度特征融合注意力CNN的遥感图像语义分割方法[J]. 桂林理工大学学报, 2022, 42(4): 968-976.

[10] Cai Chao-li, Li Chun-chun, Huang Lin, et al. Remote sensing image semantic segmentation method based on multi-scale feature fusion attention CNN[J]. Journal of Guilin University of Technology, 2022, 42(4): 968-976.

[11] 夏英, 黄秉坤. 采用改进YOLOv3的高分辨率遥感图像目标检测[J]. 重庆邮电大学学报:自然科学版, 2022, 34(3): 383-392.

[12] Xia Ying, Huang Bing-kun. Object detection of high resolution remote sensing images based on improved YOLOv3[J]. Journal of Chongqing University of Posts and Telecommunications (Natural Science Edition), 2022, 34(3): 383-392.

[13] 张文凯, 刘文杰, 孙显, 多源特征自适应融合网络的高分遥感影像语义分割[J]. 中国图象图形学报, 2022, 27(8): 2516-2526.

[14] Zhang Wen-kai, Liu Wen-jie, Sun Xian, et al. Multi-source features adaptation fusion network for semantic segmentation in high-resolution remote sensing images[J]. Journal of Image and Graphics, 2022, 27(8): 2516-2526.

[15] 刘春娟, 乔泽, 闫浩文, 基于多尺度互注意力的遥感图像语义分割网络[J]. 浙江大学学报: 工学版, 2023, 57(7): 1335-1344.

[16] Liu Chun-juan, Qiao Ze, Yan Hao-wen, et al. Semantic segmentation network for remote sensing image based on multi-scale mutual attention[J]. Journal of Zhejiang University (Engineering Science), 2023, 57(7): 1335-1344.

[17] 朱冰, 李紫薇, 李奇. 基于改进SegNet的遥感图像建筑物分割方法[J]. 吉林大学学报: 工学版, 2023, 53(1): 248-254.

[18] Zhu Bing, Li Zi-wei, Li Qi. Building segmentation method of remote sensing image based on improved SegNet[J]. Journal of Jilin University (Engineering and Technology Edition), 2023, 53(1): 248-254.

[19] 苏志鹏, 李景文, 姜建武, 基于改进DeepLabV3+的遥感影像语义分割方法[J]. 激光与光电子学进展, 2023, 60(6): 359-366.

[20] Su Zhi-peng, Li Jing-wen, Jiang Jian-wu, et al. Semantic segmentation method for remote sensing images based on improved DeepLabV3+[J]. Laser & Optoelectronics Progress, 2023, 60(6): 359-366.

[21] 杨军, 于茜子. 结合空洞卷积的FuseNet变体网络高分辨率遥感影像语义分割[J]. 武汉大学学报: 信息科学版, 2022, 47(7): 1071-1080.

[22] Yang Jun, Yu Xi-zi. Semantic segmentation of high resolution remote sensing images based on improved FuseNet combined with atrous convolution[J]. Geomatics and Information Science of Wuhan University, 2022, 47(7): 1071-1080.

[23] 张金锋, 刘军, 谢枫, 基于改进Deeplabv3+网络的遥感图像选站选线语义分割[J]. 控制工程, 2022, 29(3): 558-563.

[24] Zhang Jin-feng, Liu Jun, Xie Feng, et al. Semantic segmentation of station selection and line selection in remote sensing image based on improved Deeplabv3+ network[J]. Control Engineering of China, 2022, 29(3): 558-563.

[25] 王春华, 李恩泽, 肖敏. 多特征融合和孪生注意力网络的高分辨率遥感图像目标检测[J]. 吉林大学学报: 工学版, 2024, 54(1): 240-250.

[26] Wang Chun-hua, Li En-ze, Xiao Min. Object detection in high-resolution remote sensing images based on multi-feature fusion and twin attention network[J].Journal of Jilin University (Engineering and Technology Edition), 2024, 54(1): 240-250.

基金资助

国家重点研发计划项目(2021YFB3901301)

海南省院士创新平台专项项目(YSPTZX202145)

海南省高等学校教育教学改革研究项目(Hnjg2023ZD-44)