基于改进的DeeplabV3+模型的云检测研究

Research on Cloud Detection Based on Improved DeeplabV3+ Model

摘要

传统云检测方法难以适用于高空间分辨率卫星遥感影像，利用深度学习开展针对SPOT6/7卫星遥感影像的像素级云检测研究。提出基于区域生长法的云图标注方法CloudLabel，融合多种形态学处理方法，保留云区边缘细节，在现有Labelme标注的基础上将云检测像素精度提升了3%；另外，在原始DeeplabV3+模型中引入内卷积模块，结合Poly学习率变更策略，提出基于RedNet-DeeplabV3+模型的云检测方法。结果表明：该云检测方法优于DeeplabV3+、U-net以及DANet等其他深度学习网络模型，可达到93%以上的识别准确率。为检验该方法具有的普适性，针对航拍照片、地理信息系统数据等其他类型的高空间分辨率遥感影像进行云检测，识别准确率达到87.2%以上。

Abstract

Considering that traditional cloud detection methods are difficult to apply to high spatial resolution satellite remote sensing images, this paper employs deep learning to carry out pixel-level cloud detection research for SPOT6/7 satellite remote sensing images. Firstly, a practical software named as CloudLabel was developed based on the cloud labeling method of region growing to build accurate and reasonable datasets for model training and testing. Cloud Label integrates multiple morphological processing methods, which could effectively preserve the edge details of cloud areas. Compared with the existing Labelme labeling CloudLabel improves the pixel-level cloud detection accuracy by 3%. Secondly, the involution module was introduced into the original DeeplabV3+ model, and combined with the Poly learning rate change strategy, a cloud detection method based on the RedNet-DeeplabV3+ model was proposed. Experimental results demonstrated that the proposed method outperformed other deep learning network models such as DeeplabV3+, U-net and DANet, achieving a cloud detection accuracy of over 93%. In addition, to verify the universality of the proposed method, cloud detection was performed on other types of high spatial resolution remote sensing images such as aerial photos and geographic information system data, and the recognition accuracy exceeded 87.2%.

Graphical abstract

关键词

高空间分辨率卫星遥感影像 / 云检测 / 深度学习

Key words

high spatial resolution satellite remote sensing images / cloud detection / deep learning

遥感影像云检测是指对遥感影像的光谱、颜色、纹理等特征进行定量分析，用于区分云与非云像元。对于气象专业领域，云是不可获缺的关键信息，云量的时空变化特征影响着局地天气过程，云系的分布及走向是未来天气变化的重要征兆^[1]；对于光学测绘遥感，云是“噪声”来源，大量的云层遮挡导致地物信息缺失，极大地影响了对地观测和目标提取^[2]。因此，云检测已成为影像分析的首要工作。

云检测主要分为基于光谱特征的云检测方法和基于纹理特征的云检测方法。基于光谱特征的云检测方法又称为物理法，主要依据云在可见光、近红外波段的反射率或亮温值与其他地物不同而将其分离^[3]，较为典型的应用是中分辨率成像光谱仪MODIS（Moderate Resolution Imaging Spectr-oradiometer）云检测方法^[4]。但该方法需结合多个波段的数据设定阈值，仅适用于光谱波段较为丰富的中低分辨率卫星载荷^[5]，受仪器性能制约，卫星载荷往往难以兼具高光谱分辨率和高空间分辨率，故该方法不适用于波段范围受限的高空间分辨率卫星遥感影像^[6-7]。基于纹理特征的云检测方法充分利用云的几何结构等成像属性，随着卫星遥感影像中的地物信息日益丰富，云的纹理特征在影像中的表达日益凸显^[8]，但该方法易对噪声敏感，高空间分辨率遥感影像中含有大量噪声，难以达到理想的云检测精度。另外，基于纹理特征的云检测方法需要提前获取可靠云特征区间，降低了云检测效率。

对于高空间分辨率卫星遥感影像，传统云检测方法难以发挥优势。随着深度学习逐渐应用于各个领域^[9-10]，专家学者开始将深度学习从日常图像的识别分类问题过渡到卫星遥感影像的云检测研究^[11-15]。考虑到高空间分辨率卫星遥感影像细节丰富但光谱波段数目有限，本文利用深度学习在图像识别领域的优势，实现像素级的云检测技术。

1 实验数据

SPOT系列卫星是用于探测地球资源与环境的地球资源遥感卫星，由法国空间研究中心研制，目前已发射1～7号。

本文使用的实验数据来自SPOT-6/7，影像空间分辨率优于10 m级，属于高空间分辨率卫星遥感影像。SPOT-6/7和Pleiades-1A/1B在距离地球表面695 km的高度处以相隔90°的方式组成光学星座，拥有比单颗卫星更优越的数据采集能力，可实现对地球上任意地点每日重访2次。SPOT-6/7波段信息如表1所示。

2 建立云检测数据集

2.1 数据集划分

为摆脱对光谱波段数目的依赖，本文仅选取SPOT-6/7影像的红、绿、蓝3个可见光波段，涵盖林地、水体、沙漠、城镇等多种下垫面，云层厚度包括厚云、薄云和碎云，其中，训练集10张影像，测试集4张影像，每张影像的尺寸为12 288×14 336像素，空间分辨率为6 m。

2.2 样本选取

原始影像占用较大内存，不利于进行网络训练，需预处理为尺寸较小的样本。本文采用随机选取的方式挑选样本，从训练集的每张原始影像中随机选择1 000个512×512像素样本，共获得1万张样本。随机选取比规则网格选取、滑动窗口选取等其他方式更加灵活高效，能够在丰富样本的同时有效保证随机性。针对测试集的4张影像，采用网格选取，共获取2 688个样本。

2.3 <bold>CloudLabel</bold>设计原理

训练集包括原图样本和对应的标签数据。标签数据代表真值，优化算法通过降低真值与预测值之间的损失函数值不断优化参数，直至形成效果最佳的网络模型。因此，标签数据的精确度已成为网络模型拥有超强识别能力的必要前提。

基于区域生长法的CloudLabel云图标注方法是将图像中的某一像素点视为生长起点（即种子点），根据确定的生长准则，合并与种子点相邻的具有相同或者相近灰度值的像素点构成区域。新产生的种子点不断向四周生长，直至其邻域不再有满足条件的像素点。此外，CloudLabel还融合孔洞填充、引导滤波等形态学处理对云区边缘加以修饰，保留更多的云区边缘细节，可实现高空间分辨率卫星遥感影像的像素级标注。

为便于人机交互，本文设计相应的CloudLabel标注软件，仅需人工选择区域生长的起点并设置生长率，即可对高空间分辨率卫星云图进行半自动标注。经标注后，共获得1万张标签数据。

2.4 数据增强

若训练集图片数量不足，易导致网络训练过拟合，鉴于重新获取样本和标签耗费大量时间和精力，本文在网络训练前对样本采取数据增强操作，提升网络模型的识别性能和泛化能力。

数据增强可对样本进行翻转、平移或者旋转等操作获取全新数据。数据增强后，用于训练的样本数据和标签数据均扩大4倍（4万张样本数据和4万张标签数据）。数据增强使得网络模型能够更加充分地学习到含云区域旋转不变的特性。

3 基于<bold>RedNet-DeeplabV3+</bold>模型的云检测方法

3.1 <bold>DeeplabV3+</bold>模型

DeeplabV3+模型由谷歌公司建立，是Deeplab系列的最新版^[16-17]、图像分割领域的代表模型之一。相比其他模型，DeeplabV3+模型拥有更加强大的图像信息提取能力和感知能力。为避免池化操作丢失空间信息，DeeplabV3+模型巧妙融合了编码器—解码器结构和空洞卷积，编码部分用于提取输入特征，包括深度卷积神经网络DCNN（Deep Convolutional Neural Network）和空洞卷积金字塔池化模块^[18]；解码部分采用线性插值上采样进一步融合底层特征和高层特征，利用底层特征弥补高层特征的信息缺失，获得良好的图像边缘分割效果。

3.2 内卷积

DeeplabV3+模型结构非常复杂，因参数量巨大易导致计算耗时过长，本文采用内卷积^[19]优化DeeplabV3+模型。

在内卷积被提出前，学者在设计网络模型时习惯于堆叠大小固定为3×3的卷积核^[20]。较小的卷积核无法捕获长远距离的相互作用，且卷积核内部通道冗余，不仅增加了模型计算量，还降低了模型灵活性。内卷积能够摆脱这些弊端，提升卷积层对于不同空间位置以及多种视觉模式的适应能力。

内卷积操作原理如图1所示，对于一张W×H×C的输入特征图（其中W为宽度，H为高度，C为通道数，RGB云图的通道数为3），位于第i行第j列的像素点共有1×1×C个像素值，针对该像素点进行内卷积操作的步骤如下：

（1）定义内卷核的形状为K×K，以特征图中第i行第j列的像素点为中心取长宽为K、通道数为C的数据块，则该数据块的形状为K×K×C。

（2）对于数据块的所有通道都进行以下处理：

（a）将数据块某一通道的所有像素值输入函数\varphi，函数\varphi的公式为：

\varphi \left(X_{i,j}\right)=W_{\mathrm{1}}\sigma \left(X_{i,j}\right)。（1）

式中：W_{\mathrm{1}}代表线性映射，\sigma代表映射的批归一化和线性激活函数，再将得到的新函数值重新排列为K×K的形状，作为内卷核H。

（b）将内卷核H对数据块进行卷积操作\otimes，得到长宽为K的特征图。

（3）将各通道经过步骤（2）处理的特征图叠加，得到K×K×C的特征图。

（4）对步骤（3）特征图中的所有像素值求和，得到输入特征图中第i行第j列像素点的内卷积操作结果。

3.3 <bold>RedNet-DeeplabV3+</bold>模型

将DeeplabV3+模型前端的三层ResNet（残差网络）替换为RedNet，提出改进模型——RedNet-DeeplabV3+模型（https://gitee.com/LunarYuer/cloud-detection）。

云检测过程主要包括训练阶段和预测阶段。在训练阶段，将训练集输入RedNet-DeeplabV3+模型，模型在学习的过程中不断提取影像特征并输出预测结果。利用二元交叉熵损失函数（Binary Cross Entropy）衡量预测结果和标注结果之间的损失函数值，借助Adam优化算法不断更新可调整参数直至损失函数值达到最小，即保存最优的RedNet-DeeplabV3+模型；在预测阶段，将待预测样本输入最优模型获得预测结果，拼接成原图大小即为云检测结果。

在网络训练之前，需要设置部分网络参数，如训练批次、训练轮数、学习率、优化器以及损失函数等，这些参数统称为超参数。学习率是指导损失函数梯度调整网络权重的超参数，其大小影响损失函数的变化速度。为加快RedNet-DeeplabV3+模型的收敛速度并保持较为理想的预测结果，本文将Poly函数作为RedNet-DeeplabV3+模型的学习率变更策略。Poly函数的表达式为：

Y_i=X{\left(\mathrm{1}-\frac{i}{I}\right)}^p。（2）

式中：i为当前轮数；Y_i 为模型在第i轮的学习率；X为初始学习率（本文为0.001）；I为模型训练总轮数（本文为60）；p为Poly函数的参数，通过设置不同的p值得到不同的学习率变更策略。

当p=1时，学习率随训练轮数的增加呈线性变化；当p>1时，学习率呈现先快后慢的变化趋势；当p<1时，呈现先慢后快的变化趋势（图2）。鉴于RedNet-DeeplabV3+模型较稳定且样本数量充足，为加快收敛节省训练成本，令Poly函数中的参数p=2。

3.4 模型性能分析

网络模型性能在一定程度上影响着深度学习的实际运用。将模型复杂度和云检测耗时作为网络模型性能指标，衡量RedNet-DeeplabV3+模型和DeeplabV3+模型、U-net^[21]模型以及DANet^[22]模型的性能情况。

由表2可知，RedNet-DeeplabV3+模型的复杂度远低于DeeplabV3+模型，说明内卷积优化了网络模型结构，加快了云检测速度。但U-net模型和DANet模型更加轻量，且云检测速度更快，具体的模型性能还需要结合云检测精度进一步评价。

4 实验结果与分析

4.1 评价指标

云检测本质上为二分类问题，为评估分类结果，本文引入混淆矩阵的概念，将预测结果和标注真值中包含的所有像素分为4个类别：正确云区检测范围（真正，True Positive，TP）、正确非云区检测范围（真负，True Negative，TN）、错误非云区检测范围（假正，False Positive，FP）、错误云区检测范围（假负，False Negative，FN）。

将像素精度（Pixel Accuracy，简称“P_A”）、精确率（Precision，简称“P_r”）、召回率（Recall，简称“R_e”）以及F₁分数（简称“F₁”）作为云检测结果的评价指标，指标数值均位于0～1，数值越大意味着云检测效果越好。像素精度是预测正确的像素占所有像素的比例，精确率是针对特定类别（预测“有云”）中预测正确的像素所占的比例，召回率为标注“有云”的像素中预测正确的像素比例，F₁分数为精确率和召回率的调和平均。像素精度和F₁分数是综合指标，精准率和召回率与错分误差有关。评价指标的计算公式为：

P_{\mathrm{A}}=\frac{T_{\mathrm{P}}+T_{\mathrm{N}}}{T_{\mathrm{P}}+T_{\mathrm{N}}+F_{\mathrm{P}}+F_{\mathrm{N}}}，（3）

P_{\mathrm{r}}=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}}，（4）

R_{\mathrm{e}}=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}}，（5）

F_{\mathrm{1}}=\frac{\mathrm{2}}{\frac{\mathrm{1}}{R_{\mathrm{e}}}+\frac{\mathrm{1}}{P_{\mathrm{r}}}}。（6）

4.2 标注方法的影响

标注样本的精确程度决定着网络模型最终的预测结果。针对相同的512×512云图样本分别用Labelme标注工具和CloudLabel方法制作标签，输入至RedNet-DeeplabV3+模型后获得云检测结果对比（图3）。

Lableme标注云检测结果的云层边缘过于平滑不够细致；当下垫面中有高亮物体时（红色方框内），由Lableme标注云检测结果更容易产生误判。由表3可知，CloudLabel标注获得的云检测精度高于Labelme标注，云检测像素精度提升了3%。

4.3 内卷积的影响

用原始DeeplabV3+模型和改进加入内卷积操作的RedNet-DeeplabV3+模型进行云检测。

对于林地下垫面，DeeplabV3+模型和RedNet-DeeplabV3+模型都能达到理想的云检测效果，二者不仅捕捉到了零散的碎云，还具有较高的边缘保持度（图4）。

对于含有大面积薄云的城市下垫面，2个模型的云检测结果有差异（图5），当建筑物上方漂浮薄云时，DeeplabV3+模型的误判更为严重。除在云检测的精确率外，在像素精度、召回率以及F₁分数上，使用内卷积的RedNet-DeeplabV3+模型具有更理想的云检测效果（表4）。

4.4 网络模型的影响

图6为不同深度学习模型的云检测结果。RedNet-DeeplabV3+模型和U-net模型更能捕捉云区的边缘细节，DANet模型预测的云区边缘过于平滑，在地形复杂的情况下更容易发生误判（红色方框）。

由表5可知，RedNet-DeeplabV3+模型的云检测结果略优于U-net模型和DANet模型。虽然U-net的编码器—解码器结构可以有效连接底层信息和高层信息用以恢复图像细节，但依然忽略了物体的多尺度特征，难以应对云的变化莫测形状各异；DANet模型原本用于形状较为规则的实例分割，无法完全捕捉云区随机而又复杂的边缘。

根据模型性能分析结果，RedNet-DeeplabV3+模型对运行环境要求过高，若能够获取的计算资源性能条件有限，且需要进行快速云检测，模型结构较为简单的DANet模型和U-net模型是更佳的选择。若追求更高的云检测精度，且满足实验环境所需的硬件条件，可考虑RedNet-DeeplabV3+模型。

4.5 普适性检验

为检验改进的DeeplabV3+模型的云检测方法对其他RGB图像的云检测效果，利用武汉大学SENDIMAGE实验室创建的高空间分辨率云检测验证集——HRC_WHU^[23]进行普适性检验。

HRC_WHU包括Google Earth影像、卫星影像、航拍照片以及地理信息系统数据等RGB图像，空间分辨率范围为0.5~10 m，图片大小为1 280×750像素，涵盖水体、植被、城市以及裸地等多种下垫面。SENDIMAGE实验室还为图像中的云区标注进行数字化处理。

图7的云检测结果表明，RedNet-DeeplabV3+云检测方法对于不同分辨率、不同尺寸的RGB云图依然适用。由于在设计云检测方法时考虑到薄云的云检测难度，故在标注过程中将含云区域和非云区域的过渡区域判定为云，使针对HRC_WHU验证集的云检测结果在薄云区域与标注真值有一定差异。

表6为RedNet-DeeplabV3+模型、U-net模型以及DANet模型针对HRC_WHU验证集云检测结果的评价指标。3个模型的各项指标均高于0.86， RedNet-DeeplabV3+模型预测效果更佳。RedNet-DeeplabV3+模型具有普适性，不仅适用于SPOT6/7卫星遥感影像，对于其他类型的彩色云图依然有较好的云检测效果。

5 结论

随着深度学习在学术界和工业界脱颖而出，不少专家学者开始考虑利用深度学习技术开展云检测研究。考虑到高空间分辨率卫星遥感影像光谱通道数不足且含有大量噪声，传统云检测方法难以对其发挥优势，本文利用深度学习针对SPOT6/7卫星遥感影像进行云检测，得到以下结论：

（1）提出基于区域生长法的CloudLabel标注方法，结合孔洞填充、引导滤波等形态学处理方法保留云区边缘细节，实现高空间分辨率卫星遥感影像的像素级标注。CloudLabel标注获得的云检测精度高于Labelme标注，云检测像素精度提升3%。

（2）对原始DeeplabV3+模型加以改进提出RedNet-DeeplabV3+模型，云检测的识别准确率可达到93%以上，优于其他深度学习网络模型，且普适性检验表明该方法对于其他类型的RGB影像云检测同样适用。

参考文献

[1] King M D, Platnick S, Menzel W P,et al.Spatial and temporal distribution of clouds observed by MODIS onboard the terra and aqua satellites[J].IEEE Trans Geosci Remote Sens,2013,51(7):3826-3852.

[2] 宫鹏.遥感科学与技术中的一些前沿问题[J].遥感学报,2009,13(1):13-23.

[3] GONG Peng.Some essential questions in remote sensing science and technology[J].Journal of Remote Sensing,2009,13(1):13-23.(in Chinese)

[4] Puissant A, Hirsch J, Weber C.The utility of texture analysis to improve per pixel classification for high to very high spatial resolution imagery[J].Int J Remote Sens,2005,26(4):733-745.

[5] Platnick S, King M D, Ackerman S A,et al.The MODIS cloud products:algorithms and examples from terra[J].IEEE Trans Geosci Remote Sens,2003,41(2):459-473.

[6] 郭文昕,车慧正,陈权亮,等.北京地区地基天空辐射计与卫星云特性参数对比研究[J].沙漠与绿洲气象,2021,15(6):95-102.

[7] GUO Wenxin, CHE Huizheng, CHEN Quanliang,et al.Comparison and analysis of cloud optical properties over Beijing based on satellite data and sky radiometer[J].Desert and Oasis Meteorology,2021,15(6):95-102.(in Chinese)

[8] 谭凯,张永军,童心,等.国产高分辨率遥感卫星影像自动云检测[J].测绘学报,2016,45(5):581-591.

[9] TAN Kai, ZHANG Yongjun, TONG Xin,et al.Automatic cloud detection for Chinese high resolution remote sensing satellite imagery[J].Acta Geodaetica et Cartographica Sinica,2016,45(5):581-591.(in Chinese)

[10] 康一飞.光学遥感卫星影像云检测方法及应用[D].武汉:武汉大学,2018.

[11] KANG Yifei.Methods and applications of cloud detection for optical remote sensing satellite imagery[D].Wuhan:Wuhan University,2018.(in Chinese)

[12] 贾亮亮,汪小钦,王峰.基于波段运算和纹理特征的高分一号多光谱数据云检测[J].遥感信息,2018,33(5):62-68.

[13] JIA Liangliang, WANG Xiaoqin, WANG Feng.Cloud detection based on band operation texture feature for GF-1 multispectral data[J].Remote Sensing Information,2018,33(5):62-68.(in Chinese)

[14] 张勇,刘慧,郑颖菲,等.人工智能模型的分类临近预报产品效果检验与分析[J].沙漠与绿洲气象,2023,17(1):115-121.

[15] ZHANG Yong, LIU Hui, ZHENG Yingfei,et al.Effect validation and analysis of classified products outputted by artificial intelligent nowcasting model[J].Desert and Oasis Meteorology,2023,17(1):115-121.(in Chinese)

[16] 袁凯,庞晶,李武阶,等.深度学习模型在2021年汛期武汉市雷达回波临近预报中的应用评估[J].干旱气象,2023,41(1):173-185.

[17] YUAN Kai, PANG Jing, LI Wujie,et al.Application evaluation of deep learning models in radar echo nowcasting in Wuhan in flood season of 2021[J].Journal of Arid Meteorology,2023,41(1):173-185.(in Chinese)

[18] 陈洋,范荣双,王竞雪,等.基于深度学习的资源三号卫星遥感影像云检测方法[J].光学学报,2018,38(1):0128005.

[19] CHEN Yang, FAN Rongshuang, WANG Jingxue,et al.Cloud detection of ZY-3 satellite remote sensing images based on deep learning[J].Acta Optica Sinica,2018,38(1):0128005.(in Chinese)

[20] SHI M Y, XIE F Ｙ, ZI Y.Cloud detection of remote sensing images by deep learning[C]//Proceedings of 2016 IEEE International Geoscience and Remote Sensing Symposium.Beijing:IEEE,2016:701-704.

[21] 刘波,邓娟,宋杨,等.基于卷积神经网络的高分辨率遥感影像云检测[J].地理空间信息,2017,15(11):12-15.

[22] LIU Bo, DENG Juan, SONG Yang,et al.Cloud detection method for high-resolution remote sensing image based on convolutional neural network[J].Geospatial Information,2017,15(11):12-15.(in Chinese)

[23] Mohajerani S, Krammer T A, Saeedi P.A cloud detection algorithm for remote sensing images using fully convolutional neural networks[C]//Proceedings of IEEE 20th International Workshop on Multimedia Signal Processing.Vancouver:IEEE,2018:1-5.

[24] 黄静,佘勇,樊予江.深度学习方法预测阿克苏地区冰雹云雷达回波个例分析[J].沙漠与绿洲气象,2024,18(2):107-113.

[25] HUANG Jing, SHE Yong, FAN Yujiang.Case analysis of deep learning methods for predicting radar echoes of hail clouds in Aksu region[J].Desert and Oasis Meteorology,2024,18(2):107-113.(in Chinese)

[26] CHEN L C, Papandreou G, Kokkinos I,et al.DeepLab:semantic image segmentation with deep convolutional nets,atrous convolution and fully connected CRFs[J].IEEE Trans Pattern Anal Mach Intell,2018,40(4):834-848.

[27] CHEN L C, ZHU Yukun, Papandreou G,et al.Encoder-decoder with atrous separable convolution for semantic image segmentation[C]//Proceedings of 15th European Conference on Computer Vision.Munich:Springer,2018:833-851.

[28] HE Kaiming, ZHANG Xiangyu, REN Shaoqing,et al.Spatial pyramid pooling in deep convolutional networks for visual recognition[J].IEEE Trans Pattern Anal Mach Intell,2015,37(9):1904-1916.

[29] LI D, HU J, WANG C,et al.Involution:inverting the inherence of convolution for visual recognition[C]//Proceedings of 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition.Nashville:IEEE,2021:12316-12325.

[30] Lecun Y, Bottou L, Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proc IEEE,1998,86(11):2278-2324.

[31] Ronneberger O, Fischer P, Brox T.U-Net:convolutional networks for biomedical image segmentation[C]//Proceedings of the 18th International Conference on Medical Image Computing and Computer-Assisted Intervention MICCAI 2015.Munich:Springer,2015:234-241.

[32] FU J, LIU J, TIAN H J,et al.Dual attention network for scene segmentation[C]//Proceedings of 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR).Long Beach:IEEE,2019:3141-3149.

[33] LI Z W, SHEN H F, CHENG Q,et al.Deep learning based cloud detection for medium and high resolution remote sensing images of different sensors[J].ISPRS J Photogramm Remote Sens,2019,150:197-212.