复杂背景下遥感影像敏感小目标细粒度智能识别

Intelligent Recognition of sensitive small targets with fine grains in complex background remote sensing images

摘要

为促进计算机视觉技术的发展，提高遥感影像信息利用率，本文提出了复杂背景遥感影像敏感小目标细粒度智能识别。首先，利用中值滤波算法去除原始遥感影像中的干扰噪声，对图像实施灰度化处理后，通过背景分割阈值的合理选取，实现遥感影像内复杂背景与识别目标的划分，避免遥感影像背景信息对后续目标识别精度的影响。将处理后的遥感影像输入CNN网络，利用空间选择方法，在网络卷积层特征图输出的基础上，对遥感影像内的主体信息特征展开精炼提取，得到用于敏感小目标识别的遥感影像主体细粒度特征；结合ELM分类机制构建ELM小目标识别模型，实现遥感影像中敏感小目标的细粒度识别。实验证明，本文方法在面对包含多类别主体的遥感图像时，能做到特定小目标的精准识别，有效提高了遥感影像内信息的利用效率，对重要情报的获取具有重大意义。

Abstract

In order to promote the development of computer vision technology and improve the utilization of remote sensing image information， the proposed method proposes fine-grained intelligent recognition of sensitive small targets in complex background remote sensing images. The proposed method first utilizes a median filtering algorithm to remove interference noise from the original remote sensing image. After graying out the image， a reasonable selection of background segmentation threshold is used to achieve the division of complex backgrounds and recognition targets in the remote sensing image， avoiding the impact of background information in the remote sensing image on the accuracy of subsequent target recognition. Input the processed remote sensing image into the CNN network， and use spatial selection method to refine and extract the main information features in the remote sensing image based on the output of the network convolutional layer feature map， obtaining fine-grained features of the remote sensing image for sensitive small target recognition； Construct an ELM small target recognition model based on the ELM classification mechanism to achieve fine-grained recognition of sensitive small targets in remote sensing images. Experiments have shown that the proposed method can achieve precise recognition of specific small targets in remote sensing images containing multiple categories of subjects， effectively improving the utilization efficiency of information in remote sensing images， and has significant significance for obtaining important intelligence.

Graphical abstract

关键词

中值滤波算法 / 灰度化处理 / CNN网络 / ELM分类机制

Key words

median filtering algorithm / grayscale processing / cnn network / elm classification mechanism

0 引 言

随着遥感影像获取技术的不断发展，遥感图像的采集结果逐渐朝着高分辨率发展。遥感影像中包含了大量重要信息，通过机器视觉分析技术^［1］，可从中获取农业、气象、军事、地理等多方面信息要素，因此，近年来，光学遥感技术被广泛应用于多领域信息获取。为了解决遥感图像信息的利用问题，需要对遥感信息图像内的多区域主体展开智能识别，通过对高分辨率遥感影像采集结果内多目标的精细化分类，实现观测主体与复杂背景信息的划分，在目标物体种类的初步一般类别识别的基础上，分析遥感影像内不同主体的细粒度识别，如判断遥感影像内船舶的具体型号、建筑的风格类型等，通过视觉信息的层次化、细节化采集，为海洋管理、目标监视等相关工作提供重要情报支持。为实现以上目标，部分相关行业研究人员针对遥感影像内的信息提取与目标识别，作出相关研究。

杨敏航等^［2］首先建立深度卷积神经网络，将采集到的遥感数据影像输入至深度卷积网络中，对图像内的多目标主体信息展开分析，并提取多目标特征分析结果，生成对应目标在神经网络内的语义标签，通过读取标签，实现遥感图像的识别与分类。在利用此方法对遥感影像中小目标展开识别的过程中存在目标漏识情况。

姜亚楠等^［3］首先对采集到的遥感图像展开灰度化处理，并对遥感图像多尺度下的主体灰度特征信息展开提取；利用局部二进制算法，分析遥感图像的纹理信息。根据特征提取结果绘制LBP直方图，为遥感图像内的不同主体特征赋予不同编码，最后通过Ms-GTSFF模型，实现遥感图像主体的识别。在利用此方法对图像实施与处理的过程中，会导致清晰图受损。

沈瑜等^［4］结合注意力机制与残差通道方法对LinkNet网络进行优化，实现网络内非对称卷积模块的构建，结合密集跳跃连接结构，生成AFRLinkNet分割网络优化网络；引入视觉激活函数，使AFRLinkNet网络具备图信息的高效特征提取功能。将待处理图像输入优化后的网络中，对图像进行处理，并获取图像细节信息，进而实现遥感影像内多目标主体的识别。利用此方法识别遥感影像内特定小目标主体时，无法准确区分背景影像与识别目标。

为了解决上述方法中存在的问题，提出复杂背景遥感影像敏感小目标细粒度智能识别。

1 遥感图像预处理

1.1　图像去噪

由于遥感影像的采集结果受光照、空气质量、气候等相关因素影响，采集到的遥感影像可能存在不同程度的噪声，因此，在实现遥感数据的采集后，需要对遥感影像采集结果展开去噪处理。

首先，对原始遥感图像展开灰度化处理，引入色彩空间的R、B、G 3个色彩通道^［5］，分别用R\left(j,k\right)\mathrm{、}B\left(j,k\right)\mathrm{、}G\left(j,k\right)表示遥感图像中随机像素点\left(j,k\right)在3个不同通道中的色彩分量。利用加权平均法^［6］对采集到的遥感影像实施灰度化处理，处理过程如式（1）所示：

z(j,k)=\frac{R\left(j,k\right)+B\left(j,k\right)+G\left(j,k\right)}{\mathrm{3}}（1）

式中：z(j,k)为灰度化处理后的像素点灰度值。

采用中值滤波算法实现遥感影像的去噪处理，设\left(l,m\right)为遥感影像对应滤模板的中心点，用Q\left(l,m\right)表示\left(l,m\right)点所在位置的滤波值，此时中值滤波去噪原理可通过式（2）所示：

Q\left(l,m\right)=\underset{T}{\mathrm{m}\mathrm{e}\mathrm{d}}\left[z\left(l,m\right)\right]（2）

式中：z\left(l,m\right)为像素点\left(l,m\right)灰度值；T表示滤波模板内邻域像素点结合。

分析式（2）可发现，中值滤波算法是一种通过中间值代替噪声点的非线性平滑技术。在式（2）基础上，引入自适应算法实现中值滤波算法的改进，达到滤波模板的自适应调节目的。

设P为滤波模板，K_{\mathrm{m}\mathrm{i}\mathrm{d}}为滤波中值，中值滤波的改进方法需满足以下条件：

（3）

式中：K_{\mathrm{m}\mathrm{i}\mathrm{n}}表示P内最小值；K_{\mathrm{m}\mathrm{a}\mathrm{x}}表示P最大值。

K_{\mathrm{m}\mathrm{i}\mathrm{d}}是根据原始滤波模板确定的，其计算过程中可能存在噪声因素导致的计算偏差，为排除K_{\mathrm{m}\mathrm{i}\mathrm{d}}内噪声因素的影响，所提方法引入一种新的中值率比计算法；通过K_{\mathrm{m}\mathrm{a}\mathrm{x}}与K_{\mathrm{m}\mathrm{i}\mathrm{n}}两极值的平均值计算结果，\overline{K}代替原始K_{\mathrm{m}\mathrm{i}\mathrm{d}}，\overline{K}的计算过程如下：

\overline{K}=\left(K_{\mathrm{m}\mathrm{i}\mathrm{n}}+K_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)\times {\mathrm{2}}^{-\mathrm{1}}（4）

利用\overline{K}计算结果对遥感影像展开异常点识别，若随机像素点(x,y)的滤波值，则判定该点为正常点；若K(x,y)\ge \overline{K}，则判定该点为异常点。

已被判定为异常点的像素点中包含遥感影像边缘像素点与噪声点两类，可通过式（5）\Delta K的计算，实现噪声点的判断。

\Delta K=|K(x,y)-K(x+\mathrm{1},y)|（5）

若\Delta K>\mathrm{1}则判定该点为噪声点；反之，则为正常点。

利用以上方法可实现遥感影像中噪声点的筛选，将全部噪声点剔除后，即可实现无噪遥感图像的输出。

1.2　背景分割

面对复杂采集背景下的遥感影像，在对其展开目标识别之前，首先需要设定一个自适应背景分割阈值，排除遥感影像敏感小目标识别过程中的复杂背景信息干扰。

设灰度化处理后的遥感影像背景分割阈值为U，像素灰度级为此时结合类间方差最大值计算理论^［7］，可实现遥感图像背景灰度均值v_{\mathrm{c}}，与主体目标灰度均值的v_{\mathrm{d}}计算，计算过程如式（6）所示：

\left\{\begin{array}{l}{v}_{\mathrm{c}}(U)=\frac{\sum _{\mathrm{0}\le l}{l}_{\mathrm{c}}q(l_{\mathrm{c}})}{x_{\mathrm{c}}(U)}\\ v_{\mathrm{d}}(U)=\frac{\sum _{\mathrm{0}\le l}{l}_{\mathrm{d}}q(l_{\mathrm{d}})}{x_{\mathrm{d}}(U)}\end{array}\right.（6）

式中：l_{\mathrm{c}}、l_{\mathrm{d}}分别为遥感图像内背景像素点与目标像素点的像素灰度级，q(l_{\mathrm{c}})、q(l_{\mathrm{d}})则表示点灰度级像素的出现概率；x_{\mathrm{c}}(U)、x_{\mathrm{d}}(U)表示背景分割阈值为U条件下的背景像素点与目标像素点权重。

此时复杂背景下遥感图像的整体灰度值v可通过式（7）表示：

v=+v_{\mathrm{c}}(U)x_{\mathrm{c}}(U)+v_{\mathrm{d}}(U)x_{\mathrm{d}}(U)（7）

根据式（7）可推导出复杂背景下遥感影像中的背景像素与目标像素之间的类间方差H(U)的计算过程，如式（8）所示：

\begin{array}{c}H(U)=v_{\mathrm{d}}(U){\left[x_{\mathrm{d}}(U)+v\right]}^{\mathrm{2}}+\\ x_{\mathrm{c}}(U){\left[v_{\mathrm{c}}(U)+v\right]}^{\mathrm{2}}\end{array}（8）

结合Otsu准则可知，满足式（8）计算结果为最大值前提下的遥感图像背景分割阈值U，即为要提高图像最佳分割阈值，即最佳阈值U_{\mathrm{g}}的计算过程如式（9）所示：

U_{\mathrm{g}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{\mathrm{0}\le U}{\mathrm{m}\mathrm{a}\mathrm{x}}\left[H(U)\right]（9）

利用以上方法可实现遥感图像目标主体的分割。

2 目标细粒度识别

2.1　细粒度特征提取

为了实现遥感影像中敏感小目标的细粒度提取，本文方法将经过预处理的遥感影像输入至CNN网络中^［8］，经过CNN网络卷积层的处理，得到I\times X个空间内的D维度通道中的遥感影像卷积特征图G。为实现遥感应影像中敏感小目标的细粒度识别，引入注意力机制^［9］，从图像局部语义与空间结构两方面出发，对特征图G中的小目标主体特征展开精炼提取。

首先利用空间选择方法，在特征图通道方向上对遥感影像经CNN网络卷积处理后得到的特征图^［10］G实施池化操作，在原有特征图G的基础上获得遥感影像的空间聚合图T，T的获取过程可用式（10）表示：

T={\displaystyle \sum _{\mathrm{p}=\mathrm{1}}^D}{B}_{\mathrm{P}}（10）

式中：p表示空间内通道数量；B_{\mathrm{P}}表示G中随机通道上的激活图。

设t(j,k)为聚合图^［11］T内的随机像素值，t(j,k)可用于表示空间范围内的标签响应程度。

为避免特征图G池化后，目标主体细粒度特征提取结果中混入背景特征，需要利用空间特征阈值对空间内的特征展开筛选，空间特征阈值W_T的计算过程如式（11）所示：

W_T=\left[{\displaystyle \sum _{j=\mathrm{0},k=\mathrm{0}}^{IX}}t(j,k)\right]\times {(IX)}^{-\mathrm{1}}（11）

W_T计算结果也可视作聚合图T的平均值。

若T在空间内的所处位置(I,X)的响应值小于W_T，则证明该空间内的特征为主体特征，可保留；若T在空间内的所处位置(I,X)的响应值大于W_T，则空间内特征判断为背景特征，并进行剔除。

通过以上方法，可在CNN骨干网络的基础上，对遥感图像中小目标主体特征展开精炼筛选，实现遥感图像敏感小目标的细粒度特征提取。

2.2　目标识别

引入ELM分类机制，将CNN网络的输出特征作为训练样本，记作(x_i,y_i)。假设训练样本共计P个，P个训练样本中x_i=\left(x_{i\mathrm{1}},x_{i\mathrm{2}},x_{i\mathrm{3}},\cdots ,x_{im}\right)T，表示遥感图像敏感小目标的细粒度特征提取结果；y_i为x_i经过训练后的期望输出结果。此时，可通过式（12）实现ELM小目标识别模型的构建，表达式为：

{\displaystyle \sum _{j=\mathrm{1}}^M}h(z_j{x}_j+c_j)·{\chi }_j=p_j,j=\mathrm{1,2},\cdots ,N（12）

式中：M表示隐藏层单元数；c_j为偏置量；p_j代表ELM的实际输出值；z_j\in Z、{\chi }_j\in \chi表示由隐藏层单元差异性造成的权值向量。

为了使期待输出值y_i与实际输出值p_j之间的差异最小化，ELM小目标识别模型的构建需满足以下条件：

{\displaystyle \sum _{j=\mathrm{1}}^M}h(z_j{x}_j+c_j)·{\chi }_j=y_j,,j=\mathrm{1,2},\dots ,NM（13）

根据以上模型构造条件可知，ELM小目标识别模型的构建过程中，ELM的目标损失函数定义如下：

\left\{\begin{array}{l}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{m}\mathrm{i}\mathrm{z}\mathrm{e}:\frac{{‖{\chi }_j‖}^{\mathrm{2}}}{\mathrm{2}}+D\mathit{F}{\displaystyle \sum _{j=\mathrm{1}}^N}{‖{\psi }_j‖}^{\mathrm{2}}\\ \mathrm{s}\mathrm{u}\mathrm{b}\mathrm{j}\mathrm{e}\mathrm{c}\mathrm{t}\mathrm{t}\mathrm{o}:g(x_j){\mathrm{\chi }}_j=y_j^T-{\mathit{\psi }}_j^T,j=\mathrm{1,2},\dots ,\mathrm{N}\end{array}\right.（14）

式中：D为正则化参数；{\mathit{\psi }}_j为误差向量；\mathit{F}为加权对角矩阵。

引入Lagrange乘子法^［12］，对式（14）展开矩阵变换，可得到网络输出\mathit{T}、隐含层连接权值\mathit{Z}\mathrm{、}\mathit{\chi }的矩阵化构造如下：

\left\{\begin{array}{l}\mathit{T}={\left[\begin{array}{ccc}h(z_{\mathrm{1}}{x}_{\mathrm{1}}+c_{\mathrm{1}})& \dots & h(z_M{x}_{\mathrm{1}}+c_M)\\ ⋮& & ⋮\\ h(z_{\mathrm{1}}{x}_N+c_{\mathrm{1}})& \dots & h(z_M{x}_N+c_M)\end{array}\right]}_{}\\ \mathit{\chi }={\left[\begin{array}{c}{\chi }_{\mathrm{1}}^T\\ {\chi }_{\mathrm{2}}^T\\ ⋮\\ {\chi }_M^T\end{array}\right]}_{M\times N}{\begin{array}{cc},& \mathit{Z}=\left[\begin{array}{c}{z}_{\mathrm{1}}^T\\ z_{\mathrm{2}}^T\\ ⋮\\ z_M^T\end{array}\right]\end{array}}_{M\times N}\end{array}\right.（15）

结合式（15）计算结果与最小二乘解算法对ELM模型中遥感图像敏感小目标的细粒度特征样本展开训练，进而实现遥感图像敏感小目标的细粒度特征的识别，完成特征对应目标的提取。

3 实验与分析

为验证本文方法的可靠性，分别采用方法、文献［3］方法，以及文献［4］方法对相同遥感影像样本。展开预处理，图像预处理结果将直接影响后续遥感图像内敏感小目标识别效果，引入清晰度评价函数对3种方法预处理后得到的图像展开清晰度评价。3种方法预处理后的图像清晰度计算结果如表1所示。

观察表1可知，本文方法处理后的图像清晰度均高于文献［3］方法及文献［4］方法。这是因为本文方法对遥感图像展开整体灰度化处理后，利用中值滤波算法对图像中的噪声展开识别，在不破坏图像原有画质的前提下，实现了图像的去噪处理。因此，本文方法图像与处理后的整体清晰度较高。

为验证本文方法的可行性，采集某区域山地遥感图像，并分别利用本文方法、文献［3］方法及文献［4］方法对该区域的多类型植被分布情况展开识别；将3种方法的识别结果与实际植被分布情况展开对比，对比结果如图1所示。

观察图1可发现，本文方法的植被分布识别情况与实际最接近，这是因为本文方法利用CNN骨干网络对遥感图像展开特征分析，并利用空间选择法在CNN网络特征图输出基础上，利用网络卷积层获取特征图像的聚合图，实现遥感图像中小目标细粒度特征的筛选，实现多种类主体特征的精炼筛选，进而优化了对不同种类图像主图的识别功能。

为验证本文方法的有效性，现以某公共区域的小目标车辆为识别对象，分别利用本文方法文献［3］方法、文献［4］方法对该区域的车辆展开智能识别，识别结果如图2所示。

观察图2可发现，文献［3］方法在区域范围内小目标车辆的识别过程中，将其他物体错误识别为目标车辆；文献［4］方法在对范围内车辆展开识别工程中，存在目标物漏识的现象。本文方法在无漏识前提下实现了区域范围内目标物的精准识别，这是因为本文方法在对遥感影像中小目标实施识别之前，利用灰度阈值对图像主体与背景展开区分，并提取多类型图像主体特征。在CNN网络中，引入ELM分类机制，实现ELM小目标识别模型的构建，达到遥感影像敏感小目标细粒度识别目的，目标识别精度高于文献［3］方法及文献［4］方法。

4 结束语

随着光学遥感影像技术的广泛应用，遥感影像中信息的挖掘成了近年的研究热点。为了实现遥感影像中小目标细粒度识别，本文方法首先对获取的遥感影像实施去噪处理，经过图像灰度化处理后，对遥感影像的背景与主体实施分割。利用空间选择法，在CNN网络获取的遥感影像特征图基础上，进一步精炼小目标主题特征。结合ELM目标识别模型，实现复杂背景下遥感影响敏感小目标的细粒度识别，为视觉信息的发展与应用起重要推进作用。

参考文献

[1] 谢康, 陈晓斌, 尧俊凯, 基于机器视觉的建筑垃圾填料物质组分图像分析方法[J]. 华南理工大学学报: 自然科学版, 2021, 49(10): 50-58.

[2] Xie Kang, Chen Xiao-bin, Yao Jun-kai, et al. Image analysis method of construction waste filler material components based on machine vision[J]. Journal of South China University of Technology (Natural Science Edition), 2021, 49(10): 50-58.

[3] 杨敏航, 陈龙, 刘慧, 基于图卷积网络的多标签遥感图像分类[J]. 计算机应用研究, 2021, 38(11): 3439-3445.

[4] Yang Min-hang, Chen Long, Liu Hui, et al. Multi-label remote sensing image classification based on graph convolutional network[J]. Application Research of Computers, 2021, 38(11): 3439-3445.

[5] 姜亚楠, 张欣, 张春雷, 基于多尺度LBP特征融合的遥感图像分类[J]. 自然资源遥感, 2021, 33(3): 36-44.

[6] Jiang Ya-nan, Zhang Xin, Zhang Chun-lei, et al. Classification of remote sensing images based on multi-scale feature fusion using local binary patterns[J]. Remote Sensing for Natural Resources, 2021, 33(3): 36-44.

[7] 沈瑜, 王海龙, 苑玉彬, 基于改进LinkNet的寒旱区遥感图像河流识别方法[J]. 农业机械学报, 2022, 53(7): 217-225.

[8] Shen Yu, Wang Hai-long, Yuan Yu-bin, et al. Recognition of rivers in remote sensing images in cold and arid regions based on improved LinkNet[J]. Transactions of the Chinese Society for Agricultural Machinery, 2022, 53(7): 217-225.

[9] 赵晓宇, 陈建军, 张凯琪, 基于HSV色彩空间和Otsu算法的无人机影像植被覆盖度自动提取[J]. 科学技术与工程, 2021, 21(35): 15160-15166.

[10] Zhao Xiao-yu, Chen Jian-jun, Zhang Kai-qi, et al. Automatic extraction of vegetation coverage from unmanned aerial vehicle images based on HSV and Otsu algorithm[J]. Science Technology and Engineering, 2021, 21(35): 15160-15166.

[11] 李皓, 翟月鹏, 杨小龙, 基于层次分析-有序加权平均多准则评估的雄安新区生态安全格局模拟研究[J]. 生态学报, 2022, 42(1): 150-160.

[12] Li Hao, Zhai Yue-peng, Yang Xiao-long, et al. Simulating ecological security patterns in the Xiong'an new area based on the multicriteria evaluation of AHP-OWA[J]. Acta Ecologica Sinica, 2022, 42(1): 150-160.

[13] 宋雨, 王亚林, 杜博军, 基于改进最大类间方差法的靶板重孔检测[J]. 兵工学报, 2022, 43(4): 924-930.

[14] Song Yu, Wang Ya-lin, Du Bo-jun, et al. Detection of overlapped bullet holes based on improved otsu's thresholding method[J]. Acta Armamentarii, 2022, 43(4): 924-930.

[15] 宋建辉, 王思宇, 刘砚菊, 基于改进FFRCNN网络的无人机地面小目标检测算法[J]. 电光与控制, 2022, 29(7): 69-73.

[16] Song Jian-hui, Wang Si-yu, Liu Yan-ju, et al. Ground small target detection algorithm of UAV based on improved FFRCNN network[J]. Electronics Optics & Control, 2022, 29(7): 69-73.

[17] 李经宇, 杨静, 孔斌, 基于注意力机制的多尺度车辆行人检测算法[J]. 光学精密工程, 2021, 29(6): 1448-1458.

[18] Li Jing-yu, Yang Jing, Kong Bin, et al. Multi-scale vehicle and pedestrian detection algorithm based on attention mechanism[J]. Optics and Precision Engineering, 2021, 29(6): 1448-1458.

[19] 毛伊敏, 张瑞朋, 高波. 大数据下基于特征图的深度卷积神经网络[J]. 计算机工程与应用, 2022, 58(15): 110-116.

[20] Mao Yi-min, Zhang Rui-peng, Gao Bo. Deep convolutional neural network algorithm based on feature map in big data environment[J]. Computer Engineering and Applications, 2022, 58(15): 110-116.

[21] 孙学进, 李靖, 曹绍华, 多尺度注意力聚合图卷积的高光谱分类[J]. 湖南科技大学学报: 自然科学版, 2022, 37(4): 94-103.

[22] Sun Xue-jin, Li Jing, Cao Shao-hua, et al. Graph convolution with multi-scale attention aggregation for hyperspectral classification[J]. Journal of Hunan University of Science and Technology (Natural Science Edition), 2022, 37(4): 94-103.

[23] 李雪, 张琳玮, 姜涛, 基于拉格朗日乘子的电力系统安全域边界通用搜索方法[J]. 中国电机工程学报, 2021, 41(15): 5139-5153.

[24] Li Xue, Zhang Lin-wei, Jiang Tao, et al. General algorithm for exploring security region boundary in power systems using lagrange multiplier[J]. Proceedings of the CSEE, 2021, 41(15): 5139-5153.

基金资助

国家自然科学基金项目(62272032)