改进YOLOv5s算法的高光谱遥感图像目标检测

田丽 ,  贾煜辉

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1742 -1748.

PDF (5002KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (05) : 1742 -1748. DOI: 10.13229/j.cnki.jdxbgxb.20240459
计算机科学与技术

改进YOLOv5s算法的高光谱遥感图像目标检测

作者信息 +

Improved YOLOv5s algorithm for target detection in hyperspectral remote sensing images

Author information +
文章历史 +
PDF (5121K)

摘要

针对高光谱图像的光谱分辨率非常高,且包含的地物种类波段较多,使目标与背景之间的光谱差异非常微小,容易造成光谱混淆,使目标检测的准确度较低的问题,提出基于改进YOLOv5s算法的图像目标检测方法。建立特征金字塔并实行多尺度加权,利用特征金字塔中不同层间的权重,对特征加权融合,并将其引入注意力机制中,输出空间注意力机制光谱特征,将该特征值作为对比参照,对通道重新加权分配,获取通道注意力机制输出的光谱特征,将两个光谱特征维度相乘,得到校准后的高光谱图像特征,将其作为改进YOLOv5s算法的输入,有效区分图像中的微小光谱特征差异,避免光谱混淆,根据中心值计算检测框与真实框重叠区域,完成目标检测,保证检测精准度。实验证明:本文方法对高光谱遥感图像中的地物检测精准度较高,在检测1 057 p像素大小的图像时,帧率高达60 fps,综合性能表现优异。

Abstract

The spectral resolution of hyperspectral images is very high, and there are many bands of ground objects, so the spectral difference between the target and the background is very small, which is easy to cause spectral confusion, and the accuracy of target detection is low. Therefore, an image object detection method based on improved YOLOv5s algorithm is proposed. A feature pyramid is established and multi-scale weighting is implemented. The weights between different layers in the feature pyramid are used to weight and fuse the features and introduce them into the attention mechanism. The spectral features of the spatial attention mechanism are output, and the feature value is used as a comparison reference. The hyperspectral image features obtained after calibration are used as the input of the improved YOLOv5s algorithm to effectively distinguish the tiny spectral feature differences in the image, avoid spectral confusion, calculate the overlap area between the detection frame and the real frame according to the central value, complete the target detection, and ensure the detection accuracy. Experiments show that the proposed method has a high accuracy for detecting ground objects in hyperspectral remote sensing images. When detecting 1 057 p pixel images, the frame rate is as high as 60fps, and the comprehensive performance is excellent.

Graphical abstract

关键词

改进YOLOv5s算法 / 高光谱遥感图像 / 空间注意力 / 目标检测

Key words

improving YOLOv5s algorithm / hyperspectral remote sensing images / spatial attention / object detection

引用本文

引用格式 ▾
田丽,贾煜辉. 改进YOLOv5s算法的高光谱遥感图像目标检测[J]. 吉林大学学报(工学版), 2025, 55(05): 1742-1748 DOI:10.13229/j.cnki.jdxbgxb.20240459

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

高光谱遥感图像具有很高的光谱分辨率,可以提供地物在数百甚至数千个离散波段上的光谱反射信息。这种高光谱分辨率可以捕获地物的细微光谱特征,但也导致了目标与背景之间光谱特征差异极小,加上地物的光谱反射特性受到角度、遮挡、光照等因素的影响,使目标与背景之间的光谱差异难以准确区分,使目标的准确辨识变得更加困难。为此,急需一种综合性和实用性更强的高光谱遥感图像目标检测方法。

在以上背景下,众多研究人员对遥感图像目标检测展开研究。例如,江西莉等1提出一种基于卷积神经网络的高光谱遥感图像检测方法。以目标的尺度大小、实时状态为初始特征因子,建立金字塔结构,通过逐层传递的方式输出各层次的语义和行为特征,设计检测锚框并添加注意力机制,逐层对比实现遥感图像目标检测。除大小和形态外还存在很多的显性光谱特征,而该方法只以这两种为主要的检测因子导致误差较大;单慧琳等2则提出基于尺度范围分析的光谱图像目标检测方法。在传统的检测网络中引入注意力聚合结构,通过该结构提取不同区域的光谱特征,并获得单一尺度的上下文信息,通过内容感知能力完成光谱图像目标检测。该方法没有考虑到不同物体的尺度差异性,在获取上下文信息时造成的误差较大影响最终的检测结果;王艳辉等3以遥感图像中目标不定性、地物目标尺度变化大、目标分布较为分散等问题为基础,设计多尺度卷积模块,通过模块输出不同尺度目标的相似性和极大值,形成候选框检测矩阵,通过矩阵完成目标检测。检测候选框大小需要以地物的尺度大小为依据,由于涉及的地物种类较多,特征和极大值判定存在难度,进而影响检测结果;Liang等4提出了一种基于深度、高分辨率差分特征交互的光谱图像检测网络。在提取出时间图像的高分辨率特征后,通过特殊的融合模块生成差异图,其中包含足够有效的变化信息,通过改进的空间金字塔模块获得最终的二进制变化图,完成目标检测。该方法的特征提取和检测步骤较为复杂,实际应用能力不强并且多次运算可能导致误差叠加。

综上所述,提出改进YOLOv5s算法的高光谱遥感图像目标检测方法。通过建立特征金字塔,在不同尺度下提取更丰富、更具代表性的特征信息。引入空间注意力机制输出光谱特征,更加关注目标区域的空间结构信息。通过对通道重新加权分配,并将空间注意力输出的光谱特征与通道注意力输出的光谱特征相乘,得到校准后的高光谱图像特征,可以有效提高目标检测的性能。这种方法能够更好地利用光谱信息,减少光谱混淆,从而提高目标检测的精确度。根据中心值计算检测框与真实框重叠区域,完成目标检测,可以有效优化检测框的位置和大小,提高目标检测的准确性和稳定性。

1 高光谱遥感图像特征校准

高光谱遥感图像具有非常高的光谱分辨率,包括地物的反射率和吸收率等特征。然而,由于地物之间的光谱差异非常微小,并且存在光谱混淆现象,使目标与背景之间的光谱特征难以明显区分5。针对高光谱图像中不同波段之间的亮度差异,对图像进行光谱归一化处理,校准高光遥感图像中不同尺度特征表现,以消除亮度变化对目标检测的影响。

考虑到检测的地物特征、类别以及尺度都不相同,为保证高精度的检测结果,建立特征金字塔6,实现图像跨尺度加权操作,如图1所示,可以看出,虚线框作为特征金字塔的初始模型,其中主要分为自上到下的跨度链接7、尺度加权以及信息流入和流出等过程。图1M4作为特征矩阵框P4P5的映射框8,用于卷积跨尺度连接,N3的图像特征输入流包括P3M4的特征汇总;N4的输入流包括P4M4以及N3的特征汇总;N5的输入流则包括P5N4的特征汇总。采用归一化加权融合算法对N3N4N5的信息流权重9重新分配,提取不同特征的权重,具体计算公式为:

O=ωiXiεω'i

式中:O为输出的光谱特征图像;ωi为权重系数;Xi为经过加权融合后的光谱特征图像;ε为修正系数;i为图像尺度数目;ω'i为融合后的权重系数。

根据式(1)M4N4进行汇总,得到相邻两层的特征加权融合情况:

M4=Convω1p4in+ω2Rp5inω1+ω2+ε
N4=Convω1'p4in+ω2'p4td+ω3'Rp3inω1+ω2+ω3+ε

式中:ω1ω2ω3分别为第1、2、3层的权重值;ω1'ω2'ω3'则分别为第1、2、3层融合后的权重;p3inp4inp5in分别为第3、4、5层的映射频数10p4td为融合加权后的映射频数。

在高光谱遥感图像目标检测中,光谱特征对区分不同地物类别具有重要意义。然而,仅仅依靠多尺度加权融合光谱特征无法充分表达目标在空间上的分布特征。因此,引入空间注意力机制可以更加关注目标在图像空间中的分布情况,使输出的光谱特征更加具有区分度和准确性。因此,在对高光谱遥感图像特征加权融合后,建立注意力机制模型,图像经过卷积层和池化层的运算即可得到最具代表性的输出特征,空间注意力机制11输出的光谱特征Fs表达为:

Fs=σCSF;AFM4+N4

式中:F为初始特征;A为池化层;S为卷积层;C为输出层;σ为线性函数12

通过式(4)的计算可得到高光谱图像在每个层次的中最显著特征,将该特征值作为检测阈值的对比参照。为了提高显著性特征提取的准确性,对通道重新加权分配,从而减少与背景相关的通道信息对目标检测的干扰,使目标在光谱特征中更加突出。通过重点关注图像中具有重要信息的光谱通道,算法可以更准确地学习目标的特征,提高算法的泛化能力和鲁棒性。获取通道注意力输出的光谱特征Fc为:

Fc=σLACF

式中:L为通道中的初始输入特征。

为了促进不同类型特征之间的一致性,抑制对高光谱遥感图像目标无关的信息,从而增强特征的表达学习能力,将得到的空间注意力光谱特征Fs、通道注意力光谱特征Fc展开相乘运算,实现重现校准13,校准后的高光谱图像特征Fout的表达式为:

Fout=OFsFc

式中:分别表示按元素相加和相乘。

通过上述过程对高光谱图像特征归一化加权融合14以及校正后,高光遥感图像中不同尺度特征表现更为明显,后续进行检测时能够高效捕捉目标信息,提高检测的精准度。

2 高光谱遥感图像目标检测

高光谱图像所包含的地物种类较多,每种地物在光谱上的表现存在一定差异。高光谱图像中目标与背景之间的光谱差异通常非常微小,容易造成光谱混淆,使传统的YOLOv5s算法无法有效区分这种微小的光谱差异,导致目标检测性能下降。因此,为了克服传统YOLOv5s算法在高光谱遥感图像目标检测中的局限性,引入校准后的高光谱图像特征Fout,对其改进,使算法能够更好地利用高光谱图像的特性,提高目标检测的准确性、鲁棒性和效率。采用改进YOLOv5s算法建立损失函数15,将待检测图像代入求解,得到光谱图像的显著性特征作为检测参照。

改进YOLOv5s分为分类损失、定位损失以及置信损失,由初始输入、主干网络16、颈部网络以及检测头部组成。对高光谱遥感图像进行归一化加权和注意机制运算后,提高了光谱特征的空间显著性。将校准后的高光谱图像特征Fout作为算法的输入;利用主干网络对特征Fout跨阶段学习;颈部网络负责采样增强特征定位;检测头部则通过损失函数对目标进行对比检测。

假设,在检测框与真实框17之间没有重叠的情况下,不需要考虑梯度消失问题,但需要确定真实框与检测框高度、宽度的对比问题,防止交并比(Intersection over union,IoU)退化18。考虑检测框与真实框之间的重叠面积、长度、宽度以及中心点等参数,通过重叠部分确定最终的检测目标。

采用改进YOLOv5s中的IoU19定义检测权重系数,使检测框中所有待定对象的IoU自适应值都提升,减小目标与检测之间的偏差。检测框和真实框的对比度v与遥感图像显著性特征的线性参数μ表达公式为:

v=4πawgthgt-awh2
μ=βv1-IoU+v

式中:wgthgt分别为检测框和真实框的宽度;wh分别为检测框和真实框的高度;a为能够包含检测框与真实框最小闭合范围的对角线长度20β为退化参数。

当高光谱遥感图像检测框与真实框存在重叠时,该重叠区域则为获取的目标值,为了保证目标检测的准确性,重叠区域的中心特征以上述过程求得高光谱遥感图像的显著性特征为准,引入融合的注意力光谱特征和通道注意力光谱特征,提高目标检测的准确性和鲁棒性。获取高光谱遥感图像目标检测框𝓁β-CIoU为:

𝓁β-IoU=Fout1-IoUβ+ρb,bgtc+μ,vβ

式中:IoUβ为退化后的IoU值;ρ为中心点;b,bgt为真实框和检测框中心点之间的欧氏距离;b为真实框中心点;bgt为检测框中心点;c为待定框。

改进YOLOv5s的检测算法通过真实框和检测框之间的重叠面积对比与计算,大大拓展遥感特征的覆盖范围,保证检测精准度。

3 性能测试

3.1 测试环境

为验证本文改进YOLOv5s算法的高光谱遥感图像目标检测方法实际应用的有效性,建立一种仿真测试平台,选用AVIRIS传感器进行高光谱遥感图像数据采集。为保证实验数据的可对比性,设置特征增强的遥感图像检测方法、多尺度光学遥感图像目标检测方法、基于改进卷积神经网络的高光谱遥感图像方法为对照组,便于实验结果的分析与对比。

高光谱遥感图像选用USGS Earth Explorer卫星地物勘测数据库,该数据库中包含的遥感图像种类较多,遥感图像数量达到6 000幅,涉及的高光谱信息较为全面,可满足实验数据的要求,在其中选择实验所需的图像种类(如大气、地物以及动植物等),将图像通过实验平台进行目标检测。实验所需参数:高光谱分辨率为10 nm、波段数为224、高光谱覆盖范围为35 789~52 417 nm、背景窗口大小为11×11 dpi、图像初始大小为640×640 dpi、检测目标窗口大小为6×6 dpi。

3.2 目标检测结果对比分析

在数据库中选择一幅高光谱遥感地物图像作为测试对象,如图2所示,可知,原始遥感图像中包含河流、房屋、林地以及农田类地物,将这些地物作为本次检测目标,通过检测技术在图像中区分地物,并准确框出地物图像所在位置。其中,检测框表示:红色代表河流、蓝色代表房屋、黄色代表农田、橙色代表林地。得到4种方法的对比结果如图3所示。

图3中可以看出,本文方法的检测精准度是最高的,从单个检测框中的内容可发现,本文方法完成了全覆盖检测,对河流、房屋、农田以及林地全部区域都完成了检测,并且不存在漏检和误检现象;反观另外3种方法,误检现象较为严重,同一检测框内框选到的目标种类过多,不能有效区分地物特征存在混淆;不同区域的同一地物还存在检测遗漏。基于改进卷积神经网络图像目标方法(见图3(c))只检测到了河流和部分农田,对房屋和林地的细分检测效果较差。综合对比得本文方法的精准度最高、检测效果最好;而特征增强图像检测方法(见图3(a))则只能实现大范围检测,对一些目标较小的房屋和农田检测精准度较低。

3.3 目标检测帧率结果对比

在高光谱遥感图像目标检测的场景中,帧率是衡量算法性能的重要指标之一,特别是在需要实时处理大规模高光谱图像数据时。通过以帧率作为指标测试,可以评估改进后的算法处理高光谱图像的效率。如果算法在保持高准确性的同时能够实现较高的帧率,意味着在实际应用中具有更好的适用性和可操作性。因此,以帧率作为指标进行测试。实验结果如表1所示。

表1可以看出,4种方法中本文方法的帧率是最高的,并且随着高光谱遥感图像像素大小的增长,其帧率变化也是循序渐进的,没有突然的下降;而另外两种方法的检测帧率较差,帧率过低。由此说明,在同等条件下,本文方法能更准确快速地检测到遥感图像中的目标,不受遥感图像特征、尺度以及多种参数变化的影响,可以在第一时间查找到目标点的属性变化,确定范围完成对比,综合性能更强。

4 结束语

本文提出了一种基于改进YOLOv5s算法的高光谱遥感图像目标检测方法。考虑到高光谱遥感图像中涉及特征种类较多且难提取,采用多特征加权和注意力机制同提高特征之间的对比性,并帮助确定目标结果的显著性特征。采用改进YOLOv5s算法建立检测模型,通过调整检测框和真实框之间的重叠区域实现目标检测。实验结果证明了本文方法的检测优异性。

参考文献

[1]

汪西莉, 梁敏, 刘涛. 特征增强的单阶段遥感图像目标检测模型[J]. 西安电子科技大学学报, 2022, 49(3): 160-170.

[2]

Wang Xi-li, Liang Min, Liu Tao. Feature enhanced single-stage remote sensing image object detection model[J].Journal of Xidian University,2022,49(3):160-170.

[3]

单慧琳, 王硕洋, 童俊毅, 增强小目标特征的多尺度光学遥感图像目标检测[J]. 光学学报, 2024, 44(6): 0628006.

[4]

Shan Hui-lin, Wang Shuo-yang, Tong Jun-yi, et al.Object detection in multi-scale optical remote sensing images to enhance the characteristics of small targets[J].Acta Optica Sinica, 2024, 44(6): 0628006.

[5]

王艳辉, 张福泉, 邹静, 基于改进卷积神经网络的遥感图像目标检测方法[J]. 南京理工大学学报, 2023, 47(3): 330-336.

[6]

Wang Yan-hui, Zhang Fu-quan, Zou Jing, et al. Method of remote sensing image target detection based on improved convolution neural network[J]. Journal of Nanjing University of Science and Technology,2023,47(3):330-336.

[7]

Liang Z, Zhu B, Zhu Y X. High resolution representation-based Siamese network for remote sensing image change detection[J]. IET Image Processing,2022,16(9):2506-2517.

[8]

钱晓亮, 曾银凤, 林生, 融合自适应窗口显著性检测和改进超像素分割的高光谱异常检测[J]. 遥感学报, 2023, 27(12): 2748-2761.

[9]

Qian Xiao-liang, Zeng Yin-feng, Lin Sheng, et al. Hyperspectral anomaly detection via combining adaptive window saliencydetection and improved superpixel segmentation[J]. Journal of Remote Sensing,2023,27(12):2748-2761.

[10]

刘洋, 张国军. 基于NSCT及RT的遥感图像阴影消除方法[J]. 计算机仿真, 2022,39(5): 465-469.

[11]

Liu Yang, Zhang Guo-jun. Remote sensing image shadow elimination method based on nsct and retinex theory(RT)[J]. ComputerSimulation,2022,39(5):465-469.

[12]

Hao F, Ma Z F, Tian H P, et al. Semi-supervised label propagation for multi-source remote sensing image change detection[J].Computers & Geosciences, 2023,170(1):1052491.

[13]

姚婷婷, 李鹏飞, 高源, 基于感知增强无锚框网络的遥感图像目标检测[J]. 中国科技论文, 2023, 18(11): 1178-1185.

[14]

Yao Ting-ting, Li Peng-fei, Gao Yuan, et al. Object detection based on perception enhanced anchor-free network for remote sensing images[J]. China Sciencepaper,2023,18(11):1178-1185.

[15]

Yang N, Chang K P, Dong S Z, et al. Rapid image detection and recognition of rice false smut based on mobile smart devices with anti-light features from cloud database[J].Biosystems Engineering,2022,218:229-244.

[16]

吴琪, 樊彦国, 樊博文, 基于图正则化低秩协同表示的高光谱异常检测[J]. 激光与光电子学进展,2022,59(12):467-475.

[17]

Wu Qi, Fan Yan-guo, Fan Bo-wen, et al. Graph regularized low-rank and collaborative representation for hyperspectral anomaly detection[J]. Laser & Optoelectronics Progress,2022,59(12):467-475.

[18]

熊娟, 张孙杰, 阚亚亚, 基于CAFPN和细化双头解耦的遥感图像目标检测[J]. 应用科学学报, 2023, 41(6): 989-1003.

[19]

Xiong Juan, Zhang Sun-jie, Kan Ya-ya, et al. Remote sensing image object detection based on cafpn and refinement double-head decoupling[J]. Journal of Applied Sciences,2023,41(6):989-1003.

[20]

成倩, 李佳, 杜娟. 基于YOLOv5的光学遥感图像舰船目标检测算法[J]. 系统工程与电子技术, 2023, 45(5): 1270-1276.

[21]

Cheng Qian, Li Jia, Du Juan. Ship target detection algorithm of optical remote sensing image based on YOLOv5[J]. Systems Engineering and Electronics,2023, 45(5): 1270-1276.

[22]

Mahanti N K, Pandiselvam R, Kothakota A, et al. Emerging non-destructive imaging techniques for fruit damage detection: image processing and analysis[J].Trends in Food Science & Technology, 2022, 120: 418-438.

[23]

李强, 武文波, 何明一. 基于MPSoC的遥感图像目标检测算法硬件加速研究[J]. 航天返回与遥感, 2022, 43(1): 58-68.

[24]

Li Qiang, Wu Wen-bo, He Ming-yi. Accelerator of remote sensing image object detection based on MPSoC[J]. Spacecraft Recovery & Remote Sensing,2022,43(1):58-68.

[25]

Wang P K, Wu L, Qi J X, et al. Unmanned aerial vehicles object detection based on image haze removal under sea fog conditions[J]. IET Image Pcessing,2022,16(10):2709-2721.

[26]

Camacho I C, Wang K. Convolutional neural network initialization approaches for image manipulation detection[J]. Digital Signal Processing, 2022, 122: 103376.

[27]

Geet L, Chitta R J, Chen J L, et al. Convolutional neural network-assisted adaptive sampling for sparse feature detection in image and video data[J]. IEEE Intelligent Systems, 2023, 38(1): 45-57.

[28]

顾勇翔, 蓝鑫, 伏博毅, 基于几何适应与全局感知的遥感图像目标检测算法[J]. 计算机应用, 2023, 43(3): 916-922.

[29]

Gu Yong-xiang, Lan Xin, Fu Bo-yi, et al. Object detection algorithm for remote sensing images based on geometric adaptation and global perception[J]. Journal of Computer Applications, 2023, 43(3):916-922.

[30]

Du X J, Wu H L. Feature-aware aggregation network for remote sensing image cloud detection[J].International Journal of Remote Sensing, 2023, 44(5):1872-1899.

[31]

Xu D Y, Yang H, Xu W H, et al.Inverse design of pancharatnam-berry phase metasurfaces for all-optical image edge detection[J]. Applied Physics Letters,2022, 120(24): 2411011.

基金资助

国家重点研发项目(2023YFD1501005-06)

黑龙江省省属高等学校项目(ZRCPY2020)

AI Summary AI Mindmap
PDF (5002KB)

220

访问

0

被引

详细

导航
相关文章

AI思维导图

/