基于特征融合FRCNet的草地高光谱识别分类研究

Hyperspectral Image Classification of Grassland Based on Feature Fusion FRCNet Model

摘要

为解决高光谱草地识别分类任务中存在的精度低、计算成本高的问题，提出了FRCNet（faster R⁃CNN，FRC）网络模型。通过无人机搭载高光谱成像仪进行草地平扫拍摄，建立四种类别的草地高光谱数据集。采用高斯滤波器与主成分分析法（principal component analysis，PCA）对高光谱图像降噪与降维处理，建立主要由FRC模块与FAC模块组成的FRCNet网络模型进行分类任务。实验采用平均精度（average accuracy，AA）、总体精度（overall accuracy，OA）、F1分数与运行时间作为性能指标，并且使用八种方法与FRCNet进行对比实验。结果表明，FRCNet网络表现最好，AA为93.36%，OA为93.49%，F1分数为96.64，较其他方法准确度提高了10%~20%。同时使用三个公开数据集进行对比试验，FRCNet表现最好，准确度提升了2%~20%。研究结果证明，FRCNet网络模型在高光谱草地分类任务中的有效性，可以作为当前高光谱精度低、计算成本高问题的一种高效解决方案。

Abstract

To address the issues of low accuracy and high computational cost in hyperspectral image classification tasks of grassland， this study proposed the FRCNet network model. Hyperspectral images of grasslands were captured using an unmanned aerial vehicle equipped with a hyperspectral imager， and a hyperspectral dataset for four grassland categories was established. Gaussian filtering and principal component analysis （PCA） were applied to noise reduction and dimensionality reduction of the hyperspectral images. The FRCNet network model， primarily consisting of the FRC module and the FAC module， was established for classification tasks. Average accuracy （AA）， overall accuracy （OA）， F1 score， and runtime were taken as performance indicators， and comparative experiments were conducted between FRCNet and eight methods. The results showed that the FRCNet network performed best with AA of 93.36%， OA of 93.49%， and F1 score of 96.64， improving accuracy by 10%-20% compared to the other methods. In addition， the comparative experiments on three public datasets demonstrated that FRCNet performed best， with accuracy improvements ranging from 2%-20%. The research results proved the effectiveness of the FRCNet network model in hyperspectral image classification tasks of grassland. It can serve as an efficient solution to the current issues of low hyperspectral accuracy and high computational cost.

Graphical abstract

关键词

高光谱影像分类 / 识别分类 / 特征融合 / 重参数化重聚焦卷积 / 注意力机制

Key words

hyperspectral image classification / recognition and classification / feature fusion / re-parameterized refocusing convolution / attention mechanism

草地是一种复合型的植物群落，占世界总陆地面积1/2，在保持水土、防风固沙、调节气候方面发挥重要作用^［1⁃2］，草地健康状况和类型识别对生态环境监测、土地利用规划和农业生产具有重要意义^［3⁃4］。高光谱成像技术基于窄波段中获取物体的光谱信息，提供丰富的光谱信息和空间信息^［5］，在地物识别、食品安全和医疗诊断得到了广泛的应用。高光谱图像具有地物的丰富光谱信息可以作为识别草地种类的方法，如何高效识别草地物种类别成为其关键任务。传统深度学习地物分类方法，不能高效解决高光谱数据波段多、数据量大的问题^［6］。皮伟强^［7］创建轻量化DGC-3D-CNN网络，并利用无人机高光谱数据的空间信息来解决草地退化问题，总体精度达到98.11%；乌尼乐等^［8］通过图像预处理得到三个波段，使用支持向量机（SVM）和随机森林方法进行物种识别，精度分别达到96.92%、97.32%；张杰等^［9］基于残差网络结构，提出了一种密集残差卷积网络进行分类研究，李浩等^［10］利用卷积神经网络^［11］（convolutional neural network，CNN），结合CNN与LSTM（long⁃short term memory）有效地对大规模光谱数据进行分类，准确度达到97.35%，并且在恒星光谱数据分类中表现出色。卷积神经网络作为一种深度学习方法，已被广泛应用于各种图像分类任务中^［12］。

然而，传统卷积神经网络在处理高光谱数据时，未能充分利用这些数据的光谱和空间特征，不能高效解决高光谱图像语义分割精准度的问题。针对高光谱数据信息量大、波段复杂、高效准确识精度低等问题，本研究提出FRCNet网络模型，FRCNet可以高效地处理复杂的高光谱图像，识别精度90%以上。FRCNet首先使用残差连接构建主干网络，进行参数传递，网络核心部分创建两种模块FRC block与FAC block， FRC block使用特征融合的方法将传统卷积块与重参数化重聚焦卷积模块（re-parameterized refocusing convolution，RefConv）结合在一起，主要用于高光谱图像的参数计算与特征提取，较普通Conv2D卷积块精度提升17%以上，FAC block通过特征融合方法结合了卷积块与两种 不同类型的注意力机制（deformable attention与coordinate attention），用于增强特征提取效果，较单独添加注意力机制精度提升2%~6%。之后使用八种图像识别方法与FRCNet在自建高光谱数据集Hohygrass上进行对比试验。为进一步验证方法的优势，使用三种公开高光谱数据集（Indian Pines、Pavia University、Salinas）进行对比试验，最后使用消融实验验证FRC block与FAC block的精度。

1 数据采集与预处理

1.1 研究区域

本实验所使用的数据拍摄取自内蒙古呼和浩特市中国农业科学草原研究所农牧交错区实验基地（111°47'E，40°35'N），如图1所示。该地区有典型的农牧交错区大陆气候特征，以沙质典型草原类型为主，土壤为沙壤土。

1.2 图像采集

图像采集设备为大疆M300RTK旋翼无人机搭载Nano-Hyperspec新型微型机载高光谱成像仪。采用草地平扫的方式，在实验基地进行拍摄，光谱范围为400~1 000 nm，光谱通道数为270，光谱采样率约为 2.2 nm/pixel，空间通道数为640，无人机的飞行高度为65 m，飞行速度为2.37 m/s。高光谱相机设置拍摄焦距为17 nm、成像分辨率为7.4 μm、曝光时间10 ms。拍摄时间选择在12：00~14：00。创建拥有四种类别（土地、紫花苜蓿、老芒麦、扁蓿豆）的高光谱数据集Hohygrass。草种类别见表1。

1.3 数据预处理

高光谱图像呈现波段密集、波段量大、波段信息丰富等特点，过多的通道数会影响高光谱分类识别的准确性，并且过量的数据增加算法的训练时间，所以在高光谱图像处理中，预处理步骤至关重要。本实验主要使用高斯滤波器和主成分分析（PCA）对高光谱图像进行预处理。

首先使用高斯滤波器对图像进行平滑处理，以减少噪声带来的错误信息。由于高光谱图像具有通道数多、密度大的特点，会增加计算时间，用主成分分析（PCA）进行降维处理。PCA通过线性变换，将高维数据投影到低维空间，同时尽可能保留原始数据的主要信息，从而提高稳定性。核心公式为

\sum Y=\frac{\mathrm{1}}{\mathrm{2}}\frac{\mathrm{1}}{n-\mathrm{1}}{X}^{T}X，（1）

Z=XW，（2）

其中，Y是协方差矩阵，X是中心化后的数据矩阵，W是协方差矩阵的特征向量矩阵，n是所选取的特征向量个数，Z是投影到主成分空间后的数据矩阵。使用前原数据通道数为270个，通过PCA累计方差贡献率选择方式，最终降维后通道数变为47个。

2 实验方法

本研究针对高光谱数据信息量大、波段复杂，无法高效准确识别的问题，提出FRCNet神经网络。FRCNet是一种为轻量化所设计的全新网络架构，计算时间小，准确度高。网络层数加深后会明显出现梯度消失问题，所以使用残差结构构建网络骨干，进行参数传递。网络核心为FRC block模块与FAC block模块，FRC block模块使用特征融合方法将普通Conv2D卷积块与可重参数化的重新聚焦卷积模块（RefConv）结合，可以提升特征提取与计算能力。FRC block模块使用特征融合方法将普通卷积块与两种不同种类的注意力机制结合，模块置于网络末尾，可以增强卷积操作中局部特征提取能力，增加模型准确度。

FRCNet网络模型首先将预处理好的光谱图像传入初始卷积层（Initial Conv），初始化阶段没有使用池化层，因为图像输入时已进行了图像降噪与通道降维操作，初始化模块使用3×3的卷积核，其计算效率高于ResNet中使用的7×7的卷积核，因为卷积操作的计算复杂度与卷积核的大小成平方关系，

T=O(M^{\mathrm{2}}\cdot K^{\mathrm{2}}\cdot C_{\mathrm{i}\mathrm{n}}\cdot C_{\mathrm{o}\mathrm{u}\mathrm{t}})，（3）

其中，M是每个卷积核输出特征图的边长，K为每个卷积核的边长，C_in是卷积核输入通道数，C_out是卷积核输出通道数。将初始化后的参数传入FRC block，FRC模块主要用于特征提取与高光谱图像训练，使用特征融合的方法有效地将普通卷积块与RefConv卷积块进行融合操作，不增加计算时间的同时提升模型精确度。之后使用残差连接的方法，将训练好的参数与初始化的参数按照权重相加，传入到下一个FRC模块中。最后传入由FAC block组成的模块中，进行局部特征提取。FRC模块主要使用特征融合方法，将Conv2D卷积块与两种完全不同的注意力机制（deformable attention，DA；coordinate attention，CA）相结合，使模型输出结果稳定并且识别准确度上升，最终经过平均池化层与全连接层将训练好的内容进行输出，FRCNet网络结构图如图2所示，每个模块的具体参数见表2。

2.1 FRC block模块

FRC block模块主要由初始化、特征融合、通道映射三大部分组成。模块数据初始化部分，使用归一化与普通卷积块对通过残差连接传入的数据进行整理计算；特征融合部分，使用特征融合的方法将普通卷积块计算的数据与RefConv卷积块计算的数据相结合；通道映射部分，将数据形状重新映射到初始形状。数据经过初始卷积层后传入FRC block中，为了加速模型收敛减少训练时间，首先进入BN层，之后连接一个普通的3×3卷积块（Conv2D-1），经过此模块计算过后，分别将数据传入两个经过Relu函数处理后的不同种类的卷积块中（Conv2D-2与RefConv），经过特征融合计算后，将64通道变为128通道，为了更好进行下一步参数传递，使用Fusion Conv模块把128通道的数据重新映射回64通道。

用名为重参数化的重聚焦卷积模块RefConv代替普通卷积块加入网络当中，有效地提高数据计算精确度。它是一种新的卷积层设计，该方法思想基于结构重参数化的方法，旨在通过对卷积核的重聚焦变换来提升卷积神经网络的性能，而不增加数据计算时间。RefConv技术为每个卷积额外配了一个重聚焦变换操作（新的可学习参数），在训练过程中训练这些参数的权重，并在计算过程中与原始权重混合，不增加额外的参数。Cai等^［13］进行了实验并且验证了RefConv可以明显提高各种骨干模型的性能，而且没有额外的计算时间。此外研究表明RefConv可以改进卷积神经网络在目标检测和语义分割方面的性能。

RefConv通过替换常规卷积层，将卷积核大小设置为K×K，并且输入和输出通道数相同。将参数传递进网络中后，初始化权重W_r，这些权重与原始权重W_b 结合后，生成新的权重W_t。之后将此权重传递到组卷积当中进行计算，最后将结果重新生成到与最初卷积结构完全相同的结构，只保留新生成的W_t，此时输出参数。此过程中计算输出模型与原始模型完全相同，不会增加模块外的计算时间。

W_b,W_t\in {\mathbb{R}}^{(C_{\mathrm{o}\mathrm{u}\mathrm{t}}\frac{C_{\mathrm{i}\mathrm{n}}}{g}\times K\times K)}，（4）

为减少参数量，提出一个公式来确定超参数数组

G=\frac{C_{\mathrm{o}\mathrm{u}\mathrm{t}}\times C_{\mathrm{i}\mathrm{n}}}{g^{\mathrm{2}}}，（5）

组数g初始设置为C=C_in=C_out=g，卷积核大小为K，通常模型的初始基础权重和变换权重的形状为默认情况下K=3，padding=1，以确保W_b，W_t 有相同的形状。

这种设计会使得RefConv与原始卷积互补，更大的g意味着更稀疏的原始卷积，需要更多的跨通道连接，而更大的g会导致G更小，这正好满足了这种要求。假设特征图的大小为B×C_in×H×W，B为批次，C_in为输入通道数，H为图像高，W为图像宽，K为卷积核大小，小k为缩放因子。原始卷积的FLOPs为

F=BHW\cdot \frac{C_{\mathrm{o}\mathrm{u}\mathrm{t}}\times C_{\mathrm{i}\mathrm{n}}\times K^{\mathrm{2}}}{g}，（6）

而Refocusing Transformation的FLOPs为

F_{\mathrm{R}}=\frac{C_{\mathrm{o}\mathrm{u}\mathrm{t}}\times C_{\mathrm{i}\mathrm{n}}\times K^{\mathrm{2}}\times k^{\mathrm{2}}}{G}，（7）

此公式并不依赖于批量大小B，例如假设B=256，H=W=28，C_in=C_out=g=512，K=3，原始卷积的FLOPs为925 MB，而Refocusing Transformation的FLOPs仅为21 MB。

2.2 FAC block模块

FAC block模块主要由初始化、特征融合、映射输出三大部分组成。模块数据初始化部分，使用普通卷积块对通过残差连接传入的数据进行整理计算；特征融合部分，使用特征融合的方法将Deformable与Coordinate相结合；映射输出部分，将数据形状重新映射到初始形状并输出。FAC block模块首先使用Conv2D卷积块将残差连接后的数据进行计算，计算结果分别输出到两个不同的注意力机制当中（DA与CA），后将两种不同类型的参数使用特征融合方法结合，输出到Fusion Conv中将128通道映射到64通道，最后输出到平均池化层，将结果重塑为（res.size（0），-1）形状，展平成一个向量后，输入到全连接层中使用。

通常注意力机制会显著增加模型的计算复杂度并且会引入大量参数从而对模型的内存使用带来挑战，并且不同的注意力机制捕捉的信息内容不同，无法直接使用。本研究通过实验融合了两种不同类型的注意力机制，并且把他们的特性有效地结合起来，从而解决了融合难的问题。Deformable Attention^{［14⁃15］}是一种增强型注意力机制，旨在解决传统注意力机制在处理复杂视觉任务时的局限性。它通过引入可变形的采样点，使得注意力机制能够灵活地聚焦于输入特征图的不同区域，从而提高模型的表现^［16］。

Deformable Attention ^{［17⁃18］}模块首先通过偏移计算对每个位置进行查询，并通过偏移网络生成一组偏移量Δp_i 来调整采样点的位置。然后通过将查询点q和偏移量相加p_i=q+Δp_i 来确定具体的采样点位置。然后，在这些采样点位置对特征图进行采样，得到相应的特征值X（p_i ）=X（q+Δp_i ）。在获得这些基础特征值后，模块对每个采样点的特征值与其注意力权重进行加权求和，从而得到最终的输出公式

Y(q)={\displaystyle \sum _{i=\mathrm{1}}^n}A(q,p_i)\cdot X(p_i)，（8）

其中，Y（q）为输出，A（q，p_i ）为计算采样点的注意力权重，X（p_i ）是特征值。生成参考点并且完成偏移量计算后，在计算得到的偏移点位置进行特征采样与投影后，使用多头注意力方式进行计算，计算注意力分数并加权求和，输出结果

z^{(m)}=\sigma \left[\frac{q^{(m)}{\tilde{k}}^{(m)}}{\sqrt[]{d}}+\varphi (\widehat{B};R)\right]{\tilde{v}}^{(m)}，（9）

其中，q为查询，k为键，v为值向量，d是每个头的维度，ϕ（B；R）是使用相对位置信息R从相对位置偏置表B中提取偏置值。最后将每个头的输出连接并通过线性投影得到最终输出：

z=C(z^{(\mathrm{1})},\dots ,z^{(m)})W_{\mathrm{o}}，（10）

其中，C是将所有头的输出在最后一个维度上进行拼接，形成一个新的表示；W_o是输出投影矩阵。

Coordinate Attention^{［19⁃20］}通过将通道注意力分解为沿两个空间方向聚合特征的一维特征编码过程，从而在一个空间方向上捕捉长程依赖，同时在另一个空间方向上保留精确的位置信息。这种设计既保留了通道注意力在捕捉全局信息方面的优势，又引入了位置信息，从而提高了生成空间选择性注意力图的能力。

Coordinate Attention注意力机制首先通过全局平均池化，将每个通道的特征进行汇总，捕捉通道间依赖关系，通过两个全连接层生成权重，应用于输入特征图。为更好地捕捉精确位置信息，分别设置水平坐标编码和垂直坐标编码：

z_h^c(h)=\frac{\mathrm{1}}{W}{\displaystyle \sum _{i=\mathrm{1}}^{W-\mathrm{1}}}{(}_k^n)x_c(h,i)，（11）

z_h^c(w)=\frac{\mathrm{1}}{H}{\displaystyle \sum _{i=\mathrm{1}}^{H-\mathrm{1}}}{(}_k^n)x_c(j,w)。（12）

其中，z为输出结果，W为宽度，H为高度，x（h，i）为特征图的编码位置。将上述编码特征图连接并送入共享的一维卷积转换函数F₁，生成包含方向信息的中间特征图f=δ（F₁ ［z_h，z_w ］）。然后分别对其进行一维卷积转换，生成两个注意力图g_h=σ（F_h （f_h ））与g_w=σ（F_w （f_w ）），最终通过乘法应用于输入特征图：

y_c(i,j)=x_c(i,j)\times g_h^c(i)\times z_w^c(j)。（13）

3 实验分析

3.1 实验环境及配置

本实验平台为联想拯救者R7000 PARH7，操作系统为Window11，CPU为AMD Ryzen 6 800 H，内存为16 GB，使用Python3.11.8。高光谱数据集的训练集与验证集被划分为8∶2，使用自建高光谱数据集Hohygrass和三个公开高光谱数据集Indian Pines、Pavia University、Salinas进行对比试验。为了确保对照分类方法具有广泛性，选用八个模型作为对照，涵盖了多种适用于不同数据类型和任务的方法，包括U-Net^［21］，GCN^［22］，KNN^［23］，3DCNN，2DCNN，ResNet-18，ResNet-50^［24］，DCGAN^［25］。

3.2 评价指标

实验结果的评价指标^［26］分别为平均分类准确率（AA）、总体准确率（OA）、F1分数、运行时间（T）。

A_{\mathrm{A}}=\frac{T_{\mathrm{P}}+T_{\mathrm{N}}}{T_{\mathrm{P}}+T_{\mathrm{N}}+F_{\mathrm{P}}+F_{\mathrm{N}}}，（14）

A_{\mathrm{O}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^n}{A}_i，（15）

F\mathrm{1}=\frac{\mathrm{2}{T}_{\mathrm{P}}}{\mathrm{2}{T}_{\mathrm{P}}+F_{\mathrm{P}}+F_{\mathrm{N}}}，（16）

其中，T_P是正确分类为正类的样本数量，T_N是正确分类为负类的样本数量，F_P是错误分类为正类的样本数量，F_N是错误分类为负类的样本数量。N为类别总数，A_i 为第i个类别的分类准确度。

3.3 实验结果

通过使用八种模型在自建Hohygrass高光谱数据集上进行对比实验，模型分别对图中四种地物类别进行分类识别（图3）。图3（a）取自拍摄好的高光谱图像真值图。结果表明，FRCNet（图3（b））在所有模型中表现最佳，AA达到90.36%、OA达到93.49%、F1分数达到96.64，相较于其他八种算法AA提升了8%~30%、OA提升了5%~23%、F1分数提升了4~8，并且运算速度相较于高性能算法低100~200 s。ResNet-50（图3（d））相较于ResNet-18（图3（c））在三个性能指标中有优秀的表现，精度达到85%左右，并且层数增加不会增加计算时间。3D-CNN（图3（f））的AA指标显著优于2D⁃CNN（图3（e）），但其计算时间也大幅上升。ResNet网络优于CNN网络，ResNet网络的AA、OA与F1均超过了CNN网络参数。DCGAN^［25］（图3（g））网络在对比实验中表现出中等水平的性能，且计算时间较短。U-Net（图3（h））表现相较于其他模型部分参数有领先。GCN（图3（i））在八个对比模型中表现最好，时间也使用最少。KNN算法（图3（j））是一种机器学习的方法，没有参数量计算，并且不适用于高光谱语义分割任务，精确度仅为70%。对比实验结果表明，FRCNet在草地光谱识别分类上效果要显著优于其他分类模型，精度最高，时间短，并且数据量上要明显少于其他模型，实现了轻量化。具体数据见表3。

3.4 对比试验

为进一步证明FRCNet方法的有效性，选用Indian Pines（图4）、Pavia University（图5）、Salinas（图6）三个公开数据集进行对比实验，并选用八种模型作为FRCNet的对照实验。Indian Pines（图4）公开数据集包含220个光谱波段，覆盖范围为400~2 500 nm。有16个地物类别，例如大豆、玉米、草地、树林等。其特点光谱波段多，分布数量不均匀，适用于农田分类研究。Pavia University（图5）数据集包含103个光谱波段，覆盖范围为430~860 nm。有9个地物类别，例如道路、建筑、草地、树木等。其特点光谱量适中，主要集中在可见光和近红外范围，分辨率较高，适合用于人造建筑和城市景观。Salinas（图6）数据集包含224个光谱波段，覆盖范围为400~2 500 nm。有十六个地物类别，主要为不同农作物，如莴苣、番茄、葡萄园等。其特点光谱范围广，有助于区分农作物种类，数据分类较为均匀，非常适合农业应用。

FRCNet在Indian（图4）数据集表现最好，AA为88.25%、OA为87.30%、F1分数为93.22，同时模型计算时间短，仅为46 s（数据表略）。由于该数据中有较多光谱波段信息，2DCNN（图4（e））与KNN（图4（j））不能高效使用复杂数据，2DCNN设置早停机制，训练50轮次后精度没有变化自动停止，时间最少。其余6类算法均在不同程度上出现明显缺陷，例如计算时间长、计算精度低、模型稳定差等问题。

FRCNet在PaviaU（图5）数据集中表现最佳，AA为98.92%、OA为99.19%、F1分数为99.59。该数据集具有高分辨率（1.3 MB），并且光谱波段主要集中在可见光和近红外光，地物区分明显，有助于模型的分类能力，所以不同类型的方法在此数据集上区分并不明显，但是在计算时间中FRCNet算法较低仅为201 s，实现了轻量化的目的（数据表略）。

FRCNet在PaviaU（图6）数据集中表现最佳，AA为83.97%、OA为78.48%、F1分数为87.95。数据集农作物种类多，但部分植被光谱数据相似，精确度普遍较低。相比其他八种算法FRCNet（图6（b））有较为良好的分割效率，时间较短，仅为176 s（数据表略）。

3.5 消融实验

消融实验^{［27⁃29］}在深度学习中用于评估不同模块对网络的影响。Net是基础模型，FRC模块没有加入特征融合与RefConv模块，只有线性卷积操作，在FAC模块中没有加入注意力机制与特征融合内容，只有线性卷积操作，Net是一个仅有残差结构由普通卷积块构成的网络模型，其平均准确度为78.32%，总体准确度为73.76%，F1分数为84.90。实验振荡区间为±8%，稳定性差。FRC加入后，平均准确度为85.42%，总体准确度为90.36%，F1指数为94.93。加入新的模块后运行时间并没有增加，证明其在不消耗计算时间的前提下，精确度提升了17%。DA与CA为单独添加两种不同的注意力机制，单独添加DA平均准确度提升了0.4%，总体准确度提升了1.01%，F1分数提升了0.55，计算时间上升了31 s。单独添加CA，平均准确度提升0.66%，总体准确度提升0.96%，F1提升了0.46，计算时间上升了19 s。直接添加两种注意力机制FRC+DA+CA，不同种类的注意力提取的局部特征不同，造成冲突，两种不同种类的注意力直接添加会明显导致精度下降，相较只添加FRC模块下降1%左右。

使用FRC与FAC模块，平均准确度（AA）提升4.94%，总体准确度（OA）提升3.13%，F1分数提升了1.71，FAC模块有效地改进了不同注意力机制无法融合的问题。实验结果表明FRC与FAC模块相结合后，实验准确度与稳定性都有所提升（表4）。

4 总结

近年来，针对近地面草地高光谱识别分类任务，主要使用无人机搭载高光谱成像仪拍摄，但是近地面草地高光谱识别分类任务面临精度低、成本高的问题，此外，现有的无人机近地高光谱识别研究仍较少。因此，本研究创建了无人机草地高光谱数据集Hohygrass，并且提出FRCNet网络模型，通过使用特征融合方法改进普通卷积层创建FRC block，使用特征融合方法改进普通卷积块与注意力机制。

本研究通过无人机搭载高光谱成像仪进行草地平扫拍摄，采集高光谱图像，建立包含四种类别的草地高光谱数据集Hohygrass。为减少环境光照与机器噪声等因素的影响，将高光谱图像进行预处理操作，使用高斯滤波器进行降噪处理以减少噪声，图像更加平滑和清晰，用主成分分析法（PCA）降维。构建FRCNet的神经网络模型，模块使用特征融合方法对神经网络改进并引入了Refconv模块与注意力机制。

使用FRCNet在自建高光谱数据集Hohygrass，平均精度（AA）达到90.36%、总体精度（OA）达到93.49%、F1分数达到96.64，三项评价指标相较其他八种对照方法提升了10%以上；对比实验结果表明，FRCNet网络模型实验结果均为最高，最高预测精准度到达99.19%。消融实验证明各个模块的有效性。结果表明，FRCNet在处理高光谱数据方面具有显著优势，能够提供较高分类精度和稳定性。通过实验验证，FRCNet在高光谱草地识别分类任务中表现出色，解决了训练精度低、计算时间长的问题，为该领域提供了一种高效且精确的解决方案，能够为未来的高光谱数据处理和生态监测研究提供有益的借鉴和参考。

参考文献

[1] 赵烜赫.基于机器学习的草地牧草高光谱图像识别算法研究［D］.呼和浩特：内蒙古农业大学，2021.

[2] 宋少忠， 刘园园， 周紫阳， 等. 基于高光谱图像技术的高粱品种识别研究［J］. 光谱学与光谱分析， 2024， 44（5）： 1392-1397.

[3] 马建， 刘文昊， 靳瑰丽， 等. 基于CNN和SVM的地面高光谱遥感草地植物识别［J］. 草业科学， 2023， 40（2）： 394-404.

[4] 马建. 基于多源遥感数据的伊犁绢蒿荒漠草地植物的识别与反演［D］. 乌鲁木齐： 新疆农业大学， 2022.

[5] 何文强， 李照奎， 房卓群. 基于Transformer的高光谱图像域适应分类［J］. 激光杂志， 2025，46（2）：141-148.

[6] 吕欢欢， 白爽， 张辉. 基于三维空洞卷积和图卷积的高光谱影像分类［J］. 光电子·激光， 2024，35（9）：971-980.

[7] 皮伟强.基于无人机高光谱遥感的草原退化指标地物的识别与分类研究［D］.呼和浩特：内蒙古农业大学，2021.

[8] 乌尼乐， 包玉龙， 布仁图雅， 等. 基于无人机高光谱遥感的典型草原退化指示种识别［J］. 遥感技术与应用， 2024， 39（1）： 248-258.

[9] 张杰， 卢淼鑫， 李嘉康， 等. 基于残差密集卷积自编码的高噪声图像去噪方法［J］. 计算机科学， 2024， 51（S1）： 567-573.

[10] 李浩， 赵青， 崔辰州， 等. 基于CNN与LSTM复合深度模型的恒星光谱分类算法［J］. 光谱学与光谱分析， 2024， 44（6）： 1668-1675.

[11] ALZUBAIDI L， ZHANG J L， HUMAIDI A J， et al. Review of deep learning： Concepts， CNN architectures， challenges， applications， future directions［J］. Journal of Big Data， 2021， 8（1）： 53.

[12] BELLO I， FEDUS W， DU X Z， et al. Revisiting ResNets： Improved training and scaling strategies［D］. New York： Cornell University， 2021.

[13] CAI Z， DING X， SHEN Q， et al. Refconv： Re-parameterized refocusing convolution for powerful convnets［J］. arXiv preprint arXiv， 2023：2310.10563.

[14] LIANG J， FAN Y， XIANG X， et al. Recurrent video restoration transformer with guided deformable attention［J］. Advances in Neural Information Processing Systems， 2022， 35： 378-393.

[15] ZHU X， SU W， LU L， et al. Deformable detr： Deformable transformers for end-to-end object detection［J］. arXiv preprint arXiv， 2020：2010.04159.

[16] WANG J， LI F， AN Y， et al. Towards robust lidar-camera fusion in bev space via mutual deformable attention and temporal aggregation［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2024， 34（7）：5753–5764.

[17] DAI L， ZHANG G， ZHANG R. RADANet： Road augmented deformable attention network for road extraction from complex high-resolution remote-sensing images［J］. IEEE Transactions on Geoscience and Remote Sensing， 2023， 61： 1-13.

[18] ZHANG X， YU W， PUN M O. Multilevel deformable attention-aggregated networks for change detection in bitemporal remote sensing imagery［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1-18.

[19] ZHOU Z， ZHU X， CAO Q. AAGDN： Attention-augmented grasp detection network based on coordinate attention and effective feature fusion method［J］. IEEE Robotics and Automation Letters， 2023， 8（6）： 3462-3469.

[20] XIE C， ZHU H Y， FEI Y Q. Deep coordinate attention network for single image super-resolution［J］. IET Image Processing， 2022， 16（1）： 273-284.

[21] CHEN R， LI G H， DAI C L. Feature fusion via deep residual graph convolutional network for hyperspectral image classification［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1-5.

[22] MOHAMMADIZADEH M， MOZHDEHI A， IOANNOU Y， et al. Meta-GCN： A dynamically weighted loss minimization method for dealing with the data imbalance in graph neural networks［J］. arXiv preprint arXiv， 2023： 2406.17073.

[23] BO C J， LU H C， WANG D. Spectral-spatial K-Nearest Neighbor approach for hyperspectral image classification［J］. Multimedia Tools and Applications， 2018， 77（9）： 10419-10436.

[24] THECKEDATH D， SEDAMKAR R R. Detecting affect states using VGG16， ResNet50 and SE-ResNet50 networks［J］. SN Computer Science， 2020， 1（2）： 79.

[25] WU Q F， CHEN Y P， MENG J. DCGAN-based data augmentation for tomato leaf disease identification［J］. IEEE Access， 2020， 8： 98716-98728.

[26] 张云龙， 齐国红， 许新华. 基于模式识别技术的高光谱图像分类研究［J］. 激光杂志， 2023， 44（7）： 95-99.

[27] 陈学深， 吴昌鹏， 党佩娜， 等. 基于ViT-改进YOLOv7的稻田杂草识别［J］. 农业工程学报， 2024， 40（10）： 185-193.

[28] 何欣， 王雪萌， 张涵， 等. 基于卷积神经网络的牧草种子图像识别［J］. 草业科学， 2022， 39（11）： 2338-2349.

[29] 田明华. 基于机器学习的牧草识别算法研究及应用［D］. 呼和浩特： 内蒙古大学， 2022.

基金资助

内蒙古自治区自然科学基金资助项目“多模态牧草图像特征提取与识别”(2023LHMS06014)