基于梯度一致性约束的无人机多光谱影像融合算法

Multi spectral image fusion algorithm for unmanned aerial vehicles based on gradient consistency constraint

摘要

针对地物种类较多、无人机光谱影像特征难提取、光谱信息不确定导致的融合效果不佳问题，提出了一种基于梯度一致性约束的无人机多光谱影像融合算法。通过光束平差算法确保地物点坐标与影像投射坐标的一致性，并利用小波变换提取影像特征，结合梯度一致性算法构建目标融合函数，通过迭代运算实现高质量的影像融合。实验证明，经该方法融合后的影像细节清晰、分辨率高且信息完整性好，可为无人机多光谱影像的后续应用提供强有力的技术支持，尤其在环境监测、农业评估等领域展现出广阔的应用前景。

Abstract

A UAV multispectral image fusion algorithm based on gradient consistency constraint was proposed to address the issues of multiple types of ground objects， difficulty in extracting features from UAV spectral images， and poor fusion performance caused by uncertain spectral information. By using the beam adjustment algorithm to ensure the consistency between the coordinates of ground points and the projected coordinates of images， and using wavelet transform to extract image features， combined with gradient consistency algorithm to construct the target fusion function， high-quality image fusion is achieved through iterative operation. Experimental results have shown that the fused image of this method has clear details， high resolution， and good information integrity， providing strong technical support for the subsequent application of unmanned aerial vehicle multispectral images， especially in the fields of environmental monitoring， agricultural evaluation， etc， it has shown broad application prospects.

Graphical abstract

关键词

遥感 / 梯度一致性约束 / 无人机多光谱影像 / 影像融合 / 局部能量 / 边缘梯度

Key words

remote sense / gradient consistency constraint / multi spectral imaging of drones / image fusion / local energy / edge gradient

0 引 言

随着无人机技术的飞速发展和广泛应用，无人机多光谱影像已成为土地监测、环境评估和资源管理等领域的重要数据源。然而，如何有效融合多光谱影像，以获取更准确、更高质量的信息，仍是一个挑战。特别是在高光谱遥感技术快速发展的背景下，无人机多光谱影像融合算法的研究显得尤为重要。

为提升融合效果，相关学者进行了深入研究。方帅等^［1］建立了光谱重建和误差重建模型，求得中心区域和边缘区域的代表光谱阈值，对这两个层次进行融合以实现多光谱图像融合。由于该方法没有考虑光谱特征的稀疏关系，导致阈值计算存在误差而影响融合效果。文刚等^［2］设定图像光谱亮度为均方根误差值，将时间作为连续性指标，计算了多光谱遥感影像的结构相似性、平均清晰度及峰值信噪比参数，提取三者的最大适应值进行融合运算。不同遥感影像的维度和尺度特征存在差异，若直接进行融合会导致融合误差较大。王欧等^［3］提出了基于细节特征提取的多光谱图像融合方法，通过引导滤波器捕捉影像边缘区域和中心区域的高低频分量，利用自适应算法计算高频分量对应的强度分量值，按照分量值大小进行融合。多光谱图像的分量变化受噪声影响，未对噪声进行去除的前提下展开融合工作会导致融合后的图像分辨率较低。廖斌等^［4］通过光谱学习对高光谱图像进行分析，引入多光谱图像的全局结构特征和光谱自相似性作为融合过程中的关键约束；采用全局凸优化方法对融合过程求解得到多光谱融合图像，全局凸优化方法的求解过程受初始条件影响，如果初始条件设置不当，会导致求解结果不理想。

为进一步提升融合效果，本文提出了一种基于梯度一致性约束的无人机多光谱影像融合算法。该算法基于梯度一致性约束，通过光束平差算法确保地物点坐标与影像投射坐标的精确对应，结合小波变换技术提取关键影像特征，并利用梯度一致性算法构建融合模型，经过迭代优化，实现高质量的多光谱影像融合。

1 无人机多光谱影像融合算法设计

1.1　无人机特征点与地物点间的对应关系分析

无人机多光谱影像的生成是通过点位光谱捕捉实现，利用视觉技术自动匹配目标特征点以便获取更为完整的影像。但在实际应用中，由于地物种类较多、特征类别难以判定识别，在进行光谱影像融合之前，需要预先对无人机特征点和地物点之间的对应关系进行分析，以确定影像重叠度。

光束平差算法能够根据无人机方位内元素和外元素，将地物点投射到平面坐标系^［5］中，从而计算特征点与投影坐标点之间的偏差。因此，本文采用该方法进行无人机特征点与地物点间的对应关系确定。设I为滑动窗口^［6］；f为无人机扫描所有地物点的集合；f_{\mathrm{s}}为其中任意一个点；q_{ij}^{\text{'}}为f_{\mathrm{s}}投射在影像I_j上的点。若无人机内、外方位元素^［7］的数值及f_{\mathrm{s}}是已知的，则可采用共线方程计算，得到地物点的具体坐标，以及投射在影像I_j上的q_{ij}^{\text{'}}。设q_{ij}为地物点f_{\mathrm{s}}在I_j上对应的特征点，则地物点和投射点^［8］之间的误差为q_{ij}^{\text{'}}-q_{ij}。

根据共线反演公式确定f_{\mathrm{s}}的地物点和特征点坐标分别为：

\left\{\begin{array}{l}{f}_{\mathrm{s}}=\lambda \mathit{R}{q}_{ij}^{\text{'}}-f\\ f_{\mathrm{s}}=\lambda \mathit{R}{q}_{ij}^{\text{'}}+f\end{array}\right.（1）

式中：\lambda为反演系数^［9］；\mathit{R}为无人机外方位元素的旋转矩阵。

通过调节滑动窗口的大小调节地物点与投射点之间的误差q_{ij}^{\text{'}}-q_{ij}，利用最小化算法^［10］优化滑动窗口内所有无人机相机的方位元素：

F=\sum _{q_{ij}\in I_j}{\left(q_{ij}^{\text{'}}-q_{ij}\right)}^T{f}_{\mathrm{s}}\left(q_{ij}^{\text{'}}-q_{ij}\right)（2）

式中：F为融合方位元素；T为周期参数。

将式（2）最小化，其目的在于约束滑动窗口的光束平差值^［11］，并统一经过该窗口的光谱变量。在完成上述操作后，无人机捕捉的地物点坐标与影像投射坐标高度一致，在此基础上，进行多光谱融合可保证较高的精准度。

1.2　多光谱影像特征提取

为了获取高精度的多光谱影像融合结果，根据无人机特征点与地物点之间的对应关系将无人机影像分为高频和低频区域点，小波变换算法具有多分辨率分析和局部化的特点，能够同时在时域和频域上对信号进行局部多分辨率分析。这一特性使小波变换在提取影像的高频和低频信息时，关注到影像的局部细节，提取具有代表性的特征。因此，本文采用小波变换算法提取不同区域内的多光谱特征，包括局部能量、局部标准差及边缘梯度^［12］。具体提取过程如下。

（1）对原始的多光谱影像进行预处理，以提高后续分析的准确性。

（2）将预处理后的多光谱影像进行小波分解，将影像分解为多个子带，每个子带对应于不同的频率范围和空间方向，选择不同的分解层数获得不同尺度的信息。

（3）在上述基础上，提取局部能量、局部标准差及边缘梯度，具体表达式如下：

局部能量E_k\left(i,j\right)为：

E_k\left(i,j\right)={\displaystyle \sum _{m-d}^d}{\displaystyle \sum _{n-d}^d}\left|W_k\left(i,j\right)\right|（3）

式中：W_k为权重参数；d为中心点与目标点的距离；m为目标样本数量；n为投射样本数量。

局部标准差D_k\left(i,j\right)为：

D_k\left(i,j\right)={\left\{{\displaystyle \sum _{m-d}^d}{\displaystyle \sum _{n-d}^d}\frac{{\left[W_k\left(i,j\right)-\overline{W}\left(i,j\right)\right]}^{\mathrm{2}}}{\left[{\left(\mathrm{2}d+\mathrm{1}\right)}^{\mathrm{2}}-\mathrm{1}\right]}\right\}}^{\mathrm{1}/\mathrm{2}}（4）

式中：\overline{W}（i，j）为窗口内小波系数均值；{\left(\mathrm{2}d+\mathrm{1}\right)}^{\mathrm{2}}为窗口大小，推导得到边缘梯度G_k\left(i,j\right)为：

G_k\left(i,j\right)=\left|{\displaystyle \sum _{m-d}^d}{\displaystyle \sum _{n-d}^d}{l}_{m,n}{W}_k\left(m+i,n+j\right)\right|（5）

式中：l_{m,n}为边缘检测算子。

通过小波变换算法提取多光谱影像的局部能量、局部标准差及边缘梯度的特征值，这种方法能够准确反映多光谱影像中不同区域的特点，并将这些特征作为先验函数中的已知梯度变量，为后续梯度一致性融合提供丰富的信息。

1.3　无人机多光谱影像融合实现

将求得的局部能量E_k\left(i,j\right)、局部标准差D_k\left(i,j\right)及边缘梯度G_k\left(i,j\right)的特征值作为先验函数中的已知梯度变量，将待融合的无人机多光谱影像视为未知梯度变量，经过贝叶斯变换得到最大后验概率公式为：

x^{\text{'}}=\mathrm{a}\mathrm{r}\mathrm{g}\underset{F}{\mathrm{m}\mathrm{a}\mathrm{x}}p\left(y\left|x\right.\right)p\left(z\left|x\right.\right)p\left(x\right)（6）

式中：x、y、z为已知量，即求得的局部能量、局部标准差及边缘梯度。

式（6）存在3个先验概率密度函数，其中，p\left(x\right)为多光谱影像的初始先验样本；p\left(y\left|x\right.\right)为含噪声点随机分布的多光谱影像；p\left(z\left|x\right.\right)为正常的多光谱影像。本文采用梯度一致性算法，分别对不同情况的影像进行融合，计算概率密度值，通过梯度转换和替代实现融合。

假设，各个波段的噪点梯度分量是随机分布的，表示为：

p\left(y_{\mathrm{B}}\left|x_{\mathrm{B}}\right.\right)=\frac{\mathrm{1}}{{\left(\mathrm{2}\mathrm{\pi }\alpha \right)}^{N_{\mathrm{1}}{N}_{\mathrm{2}}/\mathrm{2}}}\mathrm{e}\mathrm{x}\mathrm{p}\left\{\frac{-{‖y_{\mathrm{B}}-A_{\mathrm{B}}{x}_{\mathrm{B}}‖}^{\mathrm{2}}}{x\mathrm{\text{'}}}\right\}（7）

式中：\alpha为噪声方差；A_{\mathrm{B}}为采样频段；N_{\mathrm{1}}为影像高度；N_{\mathrm{2}}为影像宽度；y_{\mathrm{B}}为噪声光谱点；x_{\mathrm{B}}为噪点梯度特征值。

为了消除在融合过程中噪声带来的干扰问题，通过一致性约束改善不稳定现象：

p\left(x_{\mathrm{B}}\right)=\frac{\mathrm{1}}{{\left(\mathrm{2}\mathrm{\pi }\alpha \right)}^{M_{\mathrm{1}}{M}_{\mathrm{2}}/\mathrm{2}}}\mathrm{e}\mathrm{x}\mathrm{p}p\left(y_{\mathrm{B}}\left|x_{\mathrm{B}}\right.\right)（8）

式中：M_{\mathrm{1}}、M_{\mathrm{2}}为融合后的影像高度和宽度。

根据式（6）的无人机多光谱影像概率密度函数关系式，采用梯度一致性算法对其梯度分量进行简化操作，得到最终的融合目标函数E\left(x_{\mathrm{B}}\right)为：

E\left(x_{\mathrm{B}}\right)={\alpha }_{\mathrm{1}}p\left(x_{\mathrm{B}}\right)+{\alpha }_{\mathrm{2}}\sum _i\sum _j{x}_{\mathrm{B}}\left(i,j\right)（9）

式中：{\alpha }_{\mathrm{1}}、{\alpha }_{\mathrm{2}}为第1项和第2项梯度的噪声方差。

通过梯度下降算法求解式（9），以连续性的迭代运算逼近融合影像的梯度方差，其表达式为：

x_{\mathrm{B},n+\mathrm{1}}=E\left(x_{\mathrm{B}}\right)-t_{b,n}E\left(x_{b,n}\right)（10）

式中：t_{b,n}为迭代计算步长；x_{b,n}为梯度步长。

式（10）的终止条件为：

\frac{{‖x_{\mathrm{B},n+\mathrm{1}}-x_{\mathrm{b},n}‖}^{\mathrm{2}}}{{‖x_{\mathrm{b},n}‖}^{\mathrm{2}}}\le \gamma（11）

式中：\gamma为预设迭代的终止阈值。

在满足式（11）的条件下，输出最终的无人机多光谱影像融合结果。

2 性能测试

2.1　测试环境

为验证本文提出的基于梯度一致性约束的无人机多光谱影像融合算法的应用性能，选用无人机数据集IKONOS作为实验数据集。对原始多光谱影像进行降采样操作，保证影像只存在分辨率（空间分辨率和光谱分辨率）的变化，融合结果则从视觉效果和信息熵数值两个方面进行对比分析。多光谱影像相关参数如表1所示。

2.2　无人机多光谱影像融合结果对比分析

实验以无人机生成的两幅光谱影像作为融合对象，如图1所示，算法将二者融合，对比融合后影像的细节特征表达情况。设置基于细节关注的高光谱影像融合方法、基于WAResNet的影像融合方法、基于细节特征提取的全色影像融合方法为对照组，实验结果如图2所示。

从图2可以看出，本文方法得到的融合影像边缘和中心区域的细节表达更为清晰，光谱分辨率和空间分辨率均较高，信息更为明确。说明本文方法对原始影像的融合效果较好，完美融合了低分辨和高分辨率影像，影像更为清晰；基于细节关注的高光谱影像融合方法得到的影像区域光谱区分最模糊；基于WAResNet的影像融合方法的失真现象最严重，不能很好地实现融合，影像光谱信息丢失严重，边缘表达不清晰，地物特征表现模糊。

2.3　基于融合信息熵指标对比的实验结果分析

为进一步验证算法有效性，以信息熵值为指标测试4种融合方法效果，信息熵值H属于一种量化指标，其数值大小代表影像中携带信息数量，数值越大，表示影像中包含的信息数量越多；反之，则越少。计算公式为：

H=-{\displaystyle \sum _{i=\mathrm{0}}^{L-\mathrm{1}}}{p}_i\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{p}_i（12）

式中：L为灰度级别的总数；p_i为当灰度值为i时像素在影像中出现的概率。

利用式（12）计算不同方法的信息熵，结果如图3所示。从图3可以看出，本文方法的信息熵值最高，明显高于其他3种方法的信息熵值，且这3种方法的信息熵值曲线分布较低。本文方法引入梯度一致性约束作为融合的关键策略，通过确保融合后影像的梯度分布与原始多光谱影像的梯度分布一致，从而有效保留影像的地物边界和细节特征。

3 结束语

本文提出了一种基于梯度一致性约束的无人机多光谱影像融合算法。首先，分析了无人机特征点与地物点之间的对应关系，通过反演公式确定投射点的坐标参数，由此确定像素特征值，为后续融合算法确定不同区域的光谱特征。然后，采用小波变换算法计算局部标准差和边缘梯度等参数，并作为梯度一致性函数的初始值，建立概率密度函数求解影像中各个波段和区域的随机噪点分布，确定融合窗口的高度和宽度，通过连续性迭代逼近最终的融合阈值。实验结果表明，经本文方法融合后的影像更清晰，且融合影像包含的信息数量较多、内容较丰富，不易出现细节丢失问题，充分说明其融合效果较好。

参考文献

[1] 方帅, 闫明畅, 张晶, 基于细节关注的高光谱与多光谱图像融合算法[J]. 遥感学报, 2022, 26(12): 2594-2602.

[2] Fang Shuai, Yan Ming-chang, Zhang Jing, et al. A fusion algorithm for hyperspectral and multispectral images based on detail attention[J]. Journal of Remote Sensing, 2022, 26(12): 2594-2602.

[3] 文刚, 马仪, 周仿荣, 基于WAResNet和GS+ATPRK的多光谱和全色影像融合[J]. 桂林理工大学学报, 2023, 43(2): 326-332.

[4] Wen Gang, Ma Yi, Zhou Fang-rong, et al. Pansharpening methods for multispectral images based on WAResNet and GS+ATPRK[J]. Journal of Guilin University of Technology, 2023, 43(2): 326-332.

[5] 王欧, 罗小波. 基于细节信息提取的全色与多光谱图像融合方法[J]. 红外技术, 2022, 44(9): 920-928.

[6] Wang Ou, Luo Xiao-bo. Panchromatic and multispectral images fusion method based on detail information extraction[J]. Infrared Technology, 2022, 44(9): 920-928.

[7] 廖斌, 杨琳琳, 靳昌伟, 基于全局结构和自相似性约束的高光谱多光谱图像融合[J]. 激光杂志, 2023, 44(7): 115-120.

[8] Liao Bin, Yang Lin-lin, Jin Chang-wei, et al. Image fusion based on global structure and self-similarity constraint[J]. Laser Journal, 2023, 44(7): 115-120.

[9] 席顺忠, 李勇, 葛莹, 水体强反光环境中无人机多光谱影像的辐射一致性校正[J]. 农业工程学报, 2022, 38(2): 192-200.

[10] Xi Shun-zhong, Li Yong, Ge Ying, et al. Radiometric consistency correction of UAV multispectral images in strong reflective water environment[J]. Transactions of the Chinese Society of Agricultural Engineering, 2022, 38(2): 192-200.

[11] Xu X, Liu G, Bavirisetti D P, et al. Fast d etection fusion network (FDFnet): An end to end object detection framework based on heterogeneous image fusion for power facility inspection[J]. IEEE Transactions on Power Delivery, 2022, 37(6): 4496-4505.

[12] 范明虎, 薛昊润, 臧文乾, 基于Atrous-HIS变换的多光谱遥感影像多核并行融合方法[J]. 河南师范大学学报:自然科学版, 2022, 50(4): 76-81.

[13] Fan Ming-hu, Xue Hao-run, Zang Wen-qian, et al. A parallel multi-core fusion method for multispectral remote sensing images based on Atrous-HIS transform[J]. Journal of Henan Normal University (Natural Science Edition), 2022, 50(4): 76-81.

[14] 冯福存, 常莉红. 一种基于内容增强的可见光-红外线图像融合方法[J]. 吉林大学学报: 理学版, 2021, 59(3): 595-601.

[15] Feng Fu-cun, Chang Li-hong. Fusion method based on content enhancement for visible-infrared image[J]. Journal of Jilin University: Science Edition, 2021, 59(3): 595-601.

[16] 李雄飞, 吴佳婧, 张小利, 基于相对总变差结构提取的遥感图像融合[J]. 吉林大学学报: 工学版, 2021, 51(5): 1775-1784.

[17] Li Xiong-fei, Wu Jia-jing, Zhang Xiao-li, et al. Remote sensing image fusion algorithm based on relative total variation structure extraction[J]. Journal of Jilin University (Engineering and Technology Edition), 2021, 51(5): 1775-1784.

[18] 张永军, 王梦欣, 万一, 高分七号卫星影像融合中的全色-多光谱配准误差补偿模型[J]. 武汉大学学报: 信息科学版, 2023, 48(7): 1029-1038.

[19] Zhang Yong-jun, Wang Meng-xin, Wan Yi, et al. Compensation model of GF-7 panchromatic and multispectral image registration error[J]. Geomatics and Information Science of Wuhan University, 2023, 48(7): 1029-1038.

[20] 尚宇辉, 孟伟, 房健, 改进径向基函数插值法的多聚焦图像滤波融合[J]. 计算机仿真, 2024, 41(2): 222-226.

[21] Shang Yu-hui, Meng Wei, Fang Jian, et al. Multi focus image filtering and fusion based on improved radial basis function interpolation[J]. Computer Simulation, 2024, 41(2): 222-226.

[22] 吕开云, 侯昭阳, 龚循强, 一种基于ASR和PAPCNN的NSCT域遥感影像融合方法[J]. 遥感技术与应用, 2022, 37(4): 829-838.

[23] Kai-yun Lü, Hou Zhao-yang, Gong Xun-qiang, et al. A remote sensing image fusion method based on ASR and PAPCNN in NSCT domain[J]. Remote Sensing Technology and Application, 2022, 37(4): 829-838.

基金资助

国家自然科学基金项目(41801148)