基于改进SIFT算法的城市航拍图像快速拼接方法

Rapid Urban Aerial Image Stitching Method Based on Improved SIFT Algorithm

摘要

城市航拍图像在城市规划、 土地管理、 环境监测和基础设施建设等领域具有广泛应用。针对无人机航拍高度越高， 图像捕获成本越高， 图像质量或能见度越低的问题， 使用低空无人机来大量捕获图像； 针对经典的尺度不变特征转换（SIFT）图像拼接算法存在匹配稳定性差、 拼接质量差的问题， 提出一种改进SIFT算法， 通过提取图像金字塔模型， 提高了匹配的稳定性； 采用RANSAC算法减少局外点的干扰， 提高图像拼接质量； 采用混合平均加权法消除重叠区域接缝， 最终实现了图像快速精准拼接。仿真实验结果显示， 改进后的SIFT算法在图像拼接稳定性和质量上均表现较好， 能获得良好且完整的拼接图像。

Abstract

Urban aerial images have extensive applications in urban planning， land management， environmental monitoring， and infrastructure development. Addressing the issue that higher drone flight altitudes lead to increased image capture costs and lower image quality or visibility， this study utilizes low-altitude UAVs for extensive image acquisition. SIFT algorithm is proposed to tackle the poor matching stability and alignment quality issues of the classical SIFT image stitching algorithm. By extracting an image pyramid model， the stability of matching is enhanced. The RANSAC algorithm is employed to reduce outliers and improve image alignment quality. Additionally， a hybrid averaging weighted method is used to eliminate seam artifacts in overlapping areas， ultimately achieving rapid and precise image stitching. Simulation results demonstrate that the improved SIFT algorithm performs well in both stitching stability and quality， producing satisfactory and complete stitched images.

Graphical abstract

关键词

无人机 / 航拍图像 / 图像拼接 / SIFT算法

Key words

unmanned aerial vehicle / aerial images / image stitching / scale-invariant feature transform （SIFT） algorithm

0 引　言

随着无人机的快速发展， 航空成像技术得到了广泛的改进。无人机配备了大量的传感器、 执行器和复杂的控制器， 即使在恶劣的环境中工作也非常稳定。由于无人机飞行高度低、 成像探测范围有限， 应用时需通过图像拼接来扩大成像探测范围^［1］。图像拼接是近年来计算机视觉研究的一个重要课题， 被应用于各个领域^［2］。因此， 这些无人机被广泛应用于航空图像捕获^［3］， 通过采用图像拼接算法对无人机航拍图像进行拼接， 可以提供准确的城市全局航拍信息^［4］。然而， 由于城市环境复杂多变， 航拍图像存在遮挡的问题， 导致航拍图像在局部区域无法获得全貌。因此， 全局一次性获得完整的城市航拍图像往往具有挑战性。要想获得完整、 连续的城市航拍图像， 需要对多个局部图像进行拼接， 这就需要高效而准确的图像拼接方法来解决城市航拍图像的全局获取问题。

图像拼接是图像处理领域的研究热点， 而图像匹配是图像拼接的关键部分^［5］。目前图像匹配中常用的算法是基于特征匹配的SIFT（Scale-Invariant Feature Transform）算法， 其技术复杂度低， 鲁棒性高。但传统基于SIFT算法往往面临计算复杂度高、 匹配准确性低等问题， 限制了其在实际应用中的效率和精度。国内外学者提出许多改进方案。Jiang等^［6］提出一种基于SIFT特征匹配的畸变图像拼接方法， 在图像拼接之前对采集的图像进行畸变校正从而降低拼接图像的重影效应， 但输出视角上仍然存在一些问题。Chen等^［7］结合SIFT算法Canny边缘检测和尺寸仅为18维的新描述子， 大大降低了SIFT算法在匹配阶段的时间成本。Zhu等^［8］使用改进的简化SIFT功能进行图像拼接， 并使用了RANSAC算法来提高计算精度， 提高了拼接效率。Zhu等^［9］提出了一种使用SURF算法提取特征的二元分类器， 使用了RELIEF-F算法进行图像拼接。Wang等^［10］提出了一种利用SURF特征的自适应均匀图像拼接方法， 该算法利用半径去除不需要的兴趣点， 同时选择最佳的均匀分布半径。

因此， 本文提出一种基于改进SIFT算法的快速拼接方法， 融合图像金字塔模型， 能够有效应对城市航拍图像的特点， 提高图像拼接的速度和准确性， 提高了匹配的稳定性； 采用RANSAC算法减少局外点的干扰， 提高图像拼接质量； 采用混合平均加权法消除重叠区域接缝， 最终实现图像的高质量拼接， 具有重要的应用意义。

1 改进SIFT算法

SIFT旨在提取图像中具有尺度不变性和旋转不变性的局部特征， 并进行高效的特征匹配。该算法首先构建高斯金字塔和差分高斯金字塔， 通过多尺度的高斯模糊和差分操作来检测图像中的关键点； 然后， 对每个关键点周围的图像区域计算描述子， 描述子由关键点周围的梯度方向直方图构成， 具有对旋转、 尺度和亮度变化的不变性； 而后， 利用描述子之间的距离度量进行特征匹配； 最后， 通过序列匹配和几何变换模型将不同图像间的特征点匹配， 从而实现图像间的对应和匹配。

改进SIFT算法主要包括以下步骤： 提取SIFT特征、 匹配特征以获取潜在的特征匹配、 匹配图像序列、 完全匹配图像并混合图像， 如图 1 所示。

1.1 特征提取

1.1.1 尺度空间构建

尺度空间理论旨在模拟图像数据在不同尺度上的特性。通过对原始图像进行高斯核函数的卷积运算， 构建出能够输出图像的尺度空间， 如式（1）和式（2）所示。

G(x,y,\alpha )=\frac{\mathrm{1}}{\mathrm{2}\mathrm{\pi }{\alpha }^{\mathrm{2}}}{\mathrm{e}}^{-(x^{\mathrm{2}}+y^{\mathrm{2}})/(\mathrm{2}{\alpha }^{\mathrm{2}})},（1）

L(x,y,\alpha )=G(x,y,\alpha )\mathrm{*}I(x,y),（2）

式中： G(x,y,\alpha )为高斯核函数； (x,y)为采样点在空间内的坐标值； L(x,y,\alpha )为图像的尺度空间； I(x,y)为原始图像空间； \alpha为图像的平滑度； *为卷积运算符号。

1.1.2 关键点定位和筛选

利用高斯滤波函数对原始图像进行重复降采样， 可直接获得不同尺寸的梯形图像， 即高斯金字塔。通过高斯金字塔内每组图像的相减操作， 得到高斯差分金字塔（DoG金字塔）。在DoG金字塔上执行极值检测， 检测局部极值点作为候选关键点， 但检测时会存在误差， 因此， 本文算法将尺度空间DoG 函数曲线进行拟合， 使DoG 函数在尺度空间的泰勒展开式为零， 得到极值点的偏移量\mathit{X}和阈值\mathit{D}(\widehat{X})， 如式（3）~式（6）所示。

\mathit{X}={(\mathrm{\Delta }x,\mathrm{\Delta }y,\mathrm{\Delta }\partial )}^{\mathrm{T}},（3）

\mathit{D}(\mathit{X})=\mathit{D}+\frac{\partial {\mathit{D}}^{\mathrm{T}}}{\partial \mathit{X}}\mathit{X}+\frac{\mathrm{1}}{\mathrm{2}}{\mathit{X}}^{\mathrm{T}}\frac{{\partial }^{\mathrm{2}}\mathit{D}}{\partial {\mathit{X}}^{\mathrm{2}}},（4）

\widehat{\mathit{X}}=-\frac{{\partial }^{\mathrm{2}}{\mathit{D}}^{-\mathrm{1}}}{\partial {\mathit{X}}^{\mathrm{2}}}\frac{\partial \mathit{D}}{\partial \mathit{X}},（5）

\mathit{D}(\widehat{\mathit{X}})=\mathit{D}+\frac{\mathrm{1}}{\mathrm{2}}\frac{\partial {\mathit{D}}^{\mathrm{T}}}{\partial \mathit{X}}\widehat{\mathit{X}}\mathrm{。}（6）

得到极值点之后， 设置阈值\left|\mathit{D}(\widehat{\mathit{X}})\right|大于0.02， 则保留该关键点， 即排除低对比度和边缘响应不稳定的点， 最终得到稳定的关键点。

1.1.3 关键点的方向分配及特征描述

为每个确定的特征点指定一个方向， 利用其邻域像素的梯度方向分布特性赋予特征点旋转不变性。每个关键点包含位置、 尺度和方向信息， 通过一组向量描述关键点， 形成描述符。将关键点周围划分为16个子区域， 每个子区域设定8个方向， 构成一个128维向量， 即SIFT描述子。

1.2 特征匹配

假设无人机航拍相机围绕其光学中心旋转， 将图像进行变换， 变换过程如式（7）所示。

\tilde{u}={\mathit{H}}_{ij}\tilde{u},（7）

式中： \tilde{u}为图像变换前的位置； \tilde{u}为图像变换后的位置； {\mathit{H}}_{ij}为相机旋转矩阵内部参数决定的参数， 其一般形式如式（8）所示。

{\mathit{H}}_{ij}=\left[\begin{array}{ccc}{h}_{\mathrm{11}}& h_{\mathrm{12}}& h_{\mathrm{13}}\\ h_{\mathrm{21}}& h_{\mathrm{22}}& h_{\mathrm{23}}\\ \mathrm{0}& \mathrm{0}& \mathrm{1}\end{array}\right]\mathrm{。}（8）

提取特征后， 构建K-D树进行特征匹配， 寻找n个最近邻。本文每个特征选择6个最近邻， 获得多个特征匹配。

1.3 图像匹配

将不同图像之间的特征匹配结果进行序列匹配， 以确定图像间的空间变换关系。通过使用几何变换模型， 将特征点从一个图像坐标系映射到另一个图像坐标系， 实现图像间的匹配。本文算法每个特征点保留6个最近邻， 基于多个潜在的特征匹配， 提出了一种改进RANSAC算法， 高效鲁棒地解决了潜在特征匹配之间的运动关系。在这个算法中， 满足矩阵的点被称为RANSAC内线， 其他点则被称为轮廓线。通过将潜在特征与RANSAC内线连接起来， 建立概率模型。

1.3.1 改进RANSAC算法

为了提高RANSAC算法的性能， 并获得更可靠的矩阵匹配， 提出了一种改进的中间滤波器方法。这个方法基于两个关键的滤波器： 角度滤波器和长度滤波器。通过对这两个滤波器进行调整和改进来优化特征匹配的选择过程。

在改进后的角度过滤器和长度过滤器中， 利用一种新的策略来选择初始化特征匹配， 即随机选择4个特征匹配， 并计算它们的熵。如果计算得到的熵大于预设的阈值， 则将这些特征匹配选为初始化特征匹配， 否则不予选择。通过这种方式， 我们能够更有效地筛选出最优的特征匹配组合， 具体步骤为： 首先， 从所有特征匹配中随机选择4个样本， 然后通过修改后的角度过滤器进行测试。如果通过了角度过滤器的测试， 则继续进行长度过滤器的测试。接着， 计算变换矩阵， 并对所有可能的特征匹配进行测试。最后， 重复以上步骤N次， 并找到最符合条件的特征匹配组合， 以获得最终的矩阵优化结果。

1.3.2 全部图像匹配

上述过程实现了两幅图像的图像匹配， 在这一阶段将研究多幅图像之间的图像匹配。其中重映射是一个关键问题， 也就是消除图像匹配中的累积误差。为了解决这个问题， 我们使用束调整来处理。首先， 选择一个图像作为参考面。接着， 将其他图像转换到参考表面上， 以确保它们在同一表面上。束调整的过程中每个图像都被导入调整， 并持续优化矩阵参数。优化的方法是： 首先找出每个图像的最佳邻居图像， 并计算它们之间的距离， 然后利用这些距离值来调整相邻图像之间的矩阵， 以确保最佳的匹配结果。

1.4 图像拼接

上述阶段实现了几何图像拼接， 但由于拍摄角度不同， 导致图像拼接时出现严重的接缝。因此采用混合平均加权法消除重叠区域接缝。在加权平均融合中， 重叠区域中的特征值等于匹配图像的加权平均值， 如式（9）所示。

P=\frac{l_l}{l_l+l_r}{P}_l+\frac{l_r}{l_l+l_r}{P}_r,（9）

式中： l_l为重叠区域中的像素到左匹配图像的边界之间的距离； l_r为是重叠的像素到右匹配图像的边界之间的距离； P_l为左匹配图像重叠区域中的特征值； P_r为右匹配图像重叠区域中的特征值。

2 城市航拍图像拼接结果与分析

2.1 图像采集与试验设备

无人机遥感图像数据来自山西省太原市中北大学（经度112.447 509°， 纬度38.015 117°）， 采集时间为3月中下旬－4月上旬的晴天， 采集时间集中在上午9： 00－11： 00。采集设备为大疆Air 2无人机， 飞行高度为120 m， 图像横纵重叠率为15%~18%， 图像大小为2 130×2 430（像素）， 共20张。

2.2 特征点检测与匹配

为验证本文算法的匹配效果， 选取具有复杂背景和特征差异的航拍图像， 分别采用传统SIFT和本文算法进行特征点检测与匹配， 试验结果如图 2 所示。统计传统SIFT和本文算法的特征点数量、 特征点匹配数量、 匹配率（特征点匹配数量/特征点数量）和运行时间， 如表 1 所示。

从表 1 中的特征点数量、 特征点匹配数量和匹配率结果可知， 本文算法检测出的特征点数量相较于传统SIFT算法平均减少了83%， 且匹配率平均增加100%， 远高于传统SIFT算法。此外， 本文算法大幅度减少运行时间， 节约了91.7%的时间， 极大地提高了特征检测与匹配的效率， 单幅城市航拍地图的平均检测时间约为3.78 s， 达到快速检测的目的。

2.3 图像拼接

2.3.1 单幅图像拼接

本文采集的城市航拍图像背景比较复杂， 除建筑物外还包含道路、 花园、 车、 高山等。为验证本文快速拼接方法的有效性， 分别采用传统SIFT和本文算法对两幅图像进行拼接， 将拼接结果进行比较。试验图像尺寸为2 130×2 430（像素）， 图像之间的重叠率为15%~18%。

利用两种算法对3个地块的图像进行拼接试验， 拼接结果如图 3 所示。由图 3 明显可知， 本文算法实现了更好的融合效果和高质量拼接。图 3（a） 在单幅图像拼接过程中， 出现明显的拼接线错位、 图像重影、 细节不清晰等现象， 且易发生图像边缘畸变和缺失的问题。图 3（b） 在拼接过程中， 拼接线无明显错位， 图像无明显重影、 畸变等问题， 过渡自然且清晰， 拼接后的图像整体质量较高。

为量化图像拼接质量， 引入信息熵（I_E）^［11］、 平均梯度（C_{\mathrm{l}\mathrm{a}\mathrm{r}\mathrm{i}\mathrm{t}\mathrm{y}}）^［12］和拼接时间（S）3个指标进行进一步评估。

信息熵衡量了图像中平均包含的信息量。熵值越高， 表示信息量越多， 图像效果越佳。其计算公式为

I_E=-{\displaystyle \sum _{I=\mathrm{0}}^{H-\mathrm{1}}}{G}_p(i)lo{g}_{\mathrm{2}}{g}_f(i),（10）

式中： p代表所选图像； G_p为在图像p中灰度值为i的像素在总像素数量中所占的比例； H为灰度等级， 一般选取256。

平均梯度， 也称为图像清晰度， 反映了图像中细节的对比度和纹理变化。值越大， 图像越清晰。其计算公式为

C_{\mathrm{l}\mathrm{a}\mathrm{r}\mathrm{i}\mathrm{t}\mathrm{y}}={\sum _y\sum _x\left|p(x+\mathrm{2},y)-p(x,y)\right|}^{\mathrm{2}},（11）

式中： p(x,y)为所选图像p对相应像素(x,y)的灰度值。

图 3 拼接图像的评价指标计算结果如表2所示。由表 2 可知， 与传统SIFT算法相比， 本文算法拼接后的图像中信息熵和平均梯度都有轻微提升。在多组实验中， 本文算法的表现明显较优。此外， 拼接时间也有了显著减少， 拼接效率明显提高， 能够满足快速拼接的需求。

2.3.2 多幅图像拼接

为验证本文算法在多幅图像拼接时的有效性及优越性， 针对上述地块1~4的航拍图像， 分别采用传统SIFT算法和本文算法进行整体全局拼接， 并对拼接结果进行比较和分析， 结果显示如图4。

由图 4 明显可知， 传统SIFT算法拼接的图像依旧存在比较严重的边缘畸变和丢失的情况， 图像重叠区域出现阴影。本文算法所拼接的全局图像质量较高、 细节清晰、 没有明显的数据丢失情况。拼接结果说明本文算法针对背景复杂的航拍图像取得了较好的拼接效果。

两种方法的评价指标如表 3 所示。由表 3 可得， 本文算法生成的全局图像信息熵和平均梯度均有提升， 拼接时间降低86%。由图 4 和表 3 可知， 本文算法在拼接质量上表现优越， 不仅提高了拼接图像的清晰度和融合效果， 还有效解决了传统SIFT算法中常见的图像畸变和重影问题。

3 结　论

本文针对经典的SIFT图像拼接算法存在匹配稳定性差、 拼接质量差的问题， 提出改进SIFT算法构建图像金字塔模型， 通过RANSAC算法减少局外点的干扰， 并采用混合平均加权法消除重叠区域接缝， 最终实现图像的高质量拼接。本文利用低空无人机捕获航拍图像， 并通过改进SIFT图像拼接算法实现了对单幅、 多幅城市航拍图像的高质量拼接。经仿真实验验证， 改进后的SIFT算法在图像拼接速度和质量上表现良好， 能够快速获得高质量且完整的全局航拍图像。为城市规划、 土地管理等领域的应用提供了技术支持。

参考文献

[1] 张宇.无人机航拍图像拼接技术研究［D］.成都： 电子科技大学，2023

[2] BERGEN T， WITTENBERG T. Stitching and surface reconstruction from endoscopic image sequences： a review of applications and methods［J］. IEEE Journal of Biomedical and Health Informatics， 2014， 20（1）： 304-321.

[3] ZHAO N， ZHENG X. Multi-band blending of aerial images using GPU acceleration［C］//2017 10th International Congress on Image and Signal Processing， BioMedical Engineering and Informatics （CISP-BMEI）， IEEE， 2017： 1-5.

[4] 代家印， 王育昕， 袁杰.低空航拍全景图像拼接研究［J］.南京大学学报（自然科学），2023， 59（2）： 239-246.

[5] DAI Jiayin， WANG Yuxin， YUAN Jie. Research on low-altitude aerial panoramic image stitching［J］. Journal of Nanjing University （Natural Science）， 2023， 59（2）： 239-246. （in Chinese）

[6] RATHNAYAKE R， SENEVIRATNE L. An efficient approach towards image stitching in aerial images［C］//2018 3rd International Conference on Information Technology Research （ICITR）， IEEE， 2018： 1-6.

[7] JIANG Z， WU J， CUI D， et al. Stitching method for distorted image based on SIFT feature matching［C］//2012 8th International Conference on Computing and Networking Technology （INC， ICCIS and ICMIC）， IEEE， 2012： 107-110.

[8] CHEN Y， XU M， LIU H L， et al. An improved image mosaic based on Canny edge and an 18-dimensional descriptor［J］. Optik， 2014， 125（17）： 4745-4750.

[9] ZHU Q， LI K. Image stitching using simplified SIFT［C］//The 2010 IEEE International Conference on Information and Automation， Harbin， 2010： 1134-1137.

[10] ZHU L， WANG Y， ZHAO B， et al. A fast image stitching algorithm based on improved SURF［C］//2014 Tenth International Conference on Computational Intelligence and Security， IEEE， 2014： 171-175.

[11] WANG Z， YAN F， ZHENG Y. An adaptive uniform distribution surf for image stitching［C］//2013 6th International Congress on Image and Signal Processing （CISP）， IEEE， 2013， 2： 888-892.

[12] 王茜， 宁纪锋， 曹宇翔， 等. 基于SIFT算法的无人机遥感图像拼接技术［J］. 吉林大学学报（信息科学版）， 2017， 35（2）： 188-197.

[13] WANG Qian， NING Jifeng， CAO Yuxiang， et al. Matching Technologies of UAV Remote Sensing Image Based on SIFT［J］. Journal of Jilin University （Information Science Edition）， 2017， 35（2）： 188-197.

[14] 沈跃， 朱嘉慧， 刘慧， 等. 基于彩色和深度信息结合K-means聚类算法快速拼接植株图像［J］. 农业工程学报， 2018， 34（23）： 134-141.

[15] SHEN Yue， ZHU Jiahui， LIU Hui， et al. Rapid target plant image mosaic based on depth and color information from Kinect combining K-means algorithm［J］. Transactions of the Chinese Society of Agricultural Engineering， 2018， 34（23）： 134-141. （in Chinese）