融合相对全变分和相位一致性的多模态遥感图像配准

Multimodal image registration using relative total variation and phase consistency

摘要

由于成像机制的不同，显著的模态差异和噪声干扰给多模态遥感图像配准带来了极大挑战。为此，提出了一种融合相对全变分和相位一致性的多模态遥感图像配准方法。通过引入相对全变分滤除无效纹理和噪声，充分提取多模态遥感图像的结构特征，进一步构建尺度空间以提取可靠的特征点。在相对全变分尺度空间的基础上，利用对图像灰度变化不敏感的相位一致性，替代图像梯度构造特征描述符。在3种不同类型的多模态遥感图像数据集上进行实验，与其他配准方法相比，所提出的方法能够有效处理存在模态差异和噪声的多模态遥感图像，获得更好的配准精度。

Abstract

Due to the difference of imaging mechanism， the modality difference and noise interference bring great challenges to the registration of multimodal remote sensing images. A novel multimodal remote sensing image registration method was proposed， which integrated relative total variation and phase consistency. By introducing relative total variation to eliminate ineffective textures and noise， the structural features of multimodal remote sensing images was fully extracted， and further the scale space was constructed to extract reliable feature points. Based on relative total variational scale space， the phase consistency， which is insensitive to intensity changes， was utilized to replace image gradient and construct salient feature descriptors. Experiments were conducted on three different types of datasets of multimodal remote sensing image. Compared with other state of the art registration methods， the proposed method can effectively process multimodal remote sensing images with modality differences and noise， and obtain better registration accuracy.

Graphical abstract

关键词

多模态遥感图像 / 图像配准 / 相对全变分 / 相位一致性

Key words

multimodal remote sensing image / image registration / relative total variation / phase congruency

0 引言

随着传感器技术的快速发展和成像方式的多样化，光学、红外、合成孔径雷达（Synthetic Aperture Radar， SAR）等多种类型的遥感图像相继出现。各类遥感图像既具备独特的优势，同时也存在相应的局限性，单一遥感图像难以同时满足可解释、全天候、高分辨的实际应用需求。图像间的互补性促使图像信息融合成为需求，使得多模态遥感图像配准技术愈发重要。多模态遥感图像配准作为遥感图像处理领域的基础步骤，旨在提取多模态遥感图像之间的同名特征，并建立对应匹配关系来完成图像对齐任务。

然而，遥感图像成像机制具有独特性，难免在图像形成的过程中引入不同程度的噪声。除此之外，配准图像之间同时存在多方面复杂的变化，包括视角、时间、几何和模态等差异 ^［1］，如图1所示。其中，多模态遥感图像之间的模态差异以及噪声干扰给多模态遥感图像配准带来了极大的挑战，如何弱化模态间的差异和抑制图像噪声以建立正确特征对应关系，是图像配准任务的重点。

目前，多模态遥感图像配准方法主要可划分为基于灰度、基于特征和基于学习的方法。其中， 基于灰度的方法根据图像灰度信息，利用相似性度量计算模板窗口和搜索区域之间的相似性，寻找最优对应区域，以建立匹配关系。该类配准方法中常用的相似性度量包括互信息和归一化互相关等。但基于灰度的方法计算量较大，且受图像间的灰度变化和几何形变的影响，易陷入局部极值^［2］。由于多模态遥感图像数据集有限，基于学习的方法正处于逐步发展状态，对于复杂的多模态遥感图像配准的泛化性能有待提升。

相较于基于灰度和学习的方法，基于特征的方法通过建立图像之间共有特征的对应关系实现图像配准，因此对几何形变和非线性灰度差异具有更强的鲁棒性。其中，基于点特征的方法应用更加广泛。LI等^［3］基于相位一致性设计了一种新颖的最大索引图，有效提升了配准性能，但该方法忽略了图像尺度信息的重要性，然而，不同尺度的图像信息表达了不同层次的特征，对实现方法的几何不变性十分重要^［4］。在计算机视觉领域得到广泛应用的SIFT^［5］（Scale Invariant Feature Transform）方法，通过构建高斯差分金字塔检测极值点，利用尺度和位置信息精确定位和筛选特征点，并计算特征区域的梯度信息进行主方向分配和描述符构造。尽管SIFT表现出对光照、旋转以及尺度变化的不变性，但SIFT是针对单模态图像设计的配准方法，无法有效处理多模态遥感图像配准任务。虽然OS‑SIFT^［6］（Optical‑to‑SAR Scale Invariant Feature Transform）针对噪声问题对SIFT进行了优化，提高了其在光学⁃SAR图像配准的精度，但基于梯度信息的本质特性难以抵抗多模态遥感图像中非线性灰度差异的干扰。

传统多模态遥感图像配准方法受图像噪声和非线性灰度差异的影响，提取的特征点重复率低，同时构建的描述符显著性差，大大影响了方法的配准精度。研究者发现多模态遥感图像之间存在相似的结构信息，提取图像之间稳定的结构特征可以有效降低配准任务中的模态差异和噪声干扰。传统基于高斯滤波的方法在一定程度上能够有效抑制噪声，但同时不可避免地会带来相同程度的图像模糊，从而损失大量图像边缘细节。FAN等^［7］采用非线性扩散滤波构造图像尺度空间，旨在抑制噪声并保留边缘细节，深度挖掘图像内的结构信息。同样，YAO等^［8］提出了一种新颖的共现滤波空间匹配（Co⁃occurrence Filter Space Matching，CoFSM）方法，并利用Sobel算子对梯度的计算进行改进，用于后续特征点提取和描述符生成，在多种遥感图像的配准任务中展现了良好的效果。然而，梯度信息对多模态遥感图像中的非线性灰度差异和对比度变化十分敏感，难以有效地描述图像中的稳定特征。ZHANG等^［9］利用对灰度变化和对比度变化不敏感的相位一致性信息，建立了一种新颖的加权相位方向直方图，用于生成鲁棒的特征描述向量。FAN等^［10］提出了一种自适应描述符结构，将不同尺度下的相位一致性信息进行编码，从而提高对几何形变和非线性灰度差异的鲁棒性。这些方法为多模态遥感图像配准提供了新的解决方案，但在抑制图像噪声和保持边缘细节方面仍存在局限性。

针对上述问题，本文提出了一种融合相对全变分^［11］和相位一致性的多模态遥感图像配准方法。通过引入相对全变分，有效滤除多模态遥感图像间的纹理信息和噪声，弱化多模态遥感图像间的模态差异，保留图像稳定的结构信息，构建尺度空间，以提取可靠的特征点。鉴于相位一致性对非线性灰度差异具有鲁棒性的优点，基于相对全变分尺度空间对特征区域的相位一致性信息进行编码，生成鲁棒的特征描述符精准描述特征点，从而提升多模态遥感图像的配准性能。

1 多模态遥感图像配准方法

本文方法的具体流程如图2所示。首先，采用相对全变分模型为输入图像提取结构图，构造尺度空间。其次，计算相位一致性最大矩图，在最大矩图上执行FAST（Features from Accelerated Segment Test）检测算子提取数量充足的特征点。然后，根据图像的相位一致性信息为每个特征点分配主方向，并构建相位一致性方向直方图形成特征描述符。最后，采用最近邻距离比和快速样本一致性，完成特征匹配和误匹配点滤除。

1.1 相对全变分尺度空间构造

全变分模型根据最小化能量泛函思想，引入约束条件进行建模，通过求解该优化问题获得最优解，从而达到抑制噪声的目的。不同于高斯平滑和中值滤波去噪，全变分模型在去除图像噪声的同时可以保留图像边缘信息。相对全变分模型是对全变分模型的一种扩展，通过重新设计正则化约束项，进一步增强对结构信息的判别，进而从图像中去除噪声和纹理，以保留结构特征。相对全变分模型可表示为：

\mathrm{a}\mathrm{r}\mathrm{g}\underset{S}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum _p\left\{(S_p-I_p{)}^{\mathrm{2}}+\lambda ·\mathrm{R}\mathrm{T}\mathrm{V}(p)\right\},（1）

式中：I表示输入图像；S表示对应的结构图；p表示像素的空间位置；λ表示正则化约束项的权重；\mathrm{R}\mathrm{T}\mathrm{V}(p)是为了在去除纹理成分的同时保留结构成分，表达式为：

RTV(p)=\frac{g_{\sigma }*\left|{\partial }_{x}S\right|}{\left|g_{\sigma }*{\partial }_{x}S\right|+\epsilon }+\frac{g_{\sigma }*\left|{\partial }_{y}S\right|}{\left|g_{\sigma }*{\partial }_{y}S\right|+\epsilon },(2)

式中：g_{\mathrm{\sigma }}表示标准差为σ的加权函数，{\partial }_{\mathrm{x}}和{\partial }_{\mathrm{y}}表示沿x和y方向的偏导数，ε是一个避免分母为0极小的数，*表示卷积算子。

相较于单一尺度图像，不同尺度下的图像包含结构信息更加丰富，为充分挖掘图像的结构信息，本文设计了一种基于相对全变分的尺度空间。相对全变分模型的性能主要依赖于模型中权重λ和标准差σ。其中，λ控制结构图的平滑程度，增加该值会模糊图像结构；σ控制计算窗口的大小，增加该值会加强抑制纹理的能力。因此，通过调整λ和σ构建多尺度结构图：

S_{\mathrm{l}}=\mathrm{R}\mathrm{T}\mathrm{V}(I,{\lambda }_{\mathrm{l}},{\sigma }_{\mathrm{l}}),l=\mathrm{0,1},\dots ,L-\mathrm{1},(3)

式中：S_{\mathrm{l}}表示第l层的结构图，L表示层数，{\lambda }_{\mathrm{l}}和{\sigma }_{\mathrm{l}}表示计算第l层结构图中的参数。鉴于参数λ和σ在模型中的作用，固定λ的值，σ的取值满足：

{\sigma }_{\mathrm{l}}={\sigma }_{\mathrm{0}}·\sqrt[\mathrm{3}]{{\mathrm{2}}^l},l=\mathrm{0,1},\dots ,L-\mathrm{1},(4)

式中：参数的初始值可根据实际情况进行调整，通过大量实验，设置\lambda =\mathrm{0.01},{\sigma }_{\mathrm{0}}=\mathrm{1.2}。通过调整σ的取值获得多尺度结构图，并执行二倍下采样，构建不同分辨率的结构图像组，从而形成相对全变分尺度空间。

1.2 特征点提取

多模态遥感图像之间存在严重的非线性灰度差异，基于灰度的传统特征检测算子难以提取可靠的特征点。相位一致性因对非线性灰度变化具有鲁棒性，而广泛应用于图像配准的特征提取和特征描述，但不可忽视的问题是相位一致性对噪声十分敏感。而相对全变分模型具有出色的噪声抑制能力，因此将相对全变分和相位一致性结合，可以充分利用两者的优势，提高特征检测的准确性和特征描述的显著性。

文献［3］通过对图像的相位一致性最大矩图执行FAST检测算子以提取边缘特征，对最小矩图执行局部极大值检测以提取角点特征，有效提高了特征点的数量和重复率。文献［12］指出，相位一致性最大矩图中的边缘特征包含了同一图像最小矩图中的角点特征。受此启发，仅提取相位一致性最大矩图的边缘特征，以减少计算量，提高处理速度。相较于图像的角点特征，图像的边缘特征数量比较充足，但在多模态遥感图像中重复率较低，且特征点分布不均匀。为缓解该问题，在FAST算子检测边缘特征的过程中，引入非极大值抑制策略，提高特征点的重复率，同时提高后续特征匹配的效率。为实现方法的尺度不变性，首先计算多尺度相对全变分结构图的相位一致性最大矩图，然后执行FAST检测算子提取特征点。相位一致性最大矩图可根据下式计算：

\begin{array}{l}M=\frac{\mathrm{1}}{\mathrm{2}}(a+c+\sqrt[]{b^{\mathrm{2}}+{(a-c)}^{\mathrm{2}}}),\\ a=\sum _o(\mathrm{P}\mathrm{C}({\theta }_o)\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_o{))}^{\mathrm{2}},\\ b=\mathrm{2}\sum _o(\mathrm{P}\mathrm{C}({\theta }_o)\mathrm{c}\mathrm{o}\mathrm{s}({\theta }_o))·(\mathrm{P}\mathrm{C}({\theta }_o)\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_o)),\\ c=\sum _o(\mathrm{P}\mathrm{C}({\theta }_o)\mathrm{s}\mathrm{i}\mathrm{n}({\theta }_o{))}^{\mathrm{2}},\end{array}(5)

式中：\mathrm{P}\mathrm{C}({\theta }_o)表示相位一致性在方向o上的幅值。

1.3 相位一致性特征描述符构建

为实现描述符的旋转不变性，需要在构造描述符之前为每个特征点分配主方向。具体地，以每个特征点为中心，计算特征点周围的圆形特征区域的相位一致性方向和幅值，并结合高斯加权策略统计相位一致性方向直方图。其中，相位一致性方向的计算如下：

\left\{\begin{array}{l}O(x,y)=\mathrm{a}\mathrm{r}\mathrm{c}\mathrm{t}\mathrm{a}\mathrm{n}(v(x,y),h(x,y)),\\ v(x,y)=\sum _{\theta }(o_{so}(\theta )\mathrm{s}\mathrm{i}\mathrm{n}(\theta )),\\ h(x,y)=\sum _{\theta }(o_{so}(\theta )\mathrm{c}\mathrm{o}\mathrm{s}(\theta )),\end{array}\right.(6)

式中：o_{so}(\theta )表示Log⁃Gabor奇对称滤波器在方向θ上的卷积结果。为避免梯度反转，精准计算特征区域的主方向，将主方向的范围设置为［0°，180°］，方向直方图包含18个方向，每个方向包含10°。将相位一致性方向直方图中峰值处对应的方向设为特征点主方向，并将特征区域旋转到主方向上。

采用结构稳定的类GLOH（Gradient Location and Orientation Histogram）^［13］结构描述特征点，将特征区域划分为3个不同半径的同心圆，按照角度将外围2个环形区域均匀划分为8个方向区间，共获得17个图像子区域。与GLOH描述符不同的是，本文基于相对全变分尺度空间统计每个子区域的相位一致性方向直方图。综合考虑各方面的性能，为每个子区域计算一个8维相位一致性方向直方图，最终将其合并为一个136维的特征向量，形成描述符。

1.4 特征匹配

首先，采用最近邻距离比算子，计算描述符之间的相似性，进行图像间的特征点匹配。然后，采用快速采样一致性，去除原始匹配点对中的误匹配点对，避免对后续转换模型计算的干扰，提高配准参数的准确性。

2 实验结果与分析

为验证所提方法的配准性能，在3种不同类型的多模态遥感图像数据集上进行实验，并与具有旋转不变性的RIFT^［3］和CoFSM^［7］两个先进方法进行比较。为定量评价方法的性能，采用图像配准方法中常用的两个评价指标：均方根误差（Root Mean Square Error， RMSE）和正确匹配点数（Number of Correct Matches， NCM）。

2.1 实验数据

使用包含不同场景的多模态数据集对本文方法进行评估，包括光学⁃激光雷达图像数据集（D1）、光学⁃SAR图像数据集（D2）和光学⁃红外图像数据集（D3）。每个数据集包含15对图像，所有图像对均存在显著的非线性灰度差异。除此之外，D2和D3数据集中的图像对还存在不同程度的旋转差异和尺度差异。

2.2 实验结果

为了验证本文配准方法的有效性和适用性，将CoFSM、RIFT作为对比方法和本文方法在上述3个多模态遥感数据集上进行实验，对比方法的参数遵从原论文的设置。表1展示了3种方法分别在D1、D2和D3上的平均实验结果，表2根据表1计算了3种方法在所有数据集上的平均NCM和RMSE。其中，平均NCM越大，平均RMSE越小，表示方法性能越好。

对表1和表2进行分析，相较于其他两种方法， RIFT的总体性能在所有数据集上表现较差。RIFT是利用相位一致性构建的，善于应对多模态遥感图像间显著的非线性灰度差异问题，在处理具有显著非线性灰度差异的D1数据表现较好，正确匹配点数为578个，RMSE为1.90像素。由于特殊的计算方式，相位一致性对噪声的敏感度相对较高，考虑到D2数据集中的SAR图像含有严重的斑点噪声，RIFT在处理SAR图像时会受到较大影响。此外，RIFT对几何形变的鲁棒性相对较弱，因此对存在噪声和几何变化的D2和D3数据集表现较差。

CoFSM方法采用共现滤波器构建尺度空间，在一定程度上避免了因图像模糊而损失图像边缘特征的问题，在实验中表现较好，并利用优化后的图像梯度在尺度空间中充分提取了大量的特征点。该方法在D1和D3数据集上分别获得了872和403个正确匹配点数，而在包含SAR图像的D2数据集上获得了132个正确匹配点数，这是受SAR图像中散斑噪声的影响，提取的特征点稳定性较弱，从而影响配准精度。

从总体来看，本文方法在3个多模态遥感数据集上表现最好，取得了最小的均方根误差，实现了图像的精准配准。图3详细展示了本文方法在3类不同模态数据集中1对图像的特征匹配结果。图3（a）和图3（b）覆盖了城市及周边区域，包含道路、房屋和公园；图3（c）覆盖了河流和山区，所有图像对均存在显著的非线性灰度差异，其中，图3（b）和图3（c）存在明显的尺度和旋转变化。如图3所示，本文方法正确匹配点数充足，匹配点分布均匀，均取得了满意的配准结果，说明本文方法能够有效克服几何形变、模态差异和噪声干扰。通过对比和实验分析，证明了本文方法在多模态遥感图像配准任务中的优异性能，也进一步验证了其在实际应用场景中的广泛适用性和可靠性。

3 结论

针对复杂的多模态遥感图像配准任务，通过结合相对全变分在噪声抑制和结构保留方面的优势，以及相位一致性对非线性灰度差异具有鲁棒性的优势，提出了一种融合相对全变分和相位一致性的多模态遥感图像配准方法。首先，对于存在明显模态差异和噪声的多模态遥感图像，采用相对全变分模型提取多尺度结构图构造尺度空间。然后，利用相位一致性在相对全变分尺度空间中提取可靠的特征点和显著的特征描述符。最后，利用最近邻距离比和快速采样一致性匹配特征点对。为验证本文方法的效果，在3种不同类型的数据集上进行实验，并与2个先进的方法进行对比。实验结果表明，本文所提方法对模态差异和噪声的鲁棒性更强，有效提升了多模态遥感图像的配准性能。

参考文献

[1] FAN Jianwei， WU Yan， LI Ming， et al. SAR and optical image registration using nonlinear diffusion and phase congruency structural descriptor［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（9）： 5368⁃5379.

[2] 李东宸， 向文豪， 党倩楠， 等. 均匀分布与结构描述ASIFT相结合的SAR与可见光图像配准算法［J］. 测绘学报， 2020， 49（12）： 1583⁃1590.

[3] LI Dongchen， XIANG Wenhao， DANG Qiannan， et al. SAR and optical images registration using uniform distribution and structure description⁃based ASIFT［J］. Acta Geodaetica et Cartographica Sinica， 2020， 49（12）： 1583⁃1590.

[4] LI Jiayuan， HU Qingwu， AI Mingyao. RIFT： Multi⁃modal image matching based on radiation⁃variation insensitive feature transform［J］. IEEE Transactions on Image Processing， 2020， 29： 3296⁃3310.

[5] FAN Jianwei， XIONG Qing， YE Yuanxin， et al. Combining phase congruency and self‑similarity features for multimodal remote sensing image matching［J］. IEEE Geoscience and Remote Sensing Letters， 2023， 20： 1⁃5.

[6] LOWE D G. Distinctive image features from scale⁃invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91⁃110.

[7] XIANG Yuming， WANG Feng， YOU Hongjian. OS⁃SIFT： A robust SIFT⁃like algorithm for high⁃resolution optical⁃to⁃SAR image registration in suburban areas［J］. IEEE Transactions on Geoscience and Remote Sensing， 2018， 56（6）： 3078⁃3090.

[8] FAN Jianwei， YE Yuanxin， LIU Guichi， et al. Phase congruency order⁃based local structural feature for SAR and optical image matching［J］. IEEE Geoscience and Remote Sensing Letters， 2022， 19： 1⁃5.

[9] YAO Yongxiang， ZHANG Yongjun， WAN Yi， et al. Multi‑modal remote sensing image matching considering co‑occurrence filter［J］. IEEE Transactions on Image Processing， 2022， 31： 2584⁃2597.

[10] ZHANG Yongjun， YAO Yongxiang， WAN Yi， et al. Histogram of the orientation of the weighted phase descriptor for multi⁃modal remote sensing image matching［J］. ISPRS Journal of Photogrammetry and Remote Sensing， 2023， 196： 1⁃15.

[11] FAN Jianwei， YE Yuanxin， LI Jian， et al. A novel multiscale adaptive binning phase congruency feature for SAR and optical image registration［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1⁃16.

[12] XU Li， YAN Qiong， XIA Yang， et al. Structure extraction from texture via relative total variation［J］. ACM Transactions on Graphics， 2012， 31（6）： 139.

[13] KOVESI P. Phase congruency detects corners and edges［C］//Digital Image Computing： Techniques and Applications 2003， Sydney， 2003： 309⁃318.

[14] GAO Chenzhong， LI Wei， TAO Ran， et al. MS⁃HLMO： Multiscale histogram of local main orientation for remote sensing image registration［J］. IEEE Transactions on Geoscience and Remote Sensing， 2022， 60： 1⁃14.

基金资助

国家自然科学基金项目(62002307)

河南省高等学校重点科研项目(25A520005)

信阳师范大学大学生科研基金项目(2024⁃DXS⁃137)