基于渐进递归的生成对抗单幅图像去雨算法

Progressive recursive generative adversarial network-based single-image rain removal algorithm

摘要

为了解决传统生成对抗网络（GAN）在去雨问题中因网络容量不均衡而表现不佳的问题，提出了一种基于渐进递归的生成对抗单幅图像去雨算法。该方法采用了渐进递归模块生成器和多尺度特征模块鉴别器，旨在提高生成器效率并增强鉴别能力。渐进递归模块通过融合多尺度特征并构建渐进递归结构，不仅减轻了网络参数的负担，也提高了生成器的效率。与此同时，多尺度特征模块有助于鉴别器从局部和全局两个层面提取特征，从而增强了其鉴别能力。实验结果表明：相较于现有算法，本文算法在Rain100L数据集上峰值信噪比（PSNR）和结构相似性（SSIM）指标提高了1.11%和1.16%；在Rain100H数据集上将指标分别提高了3.28%和1.01%；在真实数据集上，本文算法在去雨任务中表现出色，成功地保留了大部分细节特征。这些实验结果充分验证了本文算法的有效性和鲁棒性。

Abstract

To address the issue of traditional GAN networks underperforming in single-image rain removal due to imbalanced network capacity， this article introduces a progressive recursive generative adversarial algorithm for this task. This method employs a progressive recursive module generator and a multi-scale feature module discriminator， aiming to enhance the efficiency of the generator and bolster the discriminator's capability. The progressive recursive module， by merging multi-scale features and constructing a progressive recursive structure， not only reduces the burden of network parameters but also elevates the generator's efficiency. Concurrently， the multi-scale feature module aids the discriminator in extracting features at both local and global levels， thereby amplifying its discriminative power. Experimental results indicate that， compared to existing algorithms， our method achieves a peak signal-to-noise ratio （PSNR） and a structural similarity index measure （SSIM） were improved by 1.11% and 1.16% on the Rain100L dataset. On the Rain100H dataset， these metrics were improved by 3.28% and 1.01%， respectively. On real-world datasets， our algorithm excels in rain removal， successfully preserving the majority of detailed features. These experimental outcomes thoroughly verify the effectiveness and robustness of our proposed algorithm.

Graphical abstract

关键词

计算机视觉 / 图像去雨 / 多尺度 / 生成对抗网络 / 渐进递归

Key words

computer version / image rain removal / multi-scale / generative adversarial networks / progressive recursive

0 引　言

在自然环境下，由于天气的变化和复杂性，图像经常会受到降雨等气象条件的影响，导致质量下降。然而在许多实际场景中，需要得到清晰、高质量的图像以进行后续处理和分析。因此，图像去雨研究对目标检测^［1，2］、目标追踪^［3，4］等具有重要意义。图像去雨算法有视频去雨^［5，6］和单幅图像去雨两种形式，其中单幅图像去雨技术主要是通过对含有雨滴的图像进行分析，找到雨滴的位置和形状等信息，对图像进行雨痕去除处理，消除雨天拍摄的图像中雨滴、水滴和水雾等噪声，从而提高图像的质量和清晰度，最终得到去除雨滴痕迹的清晰图像。该技术在交通监控、自动驾驶、无人机拍摄、数字图像处理等领域有着广泛的应用。因此，作为计算机视觉研究的重点之一^［7］，单幅图像去雨技术的研究和应用具有重要的实际意义。由于雨天图像的复杂性和不确定性，所以单幅图像去雨依然存在许多挑战和困难。

单幅图像去雨技术主要分为两种类型：基于物理模型^［8-10］的方法和基于数据驱动^［11-15］的方法。基于物理模型的方法通常利用物理模型对雨滴在图像中的成像过程进行建模，然后通过反演过程估计出原始图像，这种方法通常需要对图像的物理特性和环境进行详细的分析和建模；基于数据驱动的方法则是利用机器学习等技术，采用基于卷积神经网络（CNN）^［11］，基于循环神经网络（RNN）的方法、注意力机制（Attention）^［12］和残差网络（ResNet）、生成对抗网络（GAN）^［13］等技术，从大量的图像数据中自主学习去雨模型得到了良好的效果。

然而，随着深度网络去雨性能的提高，它们的结构和学习变得越来越复杂和多样化，生成对抗网络拥有良好的博弈特性，可以在单幅图像去雨方面取得良好的效果。在使用生成对抗网络时，生成器复杂的网络容量不利于训练并产生更高效的结果，同时传统的鉴别器无法从局部和全局进行鉴别，起到良好的鉴别效果。

为了解决上述问题，本文提出了一种渐进递归的多尺度生成对抗网络。利用跨阶段的深度特征依赖性，在生成器中采用不同大小的卷积核提取不同尺度的特征，并结合卷积长短期记忆（LSTM）的经验优势进行图像去雨处理。通过多个递归模块的组合，使模型在去雨效果上表现更出色。为了提高鉴别器的性能，提出多尺度特征鉴别器，通过多尺度捕获分层上下文信息，以获取更多图像细节。生成器与鉴别器的博弈性质增强了模型的图像去雨性能，使该网络可以在单幅图像去雨方面获得良好的效果。

1 相关工作

随着科学技术的发展，计算机视觉领域技术的不断进步，单幅图像去雨算法的应用范围也越来越广泛。近年来，深度学习方法在图像处理领域取得了显著成果。Fu等^［15］提出了一种深度细节网络，去除高频雨纹，但去雨后图像易丢失细节信息，且缺乏多尺度信息，限制了算法去雨效果；Yang等^［16］提出了一种多任务的联合检测和去除的去雨网络，通过将雨滴检测和去雨过程相结合，实现自动化去雨，但该方法可能导致无雨区域过度平滑；Zhang等^［17］提出了基于密度引导的去雨网络，主要由一个残差感知的雨密度分类器和一个多流密集连接的去雨网络组成，对暴雨情况下的雨水堆积有较好的去除效果，但容易出现细节模糊；Li等^［18］提出了一种使用循环压缩和激励上下文聚合网络的去雨网络，逐阶段去雨，每一个阶段采用上下文扩张网络完成去雨工作，逐步去除雨纹；Ren等^［19］设计了一种简单残差网络构建的多阶段去雨网络，去雨后会出现伪影和细节丢失；Jiang等^［20］结合金字塔结构、信道注意力机制提出对不同尺度雨纹渐进融合，但部分图像会出现过度去雨的现象。GAN网络是基于生成器和鉴别器的相互博弈特性，以获取理想效果。随着GAN网络在计算机视觉领域的探索加深，逐步将GAN网络用于单幅图像去雨。Zhang等^［11］提出基于生成对抗网络的去雨网络，但去雨后的图像不够自然；Wei等^［13］提出基于CycleGAN改进的DerainCycleGAN进行去雨，但去雨过程中无法完全保留原始图像中的细微纹理和细节，导致质量损失；Kupyn等^［21］提出一种端到端的生成对抗网络用于图像去模糊，在图像去雨方面也可以取得一定的效果。

在生成对抗网络中，生成器模型的复杂性需要在训练稳定性、数据复杂性和计算资源之间进行平衡，而生成器与鉴别器之间存在博弈关系，生成器与鉴别器网络容量也需要相互匹配。在图像去雨算法中，对多尺度的把握和细节的重视在去雨效果中会产生重要的影响。因此，本文提出了一种新的生成对抗单幅图像去雨算法，在生成器中设计了可提取多尺度特征的渐进递归模块，使用多个阶段解决问题，在每个阶段使用递归运算，参数共享，在不增加网络参数的情况下，取得良好的图像去雨效果。在鉴别器中设计了多尺度特征鉴别器，从多个尺度获取细节信息并融合上下文信息，加强从局部到全文的鉴别能力，使去雨图像能够获取更好的视觉效果。

2 本文算法

为了确保生成对抗网络训练的稳定性和有效性，生成器和鉴别器的网络容量需要相互匹配^［14］。如果生成器过于强大而鉴别器较弱，会导致生成器过度拟合数据分布，从而造成训练不稳定。相反，如果鉴别器过于强大而生成器较弱，鉴别器容易判别生成的样本，使生成器无法有效学习。因此，生成器和鉴别器的网络容量匹配至关重要。

本文提出了一种基于渐进递归的多尺度生成对抗网络（Progressive recursive multiscale generative adversarial network，PRMGAN），网络总体结构如图1所示。生成器中引入了渐进递归模块（Progressive recurrent block，PRB），该模块利用LSTM模块的记忆功能，将历史特征和输入信息同时输入网络，有选择地保留所需特征，从而降低网络的复杂性，减少计算量。鉴别器中引入了多尺度特征模块（Multi-scale feature block，MFB），通过使用具有不同大小卷积核的卷积提取特征，将不同尺度的特征汇集起来，并将全局上下文信息合并到鉴别器中，从而使网络能够更全面地理解图像的语义信息。同时，这种多尺度设计能够有效改善因图像尺寸变化而引起的信息丢失问题，提高网络的鲁棒性和泛化能力。

2.1　渐进递归模块

通常简单的深度网络难以有效去除雨天图像中的雨痕。在GAN网络生成器中，解决去雨问题的方法不是设计更深、更复杂的网络，而是采用多阶段解决方案，可以采取堆叠多个不同结构的子网络，但这样会增加网络参数并增加过拟合的风险。相比之下，本文提出的渐进递归模块PRB，共享相同的卷积和LSTM参数，通过内部循环计算，在不增加网络参数的同时，实现较好的去雨效果。其中包含一个循环层，通过它可以传播跨阶段的特征依赖关系以促进雨水条纹的去除，具体网络结构如图2所示。

渐进递归模块是一个残差连接块，主要由两部分组成：多尺度卷积模块和LSTM模块。其中，多尺度卷积模块用于提取特征，LSTM模块用于对特征进行时间序列建模。

具体来说，多尺度卷积模块结构如图3所示，包含了多个空洞卷积，空洞率分别为1、2、3，用来捕捉不同层次的图像细节和特征，并循环迭代，进一步增强网络的表达能力。每次迭代，将原始图与前一次特征图相融合作为下一次的输入，提取更多层次的特征，并逐渐增强对图像的理解和表示能力。重复模块的堆叠可以逐渐扩大感受野范围，并对更全局的图像结构进行建模。每个卷积操作后都会进行归一化和激活。为了增强模块的泛化能力，在归一化操作之后加入随机失活层，以防止过拟合。残差连接通过将卷积层的输出与模块的输入相加，实现重要图像特征的保留。LSTM模块被用于处理多尺度特征提取模块的输出。通过将多尺度特征提取模块的输出与前一个时间步骤的LSTM输出结合，LSTM模块有助于在每次迭代中对生成器的输出进行修正和细化，该方法促进了信息流动，并在训练过程中避免梯度消失问题。

在渐进递归模块内反复迭代相同结构且共享参数的多尺度卷积，可以逐渐增加模型的深度和复杂性，同时仅对模块内部的特定局部信息进行处理。通过对局部层次的添加，采用内部的循环计算，而非整体网络的复制，不会引入额外参数，模型能够逐渐学习更复杂的特征表示，因此，在不增加网络参数的前提下，可以达到较好的去雨效果。

渐进递归模块构建过程如算法1所示。它的公式表示为：

O=X+

{\displaystyle \sum _{i=\mathrm{1}}^N}\left(\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}\left(\mathrm{N}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{a}\mathrm{l}\mathrm{i}\mathrm{z}\mathrm{e}\left[P\left(C\right)+P\right]\right)+L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}\right)（1）

式中：X为输入特征图；O为输出特征图；N为循环次数，即渐进递归模块堆叠次数，本文算法中取N=4，详见3.4节；C为卷积操作；P为填充操作；L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}为前一次迭代LSTM输出特征图。C、P具体表示为：

\left\{\begin{array}{l}C=C_{\mathrm{3}}\left(P_{\mathrm{1}}\left(O\right)\right)\\ P=\sum _{d\in \mathrm{1,2},\mathrm{3}}P\left(C_d\left(P_d\left(O\right)\right)\right)\end{array}\right.（2）

递归模块构建算法中，X和O分别为输入输出特征图，L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}为前一次LSTM输出特征图，C_n表示卷积和为n×n的卷积，C_d表示空洞率为d的空洞卷积。构建算法中进行了初始化、迭代和残差连接3个步骤。初始化步骤中，输入特征图X被赋值给输出特征图O，并将LSTM输出图L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}置为空。

算法1　渐进递归模块算法

输入：输入特征图X

输出：输出特征图O

1：O←X

2：{\mathrm{L}}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}←∅

3：递归模块循环N次

4：多尺度模块:

5：　B←卷积+填充

6：　空洞率d取1，2，3

7：　B←B+空洞卷积+填充

8：　归一化与激活函数：

9：　B←归一化

10： B←ReLU激活

11： 形状变换:

12： B←形状变换(B)

13：LSTM输入融合：

14： 当{\mathrm{L}}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}不为空时

15： B←融合(B,{\mathrm{L}}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}})

16：LSTM输出:

17： B,L←LSTM(B)

18： {\mathrm{L}}_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}←L

19： 形状变换:

20： B←形状变换(B)

21：输出更新:

22： O←O+B

23：残差计算：

24： O←O+X

25：输出：O

利用不同大小的空洞率C_d（d取1、2、3），对输入特征图O进行卷积操作并与结果B相加，得到更新后的B。最后对B进行归一化和ReLU激活函数操作。在形状变换步骤中，输出B进行形状变换，与L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}拼接后经过LSTM模块计算得到更新后的B和当前迭代步骤的LSTM输出L_{}，并将L_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{v}}更新为L。再次进行形状变换步骤，将输出特征图B进行形状变换。最后，在残差连接步骤中，将原始特征图X加到输出特征图O上，得到最终的输出特征图O。

2.2　多尺度特征鉴别器

本文改进了一个鉴别器子网络，以增强其捕捉本地和全局信息的能力。文献［22］证明了有效使用补丁鉴别器能够产生高质量的结果。文献［22］采用了一个尺寸为70×70的补丁鉴别器。虽然这种单一尺度的补丁鉴别器在视觉上能够产生令人满意的效果，但它无法捕捉到全局上下文信息，因此，在一些细节方面仍存在不完整的问题。这可能是因为鉴别器的感受野仅为70×70，未能提供额外的周围环境。因此，本文认为采用多尺度特征鉴别器能够更充分地获取所需的细节信息并融合上下文信息，从而更准确地判断图像的真实性。在本文的改进中，通过引入多尺度特征模块，可以同时关注局部细节和全局上下文，从而进一步提升鉴别器的性能。这一改进将有助于确保去除雨水对输入雨天图像的处理不仅在视觉上具有吸引力和与真实场景相似，还能有效提升鉴别器的鉴别能力，以产生更高质量的结果。

多尺度特征鉴别器中含有多个卷积层，卷积核为3×3，前3个卷积层作为整个鉴别器网络的基础，其后添加一个多尺度特征模块MFB，该模块用于增强模型的特征提取能力。随后，通过一个1×1的卷积层将特征图的通道数调整为1，最后添加一个激活函数进行输出的归一化，并得到最终的鉴别结果。模块结构如图4所示。

MFB模块采用了一种分层的结构，可以提取不同尺度的特征。整个MFB的设计遵循了金字塔式的结构，即从低层次的特征开始逐步升级到高层次的特征。首先，将1×1卷积层作为多尺度的特征提取层。同时，通过一系列3×3卷积层提取特征，对归一化层进行特征的归一化处理，并且通过激活函数引入非线性。随后，通过特征拼接的方式将不同层次的特征进行融合，以增加特征的多样性。最后，通过添加一个5×5的卷积层，可以进一步捕捉更广范围的上下文信息，提高模型对更大尺度特征的感知能力。

\begin{array}{l}{F}_{\mathrm{1}}^{\mathrm{1}\times \mathrm{1}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{1}\times \mathrm{1}}\left(F_{\mathrm{i}\mathrm{n}};{\theta }_{\mathrm{1}}^{\mathrm{1}\times \mathrm{1}}\right)\\ F_{\mathrm{2}}^{\mathrm{3}\times \mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left(F_{\mathrm{i}\mathrm{n}};{\theta }_{\mathrm{2}}^{\mathrm{3}\times \mathrm{3}}\right)\\ F_{\mathrm{3}}^{\mathrm{3}\times \mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left(F_{\mathrm{2}}^{\mathrm{3}\times \mathrm{3}};{\theta }_{\mathrm{3}}^{\mathrm{3}\times \mathrm{3}}\right)\end{array}

F_{\mathrm{4}}^{\mathrm{3}\times \mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left(\left(F_{\mathrm{1}}^{\mathrm{1}\times \mathrm{1}}+F_{\mathrm{3}}^{\mathrm{3}\times \mathrm{3}}\right);{\theta }_{\mathrm{4}}^{\mathrm{3}\times \mathrm{3}}\right)（3）

式中：F_{\alpha }^{\beta \times \beta }表示卷积核大小为\beta \times \beta的第\alpha个卷积；\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{n\times n}\left(\cdot \right)为卷积运算；{\theta }_{\alpha }^{\beta \times \beta }表示卷积核为\beta \times \beta的第\alpha个卷积形成的超参数，在Conv4进行第一次卷积核1×1与3×3的张量拼接融合。

\begin{array}{l}{F}_{\mathrm{5}}^{\mathrm{3}\times \mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left(F_{\mathrm{4}}^{\mathrm{3}\times \mathrm{3}};{\theta }_{\mathrm{5}}^{\mathrm{3}\times \mathrm{3}}\right)\\ F_{\mathrm{6}}^{\mathrm{3}\times \mathrm{3}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}\left(\left(F_{\mathrm{1}}^{\mathrm{1}\times \mathrm{1}}+F_{\mathrm{3}}^{\mathrm{3}\times \mathrm{3}}+F_{\mathrm{5}}^{\mathrm{3}\times \mathrm{3}}\right);{\theta }_{\mathrm{6}}^{\mathrm{3}\times \mathrm{3}}\right)\end{array}（4）

Conv6进行了第二次卷积核1×1与3×3的张量拼接融合。进一步融合了特征信息。

F_{\mathrm{7}}^{\mathrm{5}\times \mathrm{5}}=\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{5}\times \mathrm{5}}\left(F_{\mathrm{6}}^{\mathrm{3}\times \mathrm{3}};{\theta }_{\mathrm{7}}^{\mathrm{5}\times \mathrm{5}}\right)（5）

在Conv7中进行了独立的卷积操作，引入更大感受野的卷积核，用来捕捉更广泛的上下文信息，并进一步提取特征。

整个模块的设计思想是通过多层卷积和特征拼接，逐步提取和融合不同尺度的特征，以获取更丰富和有表达力的特征表示。通过引入不同大小的卷积核和特征拼接，MFB能够捕捉到图像中的细节和全局信息，从而提高模型对图像内容的理解能力。整体而言，MFB是一种结合了多尺度特征和特征融合的模块，用于鉴别器对图像内容的建模能力。它的设计灵感来源于人类视觉系统对图像的多层次解析和综合，通过逐步提取和融合不同尺度的特征，能够更好地适应不同尺度和复杂度的视觉任务，从而提高模型的性能和鲁棒性。

2.3　雨图像模型

本文引用的雨图像模型如下：

I=B+R（6）

式中：I为有雨图像；B为背景图像；R为雨纹。从有雨图像I中减去雨纹R可以得到背景图像B。本文模型对式（7）进行了详细的分解，具体如下：

I=B{}_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}{}^{}+R_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}（7）

\widehat{R}={\mathrm{G}}_{{\theta }_{\mathrm{G}}}(I)=\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{P}\mathrm{R}\mathrm{B},

\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{e},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{p}\mathrm{o}\mathrm{s}\mathrm{e},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}\}（8）

B_{\mathrm{g}\mathrm{e}\mathrm{n}}=I-\widehat{R}（9）

\mathrm{D}\left(B_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}\right)=\sum _{\alpha \in B_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}}{\mathrm{D}}_{\mathrm{r}\mathrm{e}\mathrm{a}\mathrm{l}}(\mathrm{\alpha })=\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},

\mathrm{M}\mathrm{F}\mathrm{B},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\}（10）

{\mathrm{D}}_{{\theta }_{\mathrm{D}}}(B_{\mathrm{g}\mathrm{e}\mathrm{n}})=\sum _{\beta \in \widehat{B}}{{\mathrm{D}}_{{\mathrm{\theta }}_{\mathrm{D}}}}_{\mathrm{g}\mathrm{e}\mathrm{n}}(\beta )=\{\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},

\mathrm{M}\mathrm{F}\mathrm{B},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v},\mathrm{S}\mathrm{i}\mathrm{g}\mathrm{m}\mathrm{o}\mathrm{i}\mathrm{d}\}（11）

式中：\widehat{R}为被估计出的雨纹；B_{\mathrm{g}\mathrm{e}\mathrm{n}}为生成器所生成的背景图像；G_{{\theta }_{\mathrm{G}}}为生成器；D_{{\theta }_{\mathrm{D}}}为鉴别器。通过生成器，模型学习了如何去除雨纹，得到了估计出的雨纹图像，并通过对有雨图像减去估计的雨纹得到了估计的背景图像。判别器分别对真实背景图像和估计背景图像进行判断，输出判断结果。

本文研究从背景图像和雨纹两方面出发，为了有效地去除雨纹，从而实现对雨纹的增强和重建。除了处理雨纹，本文还在鉴别器中采用了多尺度特征鉴别器以加强对背景图像的细节和上下文信息的把控。通过引入多尺度鉴别器，模型可以同时关注不同尺度下的图像特征，从而更全面地理解背景图像的细节，并确保在去除雨纹的过程中不会丢失重要的上下文信息。通过将生成器和鉴别器中的这些模块有机结合起来，模型可以实现对雨天图像的修复和增强，同时确保生成的图像在局部和细节上能够保持真实性。

2.4　损失函数

本文损失函数选用了文献［21］提出的由内容损失和对抗性损失的组合：

L_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\alpha L_C+\beta L_{\mathrm{a}\mathrm{d}\mathrm{v}}（12）

式中：L_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}为总体损失；\alpha、\beta为权重参数。参考文献［21］并加以实验，本文选用\alpha =\mathrm{100},\beta =\mathrm{10}，详见3.4节。内容损失L_{\mathrm{C}}和对抗损失L_{\mathrm{a}\mathrm{d}\mathrm{v}}可以表示为：

L_{\mathrm{C}}=\frac{\mathrm{1}}{W_{i,j}{H}_{i,j}}{\displaystyle \sum _{x=\mathrm{1}}^{W_{i,j}}}{\displaystyle \sum _{y=\mathrm{1}}^{H_{i,j}}}\left({\varphi }_{i,j}{\left(I^N\right)}_{x,y}-\right.

{\left.{\varphi }_{i,j}{\left({\mathrm{G}}_{{\theta }_{\mathrm{G}}}\left(I^R\right)\right)}_{x,y}\right)}^{\mathrm{2}}（13）

式中：{\varphi }_{i,j}为VGG19中第i块第j层输出的特征图；I^N为无雨图像；I^R为雨水图像；G_{{\theta }_{\mathrm{G}}}为生成器。

L_{\mathrm{a}\mathrm{d}\mathrm{v}}={\displaystyle \sum _{n=\mathrm{1}}^N}-{\mathrm{D}}_{{\theta }_{\mathrm{D}}}\left({\mathrm{G}}_{{\theta }_{\mathrm{G}}}\left(I^R\right)\right)（14）

式中：I^R为雨水图像；G_{{\theta }_{\mathrm{G}}}为生成器；D_{{\theta }_{\mathrm{D}}}为鉴别器。

这两种损失函数通常在生成对抗网络中被同时使用，以实现更好的图像生成效果。通过组合内容损失和对抗性损失，生成器网络可以在保持图像内容准确性的同时，产生逼真的图像。内容损失促使生成图像与真实图像在特征层面上匹配，而对抗性损失则推动生成图像的逼真度和多样性。通过优化这两个损失函数，生成器网络逐渐学习到生成与真实图像相似的高质量图像。

在训练过程中，生成器和鉴别器是交替优化的。生成器通过最小化内容损失和对抗性损失提升图像生成质量，而鉴别器通过最大化对抗性损失提高对生成图像和真实图像的鉴别能力。

内容损失和对抗性损失在生成对抗网络中起着不同的作用，共同促进生成器网络生成逼真的图像，并使鉴别器网络更好地区分生成图像和真实图像。

3 实验分析

3.1　实验环境与网络设置

使用Linux操作系统，计算机配置为Intel Xeon（R）CPU E5-2660V2 @2.20 GHz×40处理器，GeForce GTX2080Ti GPU，编程语言为Python3.7，使用Pytorch1.2搭建网络训练框架。网络训练在随机裁剪256×256大小的图像块上训练，在优化方面，在鉴别器进行5次梯度下降后在生成器进行1次梯度下降，使用ADAM作为梯度优化算法，学习率初始设置为10^-4，用于生成器和判别器，在前150个epoch之后，在接下来的150个epoch中线性地将学习率衰减为零。

3.2　评价指标

评价去雨算法的好坏可以用多个客观指标，主要包括结构相似性（SSIM）和峰值信噪比（PSNR）。其中，峰值信噪比用来评估经过处理后图像的品质，它可以量化去雨算法处理后的图像与原始图像之间的差异，PSNR值越高表示图像质量越好，单位为dB，计算公式为：

\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}\left(x,y\right)=\mathrm{10}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{10}}\left(\frac{R^{\mathrm{2}}}{\mathrm{M}\mathrm{S}\mathrm{E}\left(x,y\right)}\right)（15）

式中：x、y为需要比较的两幅图像；R为像素值的最大值，通常为225；MSE为均方误差，表示两幅图像在每个像素点上差异的平方的平均值。具体地，MSE的计算公式为：

\mathrm{M}\mathrm{S}\mathrm{E}\left(x,y\right)=\frac{\mathrm{1}}{MN}{\displaystyle \sum _{i=\mathrm{0}}^{M-\mathrm{1}}}{\displaystyle \sum _{j=\mathrm{0}}^{N-\mathrm{1}}}{[x\left(i,j\right)-y\left(i,j\right)]}^{\mathrm{2}}（16）

式中：M和N分别为图像的宽度和高度；x\left(i,j\right)和y\left(i,j\right)分别为两幅图像在第i行、第j列的像素值。

而SSIM是一种比PSNR更加准确的评价指标，它考虑了亮度、对比度和结构等方面，能够更加真实地反映图像重建质量，取值范围在0~1，当SSIM值为1时，表示两幅图像完全一致。其计算公式为：

\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}\left(x,y\right)=\frac{\left(\mathrm{2}{\mu }_x{\mu }_y+c_{\mathrm{1}}\right)\left(\mathrm{2}{\sigma }_{xy}+c_{\mathrm{2}}\right)}{\left({\mu }_x^{\mathrm{2}}+{\mu }_y^{\mathrm{2}}+c_{\mathrm{1}}\right)\left({\sigma }_x^{\mathrm{2}}+{\sigma }_y^{\mathrm{2}}+c_{\mathrm{2}}\right)}（17）

式中：{\mu }_x为x的均值；{\mu }_y为y的均值；{\sigma }_x^{\mathrm{2}}为x的方差；{\sigma }_y^{\mathrm{2}}为y的方差；{\sigma }_{xy}为x、y的协方差。每次计算的时候都从图片上取一个N×N的窗口，然后不断滑动窗口进行计算，最后取平均值作为全局的SSIM。

3.3　对比实验

本文选用的数据集包括Rain100L^［16］、Rain100H^［16］、Rain400以及100张真实图像的真实数据集。这4个数据集包含了不同大小、形状和方向的雨纹。其中，Rain100L是一个小雨数据集，只包含一种雨线，包含200对训练图像和100对测试图像。Rain100H数据集则包含了5种不同方向的雨纹，包括1 800对训练图像和100对测试图像。为确保雨条纹多样性，Rain400数据集由Rain800^［11］和Rain1400^［15］各随机抽取300对图像，其中包括400对训练图像和200对测试图像。为确保实验的可对比性，本文采用多种算法在相同实验环境GTX 2080Ti GPU下运行。

3.3.1　合成数据集上实验

本节对提出的PRMGAN在图像去雨中常用的合成数据集Rain100L、Rain100H以及随机合成数据集Rain400的实验结果与其他算法进行对比。本文选用了主流的去雨算法DID-MDN^［17］、DDN^［15］、RESCAN^［18］、JORDER^［16］、MSPFN^［20］、PRENET^［19］，选用了同为生成对抗网络的DerainCycleGAN^［13］、ID-CGAN^［11］以及最先进的算法JRGR^［23］和MOEDN^［24］进行对比。表1显示了包含本文方法在内的11种算法在3个数据集上的定量结果。

通过对Rain100L、Rain100H和Rain400数据集的定量分析，可以观察到不同数据集之间的差异以及各个算法的性能，在Rain100L数据集各方法相差不大，在Rain100H数据集上各种算法性能有所下降，在本文所提供的Rain400随机数据集中，各种算法展现了各自去雨的有效性。综合3个数据集，本文算法都取得了显著提升，充分展现了本文算法具有良好的鲁棒性和泛化能力。

除了定量评价图像的去雨效果外，本文还通过图像展示了几幅合成图像的去雨结果，如图5所示，从而进行直观比较。本文使用多种方法进行去雨处理，观察到不同方法对图像去雨产生了不同程度的作用。具体而言，DID-MDN的结果中残留的雨纹相对较多，对密集雨纹处理较差；DerainCycleGAN去除了大部分雨纹，但对较宽雨纹的处理能力较差；RESCAN和JORDER可以去除大部分雨纹，但仍有明显雨纹残留现象，存在局部细节丢失的问题；MSPFN存在过度去雨现象，部分细节恢复得并不理想；PRENET整体视觉效果良好，但存在背景细节丢失现象。这些方法在处理过程中同时造成了不同程度的背景模糊，从而在保留图像背景细节方面存在一定的不足。相比之下，本文方法能够有效去除雨纹，并在保留图像背景细节方面产生更加明显的效果。这意味着本文方法能够在去雨处理过程中更好地保持图像的清晰度和细节信息。本文方法对PSNR和SSIM值都有所提高，结果表明：PRMGAN具有较好的通用性和鲁棒性。

3.3.2　真实数据集上实验

本文针对实际雨天的图像进行了去雨性能评估，如图6所示。通过对比不同算法的处理结果，可以得出以下结论。首先，从图像中可以明显看出DID-MDN和RESCAN在雨水条纹去除方面的效果较为有限，这些算法可能无法完全消除雨水导致的图像噪点和模糊效果；PRENET在去除雨水方面表现出色，该算法能够更有效地消除图像中的雨滴痕迹，使图像恢复得更加清晰，但是存在伪影问题；MSPFN存在过度去雨问题，导致无雨区域过度平滑；与前述算法相比，本文算法不仅有效去除了雨水并且在保留背景细节方面更加出色。这意味着本文算法能够在去除雨水的同时，关注图像的细节信息，使图像更加自然真实。本文算法在实际雨天图像去雨方面取得了显著的性能改进。表2中包含了多个算法在真实有雨数据集上测试的平均NIQE值，本文算法取得了更低的NIQE值，意味着在真实雨天场景下，相对比其他模型，本文算法输出图像质量更高，内容更清晰，能够消除大部分降雨干扰，并具有良好的视觉效果，同时拥有更强的泛化能力。

3.3.3　运行时间对比

为了验证本文所提出的基于渐进递归的多尺度生成对抗单幅图像去雨算法的效率，随机选取500组图像对，评估不同方法的平均时间，在表3中展示了本文算法的平均运行时间，并与多种去雨算法进行比较，本文测试的雨天图像大小为512×512，算法均在GPU上进行了测试，对比其他方法，本文算法处理速度最快。

3.4　消融实验

3.4.1　关于渐进递归模块堆叠次数消融实验

表4展示了渐进递归模块堆叠次数N=2，3，4，5时去雨网络的PSNR和SSIM两项指标，可以看到随着模块堆叠次数的增加，去雨表现能力越强。但随着堆叠次数的增加，模型参数会越来越大，将增加训练的难度和计算资源的需求。当N=5时，网络性能略逊于N=4。因此，综合考虑网络去雨表现和模型参数量，将渐进递归模块堆叠次数设置为4。

3.4.2　损失函数参数

为验证不同超参数对图像去雨效果的影响，进行不同权重的对比实验，实验结果如表5所示。随着内容损失权重的增加，生成的去雨图像更接近原始图像，但内容损失过大会导致过度平滑或失真。随着对抗损失权重的增加，生成的去雨图像更具纹理和对比度，但对抗损失过大将会导致棋盘效应或噪声。取内容损失权重\alpha =\mathrm{100}，对抗损失权重\beta =\mathrm{10}时，达到最佳去雨效果且背景细节复原效果最好。

3.4.3　渐进递归模块与多尺度特征模块

为了证实本文提出的渐进递归模块与多尺度特征模块结构配置具有有效性和合理性，本文使用Rain100L数据集，在相同环境中进行了消融实验。表6对使用和不使用渐进递归模块与多尺度特征模块的网络进行了对比，不使用渐进递归模块和多尺度特征模块的网络显示的去雨图像在去雨方面效果较差，对细节的掌控无法达到令人满意的效果。在添加了渐进递归模块后显示的去雨效果更明显，可以去除更多的雨水。在添加多尺度特征模块后图像的细节得到进一步完善。同时使用渐进递归模块和多尺度特征模块，可以更进一步改善视觉效果。

对生成对抗网络而言，在合理范围内选用最有效的鉴别器可以对网络的效率起到提升作用。在设计GAN网络模型时，需要平衡生成器和鉴别器的能力，以确保它们相互竞争并促进模型的稳定训练和高质量样本生成。本文提出的生成器和鉴别器可以达到有效平衡，在图像去雨中实现了良好的性能改进与优化。

4 结束语

针对越来越复杂的去雨网络在生成对抗网络中不利于训练并产生良好效果，本文提出了一种基于渐进递归的生成对抗单幅图像去雨算法。在生成对抗网络的生成器中提出了由LSTM模块和多尺度模块构建的渐进递归模块，该模块共享参数减少了计算开销，降低了生成器的网络复杂度，在利用生成对抗网络去雨时更便于使用。在鉴别器中提出了一种多尺度，以利用不同尺度的特征帮助鉴别去雨图像是真实的还是生成的。在合成数据集和真实雨天图像上都取得了良好的效果，证实了本文算法具有良好的去雨性能和鲁棒性。

参考文献

[1] 陈舒曼, 陈玮, 尹钟. 单幅图像去雨算法研究现状及展望 [J]. 计算机应用研究, 2022, 39 (1): 9-17.

[2] Chen shu-man, Chen wei, Yin Zhong. Research status and prospect of single image ram removal algorithm[J]. Application Research of Computers, 2022, 39(1): 9-17.

[3] Sun P, Zhang R, Jiang Y, et al. Sparse R-CNN: end-to-end object detection with learnable proposals[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition(CVPR), Nashville, USA, 2021: 14454-14463.

[4] Carion N, Massa F, Synnaeve G, et al. End-to-end object detection with transformers[C] ∥Computer Vision-ECCV 2020: 16th European Conference, Glasgow, UK, 2020: 213-229.

[5] Fu Z, Fu Z, Liu Q, et al. SparseTT: visual tracking with sparse transformers[J/OL].[2023-07-05].

[6] Song Z, Yu J, Chen Y P P, et al. Transformer tracking with cyclic shifting window attention[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, New Orleans, USA, 2022: 8791-8800.

[7] Yan W, Tan R T, Yang W, et al. Self-aligned video deraining with transmission-depth consistency[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 11966-11976.

[8] Yue Z, Xie J, Zhao Q, et al. Semi-supervised video deraining with dynamical rain generator[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 642-652.

[9] Li Y, Tan R T, Guo X, et al. Rain streak removal using layer priors[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016: 2736-2744.

[10] Kim J H, Sim J Y, Kim C S. Video deraining and desnowing using temporal correlation and low-rank matrix completion[J]. IEEE Transactions on Image Processing, 2015, 24(9): 2658-2670.

[11] Jiang T X, Huang T Z, Zhao X L, et al. A novel tensor-based video rain streaks removal approach via utilizing discriminatively intrinsic priors[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Honolulu, USA, 2017: 4057-4066.

[12] Zhang H, Sindagi V, Patel V M. Image de-raining using a conditional generative adversarial network[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2019, 30(11): 3943-3956.

[13] Qian R, Tan R T, Yang W, et al. Attentive generative adversarial network for raindrop removal from a single image[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018: 2482-2491.

[14] Wei Y, Zhang Z, Wang Y, et al. Deraincyclegan: rain attentive cyclegan for single image deraining and rainmaking[J]. IEEE Transactions on Image Processing, 2021, 30: 4788-4801.

[15] Metz L, Poole B, Pfau D, et al.Unrolled generative adversarial networks[J/OL].[2023-07-05].

[16] Fu X, Huang J, Zeng D, et al. Removing rain from single images via a deep detail network[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA, 2017: 3855-3863.

[17] Yang W, Tan R T, Feng J, et al. Deep joint rain detection and removal from a single image[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, USA,2017: 1357-1366.

[18] Zhang H, Patel V M. Density-aware single image de-raining using a multi-stream dense network[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Salt Lake City, USA, 2018: 695-704.

[19] Li X, Wu J, Lin Z, et al. Recurrent squeeze-and-excitation context aggregation net for single image deraining[C]∥Proceedings of the European Conference on Computer Vision (ECCV),Munich, Germany, 2018: 254-269.

[20] Ren D, Zuo W, Hu Q, et al. Progressive image deraining networks: a better and simpler baseline[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, USA, 2019: 3937-3946.

[21] Jiang K, Wang Z, Yi P, et al. Multi-scale progressive fusion network for single image deraining[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA,2020: 8346-8355.

[22] Kupyn O, Budzan V, Mykhailych M, et al. Deblurgan: blind motion deblurring using conditional adversarial networks[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Salt Lake City, USA, 2018: 8183-8192.

[23] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition,Honolulu, USA, 2017: 1125-1134.

[24] Ye Y, Chang Y, Zhou H, et al. Closing the loop: joint rain generation and removal via disentangled image translation[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, Nashville, USA, 2021: 2053-2062.

[25] Huang H, Yu A, He R. Memory oriented transfer learning for semi-supervised image deraining[C]∥Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern recognition,Nashville, USA, 2021: 7732-7741.

基金资助

国家自然科学基金重大项目(61890963)

吉林省科技发展计划项目(20210204099YY)