基于多尺度引导滤波的实时视频去雾算法

Real Time Video Defogging Algorithm Based on Multi⁃Scale Guided Filtering

摘要

为解决当前去雾算法中存在的透射率估计不准确、 天空区域颜色恢复较差、 运行速度较慢等问题， 本文提出了一种基于多尺度引导滤波的实时视频去雾算法。首先， 采用自动白平衡算法对有雾图像进行颜色校正， 颜色校正后的图像与暗原色置信因子作为引导滤波， 随后使用金字塔采样技术获取缩小后的图像， 接着使用四叉树算法来估算透射率和大气光强度， 并且不断地迭代上采样和引导图像滤波， 从而有效防止了信息的损失， 最后达到最佳的传输效果。此外， 将单图像去雾算法扩展到了实时视频去雾， 通过使传输值在时间上一致来减少去雾视频中的闪烁伪影。实验结果表明， 该算法的运行速率较快， 去雾效果明显， 在视频去雾中闪烁伪影较少。相比于屏蔽泊松方程去雾算法， 本文算法的平均梯度提高了\mathrm{67.08}\mathrm{\%}， 相比于暗通道先验逐帧视频去雾算法， 本算法的时间加快了\mathrm{81.32}\mathrm{\%}， 符合实时视频运行稳定、 处理快速的要求。

Abstract

In order to address the issues of inaccurate transmission estimation， poor color restoration in sky regions， and slow operation speed in current defogging algorithms， this paper proposed a real-time video defogging algorithm based on multi-scale guided filtering. First， the automatic white balance algorithm was used to correct the color of the foggy image. The confidence factor of the color corrected image and the dark primary color were used as the guiding filter. Then， the pyramid sampling technology was used to obtain the reduced image. Then， the quadtree method was used to estimate the transmittance and atmospheric light intensity， and the iterative up sampling and guiding image filtering were continuously used to effectively prevent the loss of information and finally achieve the best transmission effect. In addition， we extended the single image defogging algorithm to real-time video defogging， reducing flickering artifacts in defogging videos by ensuring consistent transmission values over time. The experimental results show that the algorithm has a fast running speed， significant defogging effect， and less flickering artifacts in video defogging. Compared with the shielded Poisson equation defogging algorithm， this algorithm has faster time 81.32% and higher average gradient 67.08%， which meets the requirements of fast and stable real-time video processing.

Graphical abstract

关键词

暗通道先验 / 导向滤波 / 四叉树 / 金字塔分层 / 自动白平衡

Key words

dark channel prior / guided filtering / quadtree / pyramid layering / automatic white balance

0 引　言

随着智能交通、 安防监控等领域的不断发展， 视频成了新的信息获取和传输方式。然而， 视频拍摄环境中常常存在浓雾、 雾霾等天气条件， 严重影响了视频的质量和可用性。为了解决这一问题， 视频去雾技术应运而生。

当前， 视频去雾技术已经有了较大的发展， 但在实时场景下仍然存在很大的挑战。传统的视频去雾算法在去雾效果上存在较大的局限性， 运行速度也无法满足实时应用的要求。为实现实时的视频去雾， 本文提出一种基于暗通道先验的实时视频去雾算法。

近年来， 从图像处理到视频处理的去雾技术都取得了重要的理论进展， 尤其是针对单张图片的有效去雾技术^［1］。图像处理技术包括图像增强和图像复原^［2‐3］两大类。前者旨在消除图像中的水汽和污染物， 而后者则专注于提高图像质量和清晰度。通过采用多尺度Retinex原理， 图像增强去雾算法可以有效地提升图像局部信号的反差， 从而更加清晰地展示出图像的纹理结构， 以达到去雾的目的。杨吉花等^［4］基于Retinex理论提出的夜间图像去雾算法可以有效地改善夜间的光线分布， 但是由于无法完全清除雾气， 因此， 该技术的可靠性受到了一定的局限。通过应用暗原色先验理论和暗通道先验理论， He等^［5］提出了一种新的去雾算法， 其将大气光作为一种固定的参数， 结合大气散射模型， 可以有效地抑制色彩失真， 减少边缘骤变区域的光晕效应， 从而获得更加准确的恢复图像。

与单帧图像去雾相比， 视频去雾需要考虑连续帧之间的透射率与大气光值的变化， 并需处理连续帧之间的闪烁伪影， 另外， 一段视频中少则数百帧多则数万帧图像， 甚至更多， 因此视频去雾还需要考虑时效问题。为解决以上问题， Kim等^［6］提出一种时间相干的视频去雾算法， 该算法假设相邻帧之间物体的传输相似， 利用相邻帧的信息估计每帧的传输映射。Li等^［7］计算了场景深度， 通过保持深度与传输的一致性， 将其用于视频去雾。Chen等^［8］试图通过最小化输入和输出图像之间的梯度残差来改善去雾性能。近年来， 基于深度学习的视频去雾方法被开发出来， 通过对CNN进行端到端训练， 跨帧积累信息以进行传输估计^［9‐10］。尽管这些算法可以产生高质量的无雾帧， 但它们需要很高的计算复杂度。因此， 在实际应用中需要在高实时性和高质量的视频去雾之间进行权衡。

为解决上述算法存在的问题， 本文He等提出的暗通道先验理论的基础上， 融合自动白平衡算法、 金字塔分层算法、 导向滤波和四叉树， 提出一种新的图像去雾算法。该方法利用白平衡算法进行颜色校正， 通过金字塔分层和四叉树细分的分层搜索方案， 以更准确、 更有效地估计大气光值， 通过导向滤波细化图像复原。同时， 结合上述图像去雾算法， 本文考虑连续帧之间的时间一致性及大气光值与透射率图的变化， 给出了一种改进的视频去雾算法。具体来说， 首先量化两个连续帧之间的时间一致性， 然后估计两个连续帧的透射率和大气光值， 以减少闪烁的伪影。

1 暗原色先验去雾算法

大气散射模型^［11］能够更加准确地解释雾状图像的形成原理， 其结构为

I(x)=J(x)t(x)+A[\mathrm{1}-t(x)],（1）

式中： I(x)为待去雾图像； J(x)为无雾图像； A为全局大气光值； t(x)为介质透射率。雾霾去除的目标是估计A和t(x)， 从I(x)中恢复J(x)。由式(\mathrm{1})可得到

t(x)=\frac{\mathrm{1}-I(x)/A}{\mathrm{1}-J(x)/A}\mathrm{。}（2）

He等^［2］对5 000多幅无雾层的图像进行统计观察， 结合概率学的原理提出了暗原色先验理论， 即在图像的非天空区域的R、 G、 B三个通道中， 总有一个通道的像素值趋近于0， 这可以表达为

J^{\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{k}}(x)=\underset{s\in \mathrm{\Omega }(x)}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{c\in [R,G,B]}{\mathrm{m}\mathrm{i}\mathrm{n}}{J}^c(s)\to \mathrm{0},（3）

式中： J^{\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{k}}(x)为J(x)的暗原色通道图像； s为滤波窗口遍历图像时的选定区域； \mathrm{\Omega }(x)为最小值滤波器的滤波窗口； R\mathrm{、}G\mathrm{、}B为J(x)在\mathrm{R}\mathrm{G}\mathrm{B}通道下各自对应的分量； J^c(s)为J(x)的R、 G、 B三个通道的分量值。

如果假设大气光值A 是一个固定的值， 那么通过（3）式， 可以调整透射率为

t(x)=\mathrm{1}-\omega \left[J^{\mathrm{d}\mathrm{a}\mathrm{r}\mathrm{k}}(x)/A\right]\mathrm{。}（4）

在式（4）中， \omega为保留少量雾层的权值系数， 其作用是维护图像的视觉深度。在实验中， 取\omega =\mathrm{0.95}。A取为暗原色通道图像的前\mathrm{0.1}\mathrm{\%}的像素均值（像素值降序排列）。

由式（1）可恢复出降质的去雾后的图像

J\left(x\right)=\frac{I\left(x\right)-A\left(x\right)}{t\left(x\right)}+A\left(x\right)\mathrm{。}（5）

暗原色先验理论能在一定程度上恢复大多数有雾图像中的模糊部分， 但当一幅降质图像中出现大片的蓝色， 其去雾效果就不明显。

2 基于暗通道先验理论的图像去雾算法

为解决上述算法存在的缺陷， 本文在暗通道先验理论的基础上融合自动白平衡算法、 金字塔分层算法、 导向滤波和四叉树分层搜索算法提出基于多尺度引导滤波的图像去雾算法。首先使用自动白平衡算法对图像进行颜色校正， 采用金字塔下采样进行图像分层， 对最底层图像采用四叉树分层搜索算法估算透射率和大气光值。然后结合大气光值， 通过上采样和引导图像滤波逐层恢复图像。在视频去雾中， 该算法保持输入视频的时间一致性。具体步骤可简化为： 1） 量化两个连续帧之间的时间一致性； 2） 估计两个连续帧的透射率和大气光值， 以减少闪烁的伪影。

2.1 自动白平衡算法

根据雾天图像衰减模型， 红光的衰减速度最快， 而蓝绿光的衰减速度则相对较慢， 因此大多数的天空图像都是蓝色的。使用自动白平衡算法， 可以在不同的光照条件下调节图像的颜色， 更好地捕捉图像中的细节^{［12‐13］}。

首先， 将RGB三色空间转换为Y{C}_b{C}_r空间， 转换公式为

\left[\begin{array}{c}Y\\ C_b\\ C_r\end{array}\right]=\left[\begin{array}{c}\mathrm{0}\\ \mathrm{128}\\ \mathrm{128}\end{array}\right]+

\left[\begin{array}{lll}\mathrm{0.299}& \mathrm{0.578}& \mathrm{0.144}\\ -\mathrm{0.162}\mathrm{7}& -\mathrm{0.331}\mathrm{3}& \mathrm{0.5}\\ \mathrm{0.5}& -\mathrm{0.418}\mathrm{7}& -\mathrm{0.081}\mathrm{3}\end{array}\right]\times \left[\begin{array}{c}R\\ G\\ B\end{array}\right],（6）

式中： Y为亮度信息； R\mathrm{、}G\mathrm{、}B为颜色通道； C_b， C_r分别为蓝色分量和红色分量的偏移量成分^［13］。

其次， 将图像亮度值Y的前\mathrm{12}\mathrm{\%}对应的像素点作为白色参考点。计算白色参考点对应的R\mathrm{、}G\mathrm{、}B三色通道中的平均值， 记为R_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}、 G_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}、 B_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}}。求解R\mathrm{、}G\mathrm{、}B三色通道的增益值R_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}、 G_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}、 B_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}。

\left\{\begin{array}{l}{R}_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}=Y_{\mathrm{m}\mathrm{a}\mathrm{x}}/R_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}},\\ G_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}=Y_{\mathrm{m}\mathrm{a}\mathrm{x}}/G_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}},\\ B_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}=Y_{\mathrm{m}\mathrm{a}\mathrm{x}}/B_{\mathrm{a}\mathrm{v}\mathrm{e}\mathrm{r}},\end{array}\right.（7）

式中： Y_{\mathrm{m}\mathrm{a}\mathrm{x}}为Y{C}_b{C}_r空间中Y系数的最大亮度值^［13］。

最后， 按式(\mathrm{8})进行图像颜色校正

\left\{\begin{array}{l}R\mathrm{\text{'}}=R\times R_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}},\\ G^{\text{'}}=G\times G_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}},\\ B\mathrm{\text{'}}=B\times B_{\mathrm{g}\mathrm{a}\mathrm{i}\mathrm{n}}\mathrm{。}\end{array}\right.（8）

2.2 大气光值估计

根据暗原色先验理论的大气散射模型， 大气光值A在整个图像上是恒定的。为了高效估计A， 可以利用图像金字塔下采样技术， 在最粗糙的水平上计算A。

首先， 将输入的彩色图像I^c\in \{R,G,B\}灰度化为I_{\mathrm{0}}， 然后构造图像金字塔\{I_{\mathrm{0}},I_{\mathrm{1}},\dots ,I_L\}， 其中I_{l+\mathrm{1}}由I_l(l=\mathrm{0,1},\cdots ,L-\mathrm{1})隔行隔列下采样得到。在本文的实验中， 选择L使I_L的宽度和高度都小于320。

在大多数传统去雾算法中， 假设雾霾增加了图像的亮度， 选取图像中最亮的光强作为式（1）中的大气光值A。然而， 当有雾图像中包含明亮区域或物体时， 这种方法无法准确估计大气光值A。为了更准确、 更有效地估计大气光值A， 采用一种基于四叉树分层搜索的方案。在该方法中， 假设模糊区域主要分布在图像的上半部分， 将颜色校正后的图像的上半部分分成两个块， 计算每个块的得分作为块内的平均像素值； 对分数较高的块进行四叉树细分， 重复这个过程， 直到两个最高平均像素值的差值小于阈值\theta（在本文的实验中， 取 \theta =\mathrm{0.05}）， 将大气光值A计算为最后块中最亮的前\mathrm{0.1}\mathrm{\%}像素的平均像素值。

2.3 透射率估计

2.3.1 初始透射率估计

Wang等^［14］建议在图像金字塔最粗糙的L层估计初始透射率t_L(x)。由于所有彩色通道\{R,G,B\}的传输t_L(x)是相同的， 由式（1）建立L层的成像模型

I_L(x)=J_L(x)t_L(x)+A(\mathrm{1}-t_L(x))，（9）

式中： I_L(x)和J_L(x)分别为金字塔L级灰度输入图像的观测强度和无雾强度。然后， 由式(\mathrm{9})得透射率^［15］

t_L(x)=\frac{A-I_L(x)}{A-J_L(x)}\mathrm{。}（10）

在式(\mathrm{10})中， 必须首先估计J_L(x)才能计算I_L(x)。Wang等给出了J_L(x)的近似计算公式

J_L(x)=\delta \frac{I_L(x)-I_{\mathrm{m}\mathrm{i}\mathrm{n}}(x)}{I_{\mathrm{m}\mathrm{a}\mathrm{x}}(x)-I_{\mathrm{m}\mathrm{i}\mathrm{n}}(x)}\times I_L(x)+\epsilon ,（11）

式中： I_{\mathrm{m}\mathrm{a}\mathrm{x}}(x)和I_{\mathrm{m}\mathrm{i}\mathrm{n}}(x)分别为I_L(x)的最大值和最小值； \delta为控制去雾量的参数； \epsilon是为避免时为负值而额外增加的一个参数。

\epsilon =\left\{\begin{array}{cc}{I}_{\mathrm{m}\mathrm{i}\mathrm{n}},& \hspace{1em}\mathrm{i}\mathrm{f}{I}_{\mathrm{m}\mathrm{i}\mathrm{n}}\le \mathrm{0.1},\\ \frac{I_{\mathrm{m}\mathrm{i}\mathrm{n}}}{\mathrm{2}},& \hspace{1em}\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e}\mathrm{。}\end{array}\right.（12）

式（12）中， 如果I_L(x)=I_{\mathrm{m}\mathrm{a}\mathrm{x}}， J_L(x)可能大于I_L(x)， 因此取J_L(x)=\mathrm{m}\mathrm{i}\mathrm{n}(J_L(x),I_{\mathrm{m}\mathrm{a}\mathrm{x}})。最后， 将式（11）中的J_L(x)代入式（5）得到L层的初始透射率

t_L(x)=\frac{A-I_L(x)}{A-\mathrm{m}\mathrm{i}\mathrm{n}\left(\delta \frac{I_L(x)-I_{\mathrm{m}\mathrm{i}\mathrm{n}}}{I_{\mathrm{m}\mathrm{a}\mathrm{x}}-I_{\mathrm{m}\mathrm{i}\mathrm{n}}}\times I_L(x)+\epsilon ,I_{\mathrm{m}\mathrm{a}\mathrm{x}}\right)}\mathrm{。}（13）

2.3.2 多尺度传输细化

本文中在最粗糙的L级估计初始透射率t_L(x)， 必须将t_L(x)的分辨率提高到原始输入图像I_{\mathrm{0}}的分辨率， 为此可使用双线性插值对透射率进行逐层上采样。但是， 双线性插值会使上采样透射率产生模糊伪影， 丢失纹理细节和边缘信息， 降低了去雾性能。因此， 本文采用引导图像滤波技术， 对双线性插值上采样结果进行滤波， 以有效保留上采样图像的细节。

在引导滤波中， 假定输出q与引导图像I在以像素k为中心的窗口中存在局部线性关系， 从而像素点的输出

q_i=a_k{I}_i+b_k,\forall i\in {\omega }_k,（14）

式中： q为输出图像； I为引导图像； a_k和b_k为当窗口中心位于k时的不变系数。

式（14）表明， 只有当引导图像存在边缘时， 输出结果才会出现边缘。为求解式（14）中的系数a和b， 假设p是q受到噪声污染的退化图像， 引导滤波的目的是从p中恢复q， 即求解最优化问题

\underset{a_k,b_k}{\mathrm{m}\mathrm{i}\mathrm{n}}\sum _{i\in {\omega }_k}((a_k{I}_i+b_k-p_i{)}^{\mathrm{2}}+\epsilon a_k^{\mathrm{2}})\mathrm{。}（15）

类似于最小二乘法求解， 式（15）的解为

\left\{\begin{array}{l}{a}_k=\frac{\frac{\mathrm{1}}{|w_k|}\sum _{i\in w_k}\left(I_i{p}_i-{\mu }_k\overline{p_k}\right)}{{\sigma }_k^{\mathrm{2}}+\epsilon },\\ b_k=\overline{p_k}-a_k{\mu }_k,\end{array}\right.（16）

式中： {\mu }_k和{\sigma }_k^{\mathrm{2}}分别为I在局部窗口w_k中的均值和方差； \left|w_k\right|为窗口内的像素个数。

然后， 在整幅图像内采取窗口操作， 最后取均值可得式（14）的结果为

q_i={\overline{a}}_i{I}_i+{\overline{b}}_i,（17）

式中： {\overline{a}}_i=\frac{\mathrm{1}}{|\omega |}\sum _{k\in {\omega }_i}{a}_k； {\overline{b}}_i=\frac{\mathrm{1}}{|\omega |}\sum _{k\in {\omega }_i}{b}_k。

为了得到第l-\mathrm{1}个透射率图t_{l-\mathrm{1}}， 对t_l进行双线性插值上采样， 并以I_{l-\mathrm{1}}为导向图对采样结果进行导向滤波， 记

t_{l-\mathrm{1}}=G(B_{\mathrm{u}\mathrm{p}}(t_l);I_{l-\mathrm{1}}),l=L,L-\mathrm{1},\cdots ,\mathrm{1},（18）

式中： G(\cdot )为引导图像I_{l-\mathrm{1}}的导向滤波算子； B_{\mathrm{u}\mathrm{p}}(\cdot )为双线性插值上采样算子。

2.4 无雾图像恢复

给定大气光值A和精细透射率图t_{\mathrm{0}}(x)， 利用式(\mathrm{3})得到无雾图像

J^c(x)=\frac{I^c(x)-A}{\mathrm{m}\mathrm{a}\mathrm{x}(t_{\mathrm{0}}(x),\gamma )}+A,（19）

式中： \gamma为透射率的下界。

2.5 图像去雾算法流程

1） 对输入的含雾图像按式（8）进行白平衡颜色校正。

2） 将白平衡后的每帧图像转换为灰度图像。

3） 对颜色转换后的图像进行金字塔向下采样， 得到采样序列图像I_{\mathrm{0}},I_{\mathrm{1}},\cdots ,I_L。

4） 对I_{\mathrm{0}},I_{\mathrm{1}},\cdots ,I_L采用四叉树搜索算法估算大气光值A， 及金字塔最粗糙层的透射率图t_L。

5） 用式（18）对透射率图t_L进行金字塔上采样和引导滤波得到最精细的透射率图t_{\mathrm{0}}， 以保留传输图中的纹理和细节。

6） 根据透射率图t_{\mathrm{0}}和大气光值A，由式（19）得到无雾图像J^c。

图像去雾算法具体示意图如图 1 所示。

3 基于时间相干性的视频去雾算法

为了保持输入视频的时间一致性， 本文先量化两个连续帧之间的时间一致性， 然后估计两个连续帧的透射率图和大气光值， 以减少闪烁的伪影^［16］。

3.1 时间相干性

视频中的物体或摄像机运动使得连续帧中的不同像素位置可以捕捉到相同的场景点。因此， 这些运动改变同一点的传输值， 造成闪烁的伪影。这一问题可以通过使用运动估计技术跟踪运动对象的位置进行解决， 例如光流估计^［17］。然而， 运动估计技术通常有很高的计算复杂度。因此， 本文使用一个基于两帧之间的差分图像的概率模型， 称之为时间相干因子， 来减少闪烁伪影。设I^k和I^{k-\mathrm{1}}表示输入视频的连续两帧图像， 定义第k帧的时间相干因子

w^k=\frac{\mathrm{1}}{N}\sum _{x}exp\left(-\frac{{\left(I^k(x)-I^{k-\mathrm{1}}(x)\right)}^{\mathrm{2}}}{{\sigma }^{\mathrm{2}}}\right),（20）

式中： N为一帧中的像素数； \sigma为模型的方差， 实验中根据经验， 取\sigma =\mathrm{10}。

在式（20）中， 随着I^k(x)变得更接近I^{k-\mathrm{1}}(x)， w^k也会增加。因此， w^k表示两个像素匹配的可能性。

3.2 时间相干视频去雾

对于时间相干视频去雾， 利用连续帧I^k和I^{k-\mathrm{1}}之间的时间信息， 估计第k帧的大气光A^k和透射率图t^k。

由式（13）可知， 较大的w^k意味着两个连续帧之间的运动较小。所以， 当w^k足够大时， 可以认为大气光值不变， 即当 w^k\ge {\tau }_A（一般取{\tau }_A=\mathrm{0.85}）时， 取{\widehat{A}}^k=A^{k-\mathrm{1}}。当时， 大气光值通过{\widehat{A}}^k=w^k{A}^{k-\mathrm{1}}+(\mathrm{1}-w^k)A^k平滑更新。总之， 计算第 k帧大气光值

（21）

透射率受摄像机和物体运动的影响， 通过两个连续帧的透射率之间的关系， 以实现平滑过渡。为此， 可以利用时间相干因子w^k来估计第k帧的透射率图t^k。当时间相干因子w^k较大时， I^k和I^{k-\mathrm{1}}两帧之间的差异较小。在这种情况下， 使用帧I^{k-\mathrm{1}}的透射率图t_l^{k-\mathrm{1}}来表示第l层的帧I^k的透射率图。否则， 计算帧I^k在第l层的透射率图t_l^k。因此， 得到更新后的第k帧(l-\mathrm{1})层的传输图

{\widehat{t}}_{l-\mathrm{1}}^k=\left\{\begin{array}{ll}G(B_{\mathrm{u}\mathrm{p}}(t_l^{k-\mathrm{1}};I_{l-\mathrm{1}}^k),& \mathrm{i}\mathrm{f}{\omega }^k\ge {\tau }_t,\\ G(B_{\mathrm{u}\mathrm{p}}(t_l^k;I_{l-\mathrm{1}}^k),& \mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{w}\mathrm{i}\mathrm{s}\mathrm{e},\end{array}\right.（22）

式中： t_l^{k-\mathrm{1}}和t_l^k分别为在第k-\mathrm{1}帧和第k帧的金字塔的l级估计的透射率图； {\tau }_t为阈值参数， 本文中， {\tau }_t固定为\mathrm{0.5}。

3.3 视频去雾算法流程

1） 对输入视频的第一帧图像I^{\mathrm{1}}， 利用2.5节图像去雾算法中的第1）~4）步计算大气光值A^{\mathrm{1}}与初始透射率图t_L^{\mathrm{1}}。

2） 对输入视频的第k(k>\mathrm{1})帧图像I^k， 利用式（20）计算时间相干因子w^k。

3） 利用式（21）计算第k帧图像I^k的大气光值{\widehat{A}}^k。

4） 利用式（13）计算第k帧图像I^k的初始透射率图t_L^k。

5） 用式（22）对透射率图t_L^k进行金字塔上采样和引导滤波得到最精细的透射率图t_{\mathrm{0}}^k。

6） 给定透射率图t_{\mathrm{0}}^k和大气光值{\widehat{A}}^k，从朦胧图像中得到无雾图像J^c。

视频去雾算法具体示意图如图 2 所示。

4 实验与分析

为验证本文去雾算法（BLW）的实时性和有效性， 实验选取屏蔽泊松增强去雾算法（SP）、 暗通道先验去雾算法（DCP）及非局部去雾算法（NLD）作为对比进行实验。本实验从Xu等^［18］提出的hazeworld图库中选择篮球场图像、 马路图像以及沙漠图像， 其中包含了许多降质场景， 如街道、 森林和建筑物， 还有大量的天空区域。算法的所有实验结果均在CPU为12th Gen Intel（R） Core（TM） i5-12400， 2.50 GHz， 内存为16 GB的计算机上运行所得， 操作系统为 Windows 10 专业版， 开发语言为Matlab， 为了便于比较， 实验中所有图像的参数值都是相同的。

本实验采用各颜色通道的平均梯度G_c定性评价去雾效果。

G_c=\frac{\mathrm{1}}{N}{\displaystyle \sum _{k=\mathrm{1}}^N}\left(\frac{\mathrm{1}}{(R-\mathrm{1})(L-\mathrm{1})}{\displaystyle \sum _{i=\mathrm{1}}^{R-\mathrm{1}}}{\displaystyle \sum _{j=\mathrm{1}}^{L-\mathrm{1}}}\sqrt[]{\frac{(I_c^k(i,j)-I_c^k{(i+\mathrm{1},j))}^{\mathrm{2}}+(I_c^k(i,j)-I_c^k{(i,j+\mathrm{1}))}^{\mathrm{2}}}{\mathrm{2}}}\right),（23）

式中： c表示颜色通道； I_c^k\left(i,j\right)表示第k帧该颜色通道的灰度值； i， j分别表示第i行、 第j列； R， L分别表示行和列的总数； c\in \{r,g,b\}。

4.1 单帧图像去雾效果

为验证本文算法的单帧图像去雾效果， 从Xu等提出的hazeworld图库中选取3幅不同类型的图像分别在相同的实验条件下进行屏蔽泊松增强去雾（SP）、 暗通道先验去雾（DCP）、 非局部去雾（NLD）以及本实验所使用实验方法（BLW）的测试， 图 3 给出了部分图像处理结果。可以看出： 屏蔽泊松方程去雾算法的去雾效果不明显， 图片中还存有大量的模糊区域； 暗通道先验去雾比屏蔽泊松算法去雾效果较好， 但是去雾后图像偏暗， 颜色较深， 与真实图像视觉上有偏差； 非局部去雾算法的去雾效果较为明显， 但在篮球场图像（图3（a4））中具有很明显的光晕效应， 且去雾后图像略暗一些， 使得视觉效果不佳； 本文方法的去雾效果更明显， 不存在明显的光晕效应， 且视觉效果比其他方法更好。

表 1 给出了不同去雾算法下测试图像的计算时间、 各颜色通道的平均梯度G_c以及总平均梯度\overline{G}=\frac{\mathrm{1}}{\mathrm{3}}\sum _c{G}_c。可以看出， 除了沙漠图像外， 本文方法对所有颜色通道的平均梯度都是最好的。从\overline{G}来看， 本文方法在所有测试图像中效果最好， 表明该方法在室外图像去雾方面优于屏蔽泊松算法、 基于暗原色先验算法以及非局部去雾算法。这种优势可以归因于引导滤波， 引导滤波可以避免传输过程信息的丢失， 可以获得最优传输水平。从实际来看， 虽然本文方法速度不是最快， 但是较其他算法， 本文算法无论是去雾效果还是去雾时间都略好一些。

由图 4 可以看出， 在沙漠图像中， 虽然本文BLW算法的平均梯度略低于DCP算法， 但从视觉效果来看BLW算法恢复的图像色彩更加温和， 并且远处背景（图 4 中绿色框线部分）细节恢复得更加清晰。

4.2 视频去雾

将本文的视频去雾算法与文献［2］中的方法进行比较， 对不同的去雾方法进行定量分析。与图像去雾类似， 使用平均梯度来验证结果， 具体见表 2。

由表 2 可以看出， 在所测试的几乎所有视频中， 本文提出的去雾方法得到了最好的结果， 在篮球场视频中， 本文BLW算法的\overline{G}比屏蔽泊松去雾的SP算法提高了67.08%， 比效果最好的DCP算法提高了14.35%。在马路视频中， 本文BLW算法的\overline{G}比屏蔽泊松去雾的SP算法提高了65.68%，比效果最好的DCP算法提高了1.30%。在沙漠视频中， 本文BLW算法的\overline{G}比屏蔽泊松去雾的SP算法提高了\mathrm{40.95}\mathrm{\%}，比效果最好的DCP算法略低2.97%， 将所有帧去雾方法使用独立的静态去雾方法和本文讨论的时间相干的视频方法进行对比， 不同去雾算法的时间效率如表 3 所示。

由表 3 可以看出， 静态去雾方法比基于时间相干的方法要慢， 在篮球场视频中， 本文时间相干视频去雾算法的时间比暗通道先验去雾算法的静态视频去雾方法提高了\mathrm{81.32}\mathrm{\%}。

5 结　论

本文提出了一种基于多尺度引导滤波的实时视频去雾算法。以暗原色先验去雾算法为基础， 自动白平衡算法进行颜色校正， 颜色校正后图像与暗原色置信因子作为引导滤波。使用金字塔采样技术以及四叉树分层算法来估算透射率和大气光强度， 并且不断地迭代上采样和引导图像滤波， 从而有效地防止了信息的损失， 提高了算法时效性。实验结果表明， 在4种方法中， 本文提出算法的去雾效果好， 时间效率高， 视觉效果优。

参考文献

[1] 潘晨. 图像和视频去雾算法研究与实现［D］.西安： 西安科技大学， 2018.

[2] HE K M， SUN J， TANG X O.Single image haze removal using dark channel prior［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2011， 33（12）： 2341-2353

[3] 余萍， 郝成成.基于分数阶微分和多尺度Retinex联合的雾霭图像增强算法［J］.激光与光电子学进展， 2018， 55（1）： 272-277.

[4] YU Ping， HAO Chengcheng. Foggy image enhancement by combined fractional differentialand multi-scale retinex［J］.Laser & Optoelectronics Progress， 2018， 55（1）： 272-277. （in Chinese）

[5] 杨吉花， 杨华， 贾维丁， 等.基于多尺度Retinex的激光雷达图像自适应增强方法［J］.激光杂志， 2023， 44（5）： 192-197.

[6] YANG Jihua， YANG Hua， JIA Weiding， et al.Adaptive enhancement method of lidar image based on multi-scale Retinex［J］.Laser Journal， 2023， 44（5）： 192-197.（in Chinese）

[7] HE K M， SUN J， TANG X O.Guided image filtering［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence， 2013， 35（6）： 1397-1409.

[8] JKIM J H， JANG W D， SIM J Y， et al.Optimized contrast enhancement for real-time image and video dehazing［J］. Journal of Visual Communication and Image Representation， 2013， 24（3）： 410-425.

[9] LI Z W， TAN P， ROBBY T T， et al. Simultaneous video defogging and stereo reconstruction［C］//IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2015： 4988-4997.

[10] CHEN C， MINH N， WANG J.Robust image and video dehazing with visual artifact suppression via gradient residual minimization［C］//European Conference on Computer Vision. Cham： Springer， 2016： 576-591.

[11] REN W Q， ZHANG J G， XU X Y， et al.Deep video dehazing with semantic segmentation［J］.IEEE Transactions on Image Processing， 2019， 28（4）： 1895-1908.

[12] ZHANG X Y， DONG H， PAN J S， et al.Learning to restore hazy video： A new real-world dataset and a new method［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2021： 9235-9244.

[13] HIDE R. Optics of the atmosphere： scattering by molecules and particles ［J］. Physics Bulletin， 1977， 28（11）： 521.

[14] 李国清， 汤子梦， 吴喜芳， 等.导向滤波和自动白平衡融合的遥感图像除雾算法应用研究［J］.河南理工大学学报（自然科学版）， 2021， 40（6）： 77-83.

[15] LI Guoqing， TANG Zimeng， WU Xifang， et al.Research on the application of remote sensing image defogging algorithm with guided filtering and automatic white balance fusion［J］.Journal of Henan Polytechnic University（Natural Science）， 2021， 40（6）： 77-83. （in Chinese）

[16] 史金余， 郝明良， 邹沛煜.基于颜色校正和引导滤波分层的水下图像增强［J］.计算机应用与软件， 2022， 39（6）： 203-209.

[17] SHI Jinyu， HAO Mingliang， ZOU Peiyu.Underwater image enhancement based on color correction and guided filtering layering［J］.Computer Applications and Software， 2022， 39（6）： 203-209. （in Chinese）

[18] WANG W C， YUAN X H， WU X J， et al.Fast image dehazing method based on linear transformation［J］.IEEE Transactions on Multimedia， 2017， 19（6）： 1142-1155.

[19] HUANG Z L， JING H Y， CHEN A D， et al.Efficient image dehazing algorithm using multiple priors constraints［J］.Journal of Visual Communication and Image Representation， 2023， 90： 103694.

[20] VAN NGUYEN T， VIEN A G， LEE C.Real-time image and video dehazing based on multiscale guided filtering［J］.Multimedia Tools and Applications， 2022， 81（25）： 36567-36584.

[21] LUCAS B， KANADE T.An iterative image registration technique with an application to stereo vision［M］.Int Joint Conf ArtifIntell， 1981.

[22] XU J Q， HU X W， ZHU L， et al.Video dehazing via a multi-range temporal alignment network with physical prior［C］//IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）， 2023， 18053-18062.