多尺度细节增强与分层抑噪的图像去雾算法

杨燕 ,  沈汪良

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (12) : 4010 -4023.

PDF (5138KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (12) : 4010 -4023. DOI: 10.13229/j.cnki.jdxbgxb.20240538
计算机科学与技术

多尺度细节增强与分层抑噪的图像去雾算法

作者信息 +

Multi⁃scale detail enhancement and layered noise suppression algorithm for image dehazing

Author information +
文章历史 +
PDF (5260K)

摘要

针对现有多数去雾算法存在复原图像细节模糊及噪声放大的问题,提出了一种基于金字塔结构的多尺度细节增强与分层抑噪的图像去雾算法。首先,设计了一种多尺度细节增强算法,将有雾图像通过伽马矫正生成的多幅不同曝光图像加权融合,得到一幅细节增强后的有雾图像以及对应的细节层与模糊层图像,以增强复原图像的细节。其次,构建了一种非局部加权平均算法优化暗直接衰减先验估计的初始透射率,以减少形态学伪影,并利用小半径加权引导滤波(WGIF)进一步细化,求得最终的透射率。最后,根据本文提出的多尺度分层抑噪去雾算法复原无雾图像并抑制噪声放大。实验结果表明,本文算法能更好地抑制噪声放大,得到的无雾图像细节清晰、色彩自然,天空区域复原质量更高,多项客观评价指标相较于当前主流算法显著提升。

Abstract

An image dehazing algorithm based on a pyramid structure with multi-scale detail enhancement and hierarchical noise suppression is proposed to address the issues of detail blur and noise amplification in existing algorithms. Firstly, a multi-scale detail enhancement algorithm is designed to weight and fuse multiple different exposure images generated by gamma correction, resulting in a fog image after detail enhancement, along with corresponding detail layer and fuzzy layer images, for enhancing the details of the restored image. Secondly, a non-local weighted average algorithm is constructed to optimize the initial transmittance estimated by prior dark direct attenuation, so as to reduce morphological artifacts, while the final transmittance is obtained using a small radius Weighted Guided Image Filter (WGIF). Finally, through the proposed multi-scale hierarchical noise suppression and fog removal algorithm, the fog-free image is restored while noise amplification is suppressed. Experimental results demonstrate that the proposed algorithm can better suppress noise amplification, producing fog-free images with clear details, natural colors, and higher-quality sky region restoration. Furthermore, multiple objective evaluation metrics are significantly improved compared to those of current mainstream algorithms.

Graphical abstract

关键词

图像处理 / 图像去雾 / 金字塔结构 / 细节增强 / 分层抑噪

Key words

image processing / image dehazing / pyramid structure / detail enhancement / layered noise suppression

引用本文

引用格式 ▾
杨燕,沈汪良. 多尺度细节增强与分层抑噪的图像去雾算法[J]. 吉林大学学报(工学版), 2025, 55(12): 4010-4023 DOI:10.13229/j.cnki.jdxbgxb.20240538

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

雾霾天气下获得的图像通常存在信噪比下降、色彩失真、信息丢失等问题,会对视觉导航、模式识别和自动驾驶等一系列高级计算机视觉任务产生严重影响1。因此,有效恢复清晰无雾图像成为当前的研究热点。目前,现有图像去雾算法可分为以下3类:基于非物理模型、基于物理模型及基于深度学习。

基于非物理模型的图像去雾算法通过增强图像细节、强化图像边缘结构特征等方式提升去雾效果,该类算法操作简单且提高了图像的视觉质量,但其复原图像通常存在色彩失真、细节信息模糊等问题,代表算法包括直方图均衡化算法2-4、基于小波变换的去雾算法56、基于同态滤波的去雾算法7、基于Retinex变换的去雾算法89等。随着深度学习技术广泛应用于计算机视觉任务,基于卷积神经网络(Convolutional neural network, CNN)10-14和生成对抗网络(Generative adversarial network,GAN)15-19等多种深度学习架构的去雾算法得到了深入研究,然而该类算法在数据集构建、算法稳定性和算力提升等方面仍面临巨大的挑战。基于物理模型的图像去雾算法本质上是一种图像复原算法,大量学者在此基础上展开了深度研究。Meng等20通过建立传输函数的几何边界约束将去雾任务转化为对透射率的优化问题,并利用变量分裂的高效算法求解透射率;王柯俨等21采用多阈值方法分割天空区域,并分别求解天空区域与非天空区域的透射率,避免大片高亮物体的干扰;Kim等22提出了一种基于饱和度的去雾算法,使用场景反射的饱和度求解得到透射图;Liu等23引入了自适应天空补偿项解决噪声放大问题,但该算法无法有效区分图像中的高亮区域与天空区域;高原原等24在大气散射模型中引入噪声项,分析了传统去雾算法噪声放大的原因。虽然上述研究在图像去雾领域取得了一定进展,但均未充分考虑去雾过程中有雾图像的噪声放大问题,且去雾后复原图像的细节信息模糊。

针对上述问题,本文提出了一种基于拉普拉斯金字塔的多尺度细节增强与分层抑噪的图像去雾算法,该算法包括多尺度细节增强与多尺度分层抑噪去雾两部分。首先,多尺度细节增强算法通过将有雾图像分解为包含高频信息的细节层与包含低频信息的模糊层,实现对图像局部细节特征的增强;其次,在求解得到准确的大气光值与透射率后,使用多尺度分层抑噪去雾算法对细节层与模糊层分别去雾;最后,将各层去雾结果融合得到无雾图像。本文通过所提的非局部加权平均算法有效减少暗直接衰减先验(Dark direct attenuation prior,DDAP)估计初始透射率时引起的形态学伪影,并利用小半径的加权引导滤波(Weighted guided lmage filter,WGIF)进一步细化透射图,以保留图像中的精细结构。实验结果表明,所提算法有效避免了去雾过程中的噪声扩散并增强了复原图像的细节信息,同时避免了噪声对透射率与大气光值估计的干扰,在改善主观视觉效果和提升图像质量等方面展现出明显优势。

1 多尺度细节增强

在图像去雾任务中,受不同程度雾气影响,有雾图像整体亮度增强,且部分区域存在过亮或过暗的问题,导致去雾后图像细节特征恢复效果欠佳,上述情况类似于图像过曝光或欠曝光。本文提出了一种基于拉普拉斯金字塔的多尺度细节增强算法,对有雾图像进行预处理,增强其细节特征,使得去雾后的复原图像细节更加丰富,具体算法流程如图1所示。

首先,通过伽马矫正改变图像的全局亮度25,生成曝光程度不同的有雾图像,图像伽马矫正过程为:

I(x)pI(x)γ

式中:pγ均为正实数的校正因子,本文p=1。

图2所示,基于伽马矫正的图像曝光调节以γ=1为分界线;当γ>1时,图像亮度整体降低,高灰度区域动态范围扩大,高亮度区域细节更加清晰;当γ<1时,图像整体亮度提高,低灰度区域动态范围扩大,低亮度区域细节增强。选择不同的γ{γ1,γ2,,γM-1,γM}对有雾图像I(x)进行曝光,生成一组多曝光图像[I0,I1,I2,,Ii,,IM-1,IM],其中I0表示原始有雾图像。图3展示了两种不同曝光程度的图像对比,可见通过不同参数值曝光的图像能增强不同区域的细节。

其次,将生成的多曝光图像通过下式融合:

Q(x)=i=0MWi(x)Ii(x)

式中:M为不同曝光图像Ii(x)的数量;Q(x)为多尺度融合后细节增强的图像;Wi(x)为不同曝光图像对应的权重。

为保持Q(x)在有效范围内,将权重Wi(x)归一化(i=0MWi(x)=1),权重函数的选择直接决定多尺度融合图像的质量。

在图像多曝光融合任务中,现有研究提出了多种不同权重函数的选择方案26-28。针对图像去雾任务,雾气的主要影响是造成图像对比度与饱和度下降、图像细节信息丢失的主要原因29。因此,本文选择对比度C与饱和度S的乘积作为加权融合的权重函数:

W(xj)=C(xj)·S(xj)
C(xj)=2I(x)x2(xj)+2I(x)y2(xj)
S(xj)=
cR,G,BIc(xj)-IR(xj)+IG(xj)+IB(xj)32

式中:IR(xj)IG(xj)IB(xj)分别为像素点xj(x,y)处RGB三色通道的像素值;对比度C(x)为使用拉普拉斯响应绝对值表示的对比度;饱和度S(x)为使用3个颜色通道的标准差表示的饱和度。

若直接通过式(2)式(3)融合多曝光图像集合[I0,I1,I2,,Ii,,IM-1,IM],会导致融合后的图像轮廓信息过度增强,严重失真30。因此,本文将结合经典的图像高斯金字塔和拉普拉斯金字塔,采用多尺度融合的方式获取细节增强后的图像Q(x)图4展示了基于3层金字塔的两张不同曝光图像的多尺度融合过程。

图4所示,对伽马矫正生成的多曝光图像[I0,I1,I2,,Ii,,IM-1,IM]分别构建高斯金字塔[GIi{1},GIi{2},,GIi{N}]和拉普拉斯金字塔[LIi{1},LIi{2},,LIi{N-1}],构建过程如下:

GIi{nlev+1}=Gd[GIi{nlev}]
LIi{nlev}=GIi{nlev}-Gd-1[G˜Ii{nlev+1}]

式中:Gd[·]为高斯分解运算符;Gd-1[·]为高斯分解逆运算符;GIi{·}LIi{·}分别为图像Ii的高斯变换和拉普拉斯变换;G˜Ii{·}为高斯变换的逆过程上采样得到的图像;nlev为金字塔对应层数(1nlevN)

每进行一次高斯分解,图像大小变为前一层的1/4。拉普拉斯金字塔得到的是对应曝光图像Iinlev尺度上的边缘细节特征图,需要注意,G˜Ii{N}=GIi{N}

根据式(3)得到多曝光图像集合[I0,I1,I2,,Ii,,IM-1,IM]的权重图[W0,W1,W2,,Wi,,WM-1,WM],为将不同尺度多曝光图像跨尺度融合,为每个权重图分别构建一个与对应曝光图像尺度相同的高斯金字塔[GWi{1},GWi{2},,GWi{N}],构建过程为:

GWi{nlev+1}=Gd[GWi{nlev}]

最后,结合式(2)将拉普拉斯分解得到的所有多尺度细节层LIi{nlev}与相应尺度权重图相乘再相加,并上采样至与原始图像I0维度相同,得到细节增强后的细节层Qd,其中包含图像的高频信息;将高斯分解不同曝光图像得到的最小尺度图像[GI0(N),GI1(N),GI2(N),,GIi(N),,GIM-1(N),GIM(N)]与相应尺度权重图相乘再相加,得到模糊层Qb,其中包含图像的低频信息。细节层Qd与模糊层Qb的数学表达式分别为:

Qd=Gd(m,n)-1[LI0{1}·GW0{1}+LI1{1}·GW1{1}++LIM{1}·GWM{1}]+Gd(m,n)-1[LI0{2}·GW0{2}+LI1{2}·GW1{2}++LIM{2}·GWM{2}]++Gd(m,n)-1[LI0{N-1}·GW0{N-1}+LI1{N-1}·GW1{N-1}++LIM{N-1}·GWM{N-1}]=Gd(m,n)-1[Qd{1}]+Gd(m,n)-1[Qd{2}]++Gd(m,n)-1[Qd{N-1}]=nlev=1N-1Gd(m,n)-1[Qd{nlev}]
Qb=Gd(m,n)-1[GI1{N}·GW1{N}]+Gd(m,n)-1[GI2{N}·GW2{N}]++Gd(m,n)-1[GIM{N}·GWM{N}]=i=1MGd(m,n)-1[GIi{N}·GWi{N}]

式中:Qd{nlev}=i=1MLIi{nlev}·GWi{nlev}为第nlev层拉普拉斯金字塔加权融合后的细节层;Gd(m,n)-1[·]为将小尺度图像上采样至与原图维度(m,n)相同的运算符。

细节增强前后及其对应的复原结果如图5所示,融合增强后的图像相较于原始有雾图像细节与边缘信息更加丰富,且去雾后的无雾图像相较于未增强直接去雾的结果细节更加清晰。为进一步验证细节增强算法的有效性,使用新增可见边比(e)、平均梯度(r)和信息熵(s)3项客观指标进行量化比较31,其值越高,代表复原图像细节越丰富、可见性越强。3种客观指标对比如图6所示,可见与未增强直接去雾的结果相比,细节增强后去雾的结果3项指标均明显提高。

2 多尺度分层抑噪去雾

通过多尺度细节增强算法获得了细节与边缘信息更加丰富的预处理图像Q(x)以及包含高频信息的细节层Qd(x)、包含低频信息的模糊层Qb(x)。本节进一步提出了一种多尺度分层抑噪去雾算法(算法流程如图1上半部分所示),以解决噪声放大的问题。该算法的主要思想如下:图像的噪声主要集中于高频分量,低频分量包含的噪声极少且不影响图像整体质量。因此,针对这一特点采用分层处理的策略,对细节层与模糊层分层去雾再融合即可得到最终的无雾图像。本文的透射率和大气光值均在原始有雾图像I0的高斯金字塔模糊层G˜I0{2}上估计,能有效避免噪声及边缘特征的影响。

2.1 大气散射模型

假设I(x)J(x)分别为有雾图像与无雾图像,大气散射模型表达式为3233

IC(x)=JC(x)t(x)+AC(1-t(x))

式中:C{R,G,B}为红、绿、蓝3种颜色通道;AC为大气光值;t(x)为透射率,在传输系数β(>0)和景深距离d已知的情况下能通过e-βd直接求取。

式(11)可知,一旦获得大气光值AC与透射率t(x)便可通过式(12)恢复无雾图像:

J(x)=I(x)-Amax{t(x),α}+A

式中:tl为一个较小的常数,用于避免分母取值接近于0导致等式无效。

2.2 分层抑噪

传统大气散射模型并未考虑有雾图像中噪声的干扰,本节将进一步分析噪声对无雾图像恢复效果的影响。包含噪声的有雾图像表示为:

I(x)=I0(x)+n(x)

式中:I0(x)为不包含噪声的有雾图像;n(x)为噪声。结合式(12)式(13),无雾图像可进一步表示为:

J(x)=I0(x)-Amax{t(x),α}+A+n(x)max{t(x),α}

去雾过程中,式(14)n(x)/max{t(x),α}>n(x),且max{t(x),α}(0,1),若忽略噪声的影响,会导致透射率较低的远景区域噪声严重放大。

为解决此问题,本文设计了一种基于金字塔结构的多尺度分层抑噪去雾算法,并结合单幅有雾图像分析该算法,进而论证其对多曝光融合后形成的细节层与模糊层图像同样适用。

单幅包含噪声的有雾图像I经拉普拉斯分解后,每层高斯层均满足大气散射模型,由式(6)(11)可得:

GI{nlev}=GJ{nlev}Gt{nlev}+
GA{nlev}(1-Gt{nlev})

式(7)式(15)可知:

LI{1}=I-Gd-1{I˜(2)}           =(J-Gd-1{J˜(2)})t+n
    =LJ{1}Gt{1}+Ln{1}

式中:GJ{nlev}为清晰图像J高斯金字塔的第nlev层;Gt{nlev]为透射率t高斯金字塔的第nlev层。

以此类推可得出:

GI{N}=(GJ{N}-GA{N})Gt{N}+GA{N}LI{nlev}=LJ{nlev}Gt{nlev}+Ln{nlev}

式(17)可以看出,经分解后噪声仅存在于拉普拉斯变换得到的细节层中,模糊层不存在噪声。因此,在大气光值与透射率已知的情况下,通过式(17)分层去雾,再将不同尺度恢复的图像融合即可得到去雾图像。

模糊层为:

GJ{N}=GI{N}-GA{N}max{Gt{N},α}+GA{N}

细节层为:

LJ{nlev}=LI{nlev}-Ln{nlev}max{Gt{nlev},α}

然而,式(19)中的噪声n为假设存在,并不能获得真实的噪声图。因此,本文提出了一种替代方案,通过约束的形式抑制噪声放大,如下所示:

LJ{nlev}=1-ϕ(Gt{nlev})2nlev-1·LI{nlev}max{Gt{nlev},α}+ϕ(Gt{nlev})2nlev-1LI{nlev}

式中:ϕ(·)为约束因子,定义为:

ϕ(Gt{nlev})=11+exp32Gt{nlev}α-1

情况一:当Gt{nlev}<α时,对较远的区域进行处理,约束因子ϕ(Gt{nlev})近似于1,由式(20)可得到:

LJ{nlev}=1-12nlev-1LI{nlev}α+12nlev-1LI{nlev}

nlev=12时:

LJ{1}=LI{1}LJ{2}=LI{2}2α+12LI{2}

随着拉普拉斯金字塔层数的增加,细节层包含的噪声逐渐减少,而LI{2}/α的权重逐渐增加,说明能有效防止噪声在远景区域被放大。

情况二:当Gt{nlev}α时,对近景进行处理,约束因子ϕ(Gt{nlev})近似于0,由式(20)得到:

LJ{nlev}=LI{nlev}max{Gt{nlev},α}

这说明距离相机较近的区域细节得到增强,能有效恢复近景信息。

上述为单幅图像处理过程,本文任务是对多尺度融合后的细节层Qd(x)与模糊层Qb(x)去雾。Qd(x)Qb(x)通过多幅不同的曝光图像加权融合而成,且上述处理过程满足叠加性,因此同样适用于本文的去雾任务。

2.3 透射率估计

暗通道先验(Dark channel prior,DCP)算法34表明,无雾图像中非天空区域至少有一个颜色通道的部分像素强度较低并趋向于0,表示为:

Jdark(x)=minC{R,G,B}(minyΩ(x)(IC(y)))0

式中:Jdark(x)为无雾图像的暗通道;Ω(x)为以像素x为中心的局部区域,大小为15×15。然而,DCP算法并不适用于天空区域,因此引入一种改进的暗直接衰减先验(Dark direct attenuation prior,DDAP)算法35,可表示为:

Jρ(x)=minC{R,G,B}minyΩ(x){JC(y)t(y)}0

J(x)t(x)被定义为直接衰减。由于天空区域的像素点对应的透射率趋近于0,因此式(26)在天空区域仍然成立。结合式(11)(26),得到初始透射率表达式为:

t0(x)=1-minC{R,G,B}minyΩ(x)IC(y)A

结合雾线理论与式(11)可知,有雾图像I(x)与大气光值A分别为雾线的两个端点。在3D RGB空间中,本文以大气光平均值A¯=x=1x=QA(x)/Q作为原点(Q为像素点总数),结合式(1)可得到:

R(x)=t(x)·[J(x)-A¯]
R(x)=I(x)-A¯

R(x)用球坐标表示为:

R(x)=[r(x),θ(x),φ(x)]

式中:r(x)为到原点的距离||I(x)-A¯||θ(x)[0,2π]φ(x)[0,π]分别为方位角和极角。

式(28)可知,在与相机不同距离的同颜色像素点中仅t(x)值不同。在定义的球坐标中,t(x)仅影响r(x),不影响θ(x)φ(x)。因此,若两像素点的θ(x)φ(x)相似,则无雾图像中这两个像素点的RGB值相近,属于同一条雾线。

为确定每个像素点所属的雾线集合,根据像素的方位角和极角[θ(x),φ(x)]进行分组,采用[0,2π]×[0,π]范围内均匀分布的二维直方图确定初始雾线集合v(x){xi|xiv(x)}。然而,球体上的距离基于sinθ确定,不会生成球体的均匀采样,会导致两极附近的像素点更加密集36。为降低这种分组方式产生的误差,限制每个集合中像素点数量的上限为s,将像素点数量超过上限的集合{v(x)|xs}重新划分为多个子集合v'(x)。本文中v(x)选择π/720×π/720s选择100。

初始透射图由式(27)确定,求解每个集合中对应像素点新的透射率为:

t1(x)=x'vt0(x')x'vr(x')r(x)

式(31)是一种非局部加权平均的去伪影方式。透射率优化结果对比如图7所示,该方案可有效减少初始透射率产生的形态学伪影。

t1(x)通过加权引导滤波37进一步细化,以保留图像中的精细结构,细化后的最终透射率如图7(e)所示。引导图像为:

Q(x)=1-minc{R,G,B}Ic(x)Ac(x)

假设t(x)Q(x)满足:

t(x)=a(x')Q(x)+b(x'),xΩρ(x')

a(x')b(x')的最优解通过最小化获得:

xΩρ(x')Rx'Q(a(x')Q(x)+b(x')-
t(x))2+λa2(x')

式中:Rx'Q为边缘感知权重。现有研究表明,较小的ρ值可更好地保留精细结构38。本文的ρλ分别取20、1/1 000。

透射图细化表达式为:

t(x)=a¯(x)Q(x)+b¯(x)

式中:a¯(x)b¯(x)分别为窗口Ω(x)a(x)b(x)的平均值。

2.4 去雾

大气光值是图像去雾的另一个关键参数,本文采用一种非全局大气光值估计方法求解39。首先,找到图像G˜Ii{2}中每个像素RGB通道中的最大值作为初始大气光值;其次,对初始大气光值进行形态学闭操作,以消除图像中雾气引起的小型空洞和微小高亮区域;最后,通过交叉双边平滑滤波处理,在平滑图像的同时保留边缘信息,即可得到最终的大气光值。

得到透射率和大气光值后,结合前文所提算法分层去雾再相加,即可得到最终的无雾图像。

结合式(10)和(18),恢复模糊层为:

Jb(x)=Qb(x)-A(x)max{t(x),α}+A(x)

结合式(9)和(20),恢复细节层为:

Jd{nlev}(x)=ϕ(Gt(x){nlev})2nlev-1Qd{nlev}(x)+(1-ϕ(Gt(x){nlev})2nlev-1)Qd{nlev}(x)max{Gt(x){nlev},α}

最后,将所有恢复的细节层图像大小统一到与原始有雾图像相同,再加上恢复的模糊层即可得到无雾图像J(x)

J(x)=Jb(x)+Gd(m,n)-1[nlev=1NJd{nlev}(x)]

3 实验结果分析

为验证所提算法的有效性,本节将从主观视觉效果与客观指标两个方面对其进行评估,并与DCP34、HLP36、AMEF25、MLGP35和SGID405种算法进行对比。

3.1 参数设置

该算法需调整的参数有4个,分别为伽马矫正因子γ、金字塔层数N、雾线集合v(x)及集合中像素点数量上限s。受雾气影响,多数有雾图像存在过曝光现象,欠曝光情况较少,因此选择一组固定的伽马矫正因子γ{0.2,0.5,1,2,3,5}对原始有雾图像进行曝光处理。对于金字塔的层数,理论上层数越多图像的恢复效果越好,但层数过多会造成算法运行时间延长,实验中选择N=4可达到较好的恢复效果。雾线集合及s值的选择会直接影响去伪影效果,划分的集合太大会造成恢复的图像颜色失真(如图8(c)中框选的路面区域),划分的集合太小会造成去伪影不彻底(如图8(a)中框选的电线杆边缘)。

图8(a):s=50,π/720×π/720图8(b):s=100,π/720×π/720图8(c):s=100,π/360×π/360图8同时展示了上述3种情况下,er两项客观指标的值。主客观结果表明,v(x)选择π/720×π/720s选择100,能达到较好的去雾效果。

3.2 主观评价

图9为本文所提算法与5种对比算法对包含大片天空区域真实有雾图像的去雾效果对比,其中Hazy表示有雾图像。图像(1)、(2)为浓雾场景,(3)、(4)为中雾场景,(5)为薄雾场景,红色方框中的图像为对应图像的局部细节放大。从图9中可以看出,DCP与HLP算法复原的图像天空区域严重失真,整体亮度偏暗,恢复的细节信息比较模糊;AMEF算法复原的图像天空区域虽未失真,但去雾不彻底,该问题在浓雾与中雾图像中更为明显;MLGP算法复原的图像饱和度高、对比度低,局部细节信息不清晰且天空区域存在偏色;SGID算法仅对薄雾图像的近景恢复效果较好(如图像(5)的复原效果),对中雾与浓雾图像的复原存在严重的去雾不彻底问题,且天空区域出现黑色失真;本文算法对薄雾图像复原效果最佳,对中雾与浓雾图像的近景恢复效果较好,远景处虽存在少量雾气残留,但建筑物的轮廓基本恢复。相较于对比算法,本文算法复原的图像整体色彩鲜艳,天空区域恢复效果更加真实、无失真,细节信息更加丰富,各类场景轮廓也更加清晰。

图10为本文所提算法与5种对比算法对不包含大片天空区域真实有雾图像的去雾效果对比。从图10中可以看出,DCP算法复原的该类图像亮度过高或过低;HLP算法复原的图像出现偏色(如图像(10)的复原效果);AMEF和SGID算法对5幅图像都存在去雾不彻底的问题;MLGP算法复原的图像具有高饱和度、低对比度的特点;本文所提算法复原的图像去雾彻底,亮度、对比度和饱和度更真实,纹理细节信息更丰富(如对图像(9)右下角矮墙及图像(10)看台部分的复原效果),整体视觉效果更好。

图11图12分别为不同算法在I-HAZY41和RESIDE42数据集上的去雾效果对比,其中GT为清晰图像。DCP、HLP、AMEF和MLGP 4种对比算法在这两个数据集上的去雾效果与真实雾图的去雾效果基本相同,例如,DCP与HLP算法复原的图像整体亮度失真,AMEF算法复原的图像去雾不彻底,MLGP算法复原的图像过饱和。SGID算法在I-HAZY数据集上的去雾效果较差,复原的图像均出现不同程度的失真;在RESIDE数据集上的去雾效果较好,但对天空区域的恢复效果不及本文所提算法(如图像(18)、(19)的复原效果)。虽然本文算法在处理两个数据集的个别图像时存在少量雾气残留(如图像(11)的复原效果)和轻微偏色(如图像(14)、(15)白墙的复原效果)的问题,但相较于对比算法仍展现出显著的优势,复原的无雾图像在清晰度上显著提升,视觉效果得到了明显改善。

3.3 客观评价

选用新增可见边之比(e)、平均梯度(r)、信息熵(s)、图像可见度度量(Image visibility metric, IVM)和视觉对比度(Visual contrast,VC)5项客观指标1比较不同算法对真实有雾图像的去雾性能31,结果如表1所示。选用峰值信噪比(Peak signal-to-noise ratio,PSNR)43和结构相似度(Structural similarity,SSIM)44两项全参考客观指标2比较不同算法对合成有雾图像的去雾性能,结果如表2所示。各项指标值越大,表示去雾后得到的无雾图像质量越高,加粗的数据为各项指标最优值,不同算法各项指标的排名情况如图13所示。

结合表1表2图13可以看出,本文所提算法的er、VC、PSNR和SSIM 5项客观指标均优于其他对比算法,s和IVM两项指标分别仅次于MLGP和HLP算法。相较于对比算法,各项客观指标表明本文所提算法对有雾图像边缘与纹理信息、视觉对比度和清晰度的复原均取得了较好的效果。

4 结束语

本文提出了一种基于金字塔结构的多尺度细节增强与分层抑噪的图像去雾算法,旨在解决去雾过程中有雾图像包含的噪声放大及去雾后复原图像细节特征模糊的问题。结合多曝光图像融合技术构建多尺度细节增强算法对有雾图像预处理,以增强其纹理细节特征;为减少复原图像的形态学伪影,设计了一种非局部加权平均算法优化初始透射率;为复原清晰图像,进一步设计了多尺度分层抑噪去雾算法,结合数学方法抑制噪声放大,减少去雾图像因噪声引起的失真。实验结果表明,本文算法复原的清晰图像纹理细节更丰富、清晰度更高,客观评价指标较对比算法显著提升。

参考文献

[1]

Thejas K, Chandra S. Autonomous bot using machine learning and computer vision[J].SN Computer Science, 2021, 2(4): 251.

[2]

Hassan N, Ullah S, Bhatti N, et al. A cascaded approach for image defogging based on physical and enhancement models[J]. Signal, Image and Video Processing, 2020, 14(5): 867-875.

[3]

Haller I, Nedevschi S. Design of interpolation functions for subpixel-accuracy stereo-vision systems[J]. IEEE Transactions on Image Processing, 2012, 21(2): 889-898.

[4]

Soni B, Mathur P. An improved image dehazing technique using CLAHE and guided filter[C]//2020 7th International Conference on Signal Processing and Integrated Networks (SPIN), Noida, India, 2020:902-907.

[5]

Sarkar M, Sarkar P R, Mondal U, et al. Empirical wavelet transform‐based fog removal via dark channel prior[J]. IET Image Processing, 2020, 14(6): 1170-1179.

[6]

Sankar M R, Krishna P R, Yamini A,et al. Optimization of single image dehazing based on stationary wavelet transform[C]∥Proceedings of the International Conference on Cognitive Computing and Cyber Physical Systems, Hainan, China, 2023: 414-421.

[7]

Su C, Li Z, Wei Z L, et al. Clarity method of low-illumination and dusty coal mine images based on improved Amef[J]. Informatica, 2023, 47: 101-114.

[8]

张驰, 谭南林, 李响, . 基于改进型Retinex算法的雾天图像增强技术[J]. 北京航空航天大学学报,2019, 45(2): 309-316.

[9]

Zhang Chi, Tan Nan-lin, Li Xiang, et al. Foggy image enhancement technology based on improved Retinex algorithm[J]. Journal of Beijing University of Aeronautics and Astronsutics, 2019, 45(2): 309-316.

[10]

Wang J B, Lu K, Xue J, et al. Single image dehazing based on the physical model and MSRCR algorithm[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(9): 2190-2199.

[11]

Cai B L, Xu X M, Jia K, et al.DehazeNet: an end-to-end system for single image haze removal[J]. IEEE Transactions on Image Processing, 2016, 25(11): 5187-5198.

[12]

Frants V, Agaian S, Panetta K. QCNN-H: Single-image dehazing using quaternion neural networks[J]. IEEE Transactions on Cybernetics, 2023, 53(9): 5448-5458.

[13]

李硕士, 刘洪瑞, 甘永东, . 基于残差密集块与注意力机制的图像去雾网络[J]. 湖南大学学报: 自然科学版, 2021, 48(6): 112-118.

[14]

Li Shuo-shi, Liu Hong-rui, Gan Yong-dong, et al. Image dehazing network based on residual dense block and attention mechanism[J]. Journal of Hunan University (Natural Sciences), 2021, 48(6): 112-118.

[15]

Lyu Z, Chen Y, Hou Y M. MCPNet: Multi-space color correction and features prior fusion for single-image dehazing in non-homogeneous haze scenarios[J]. Pattern Recognition, 2024, 150: No.110290.

[16]

Yi W C, Dong L Q, Liu M, et al. Priors-assisted dehazing network with attention supervision and detail preservation[J]. Neural Networks, 2024, 173: No.106165.

[17]

Wang S B, Mei X S, Kang P S, et al. DFC-dehaze: an improved cycle-consistent generative adversarial network for unpaired image dehazing[J]. The Visual Computer, 2024, 40(4): 2807-2818.

[18]

肖进胜, 申梦瑶, 雷俊锋, . 基于生成对抗网络的雾霾场景图像转换算法[J]. 计算机学报, 2020, 43(1): 165-176.

[19]

Xiao Jin-sheng, Shen Meng-yao, Lei Jun-feng, et al. Haze scene image conversion algorithm based on generative adversarial network[J]. Chinese Journal of Computers, 2020, 43(1): 165-176.

[20]

Wang P Y, Zhu H Q, Huang H, et al. TMS-GAN:a twofold multi-scale generative adversarial network for single image dehazing[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2022, 32(5): 2760-2772.

[21]

Zhang J, Dong Q Q, Song W J. GGADN: guided generative adversarial dehazing network[J]. Soft Computing, 2021, 27(3): 1731-1741.

[22]

Wang Y Z, Yan X F, Wang F, et al. UCL-dehaze:toward real-world image dehazing via unsupervised contrastive learning[J]. IEEE Transactions on Image Processing, 2024, 33: 1361-1374.

[23]

Meng G F, Wang Y, Duan J Y, et al.Efficient image dehazing with boundary constraint and contextual regularization[C]∥2013 IEEE International Conference on Computer Vision, Sydney, Australia, 2013: 617-624.

[24]

王柯俨, 胡妍, 王怀, . 结合天空分割和超像素级暗通道的图像去雾算法[J]. 吉林大学学报: 工学版, 2019, 49(4): 1377-1384.

[25]

Wang Ke-yan, Hu Yan, Wang Huai, et al. Sky segmentation and super dark channel at pixel level image to fog algorithm[J]. Journal of Jilin University (Engineering and Technology Edition, 2019, 49(4): 1377-1384.

[26]

Kim S E, Park T H, Eom I K. Fast single image dehazing using saturation based transmission map estimation[J]. IEEE Transactions on Image Processing,2019, 29: 1985-1998.

[27]

Liu Y, Shang J X, Pan L, et al. A unified variational model for single image dehazing[J]. IEEE Access,2019, 7: 15722-15736.

[28]

高原原, 胡海苗. 基于多子块协同单尺度Retinex的浓雾图像增强[J]. 北京航空航天大学学报, 2019, 45(5): 944-951.

[29]

Gao Yuan-yuan, Hu Hai-miao. Foggy image enhancement based on multi-block coordinated single-scale Retinex[J]. Journal of Beijing University of Aeronautics and Astronsutics, 2019, 45(5): 944-951.

[30]

Galdran A. Image dehazing by artificial multiple-exposure image fusion[J]. Signal Processing, 2018, 149: 135-147.

[31]

Qu L H, Liu S L, Wang M N, et al. Rethinking multi-exposure image fusion with extreme and diverse exposure levels: A robust framework based on Fourier transform and contrastive learning[J]. Information Fusion, 2023, 92: 389-403.

[32]

Xu K, Wang Q, Xiao H Q, et al.Multi-exposure image fusion algorithm based on Improved weight function[J]. Frontiers in Neurorobotics, 2022, 16: No.846580.

[33]

Yang G, Li J, Gao X B. A dual domain multi-exposure image fusion network based on spatial-frequency integration[J]. Neurocomputing, 2024, 598: No.128146.

[34]

Zhu Q S, Mai J M, Shao L. A fast single image haze removal algorithm using color attenuation prior[J].IEEE Transactions on Image Processing, 2015, 24(11): 3522- 3533.

[35]

Mertens T, Kautz J, Van R F. Exposure fusion[C]∥15th Pacific Conference on Computer Graphics and Applications (PG'07), Tokyo, Japan, 2007: 382-390.

[36]

Hautière N, Tarel J P, Aubert D, et al. Blina contrast enhancement assessment by gradient ratioing at visible edges[J]. Image Analysis and Stereology, 2008, 27(2): 87.

[37]

Nayar S K, Narasimhan S G.Vision in bad weather [C]∥Proceedings of the Seventh IEEE International Conference on Computer Vision, Corinth, Greece, 1999: 820-827.

[38]

Cantor A. Optics of the atmosphere—scattering by molecules and particles[J]. IEEE Journal of Quantum Electronics, 1978, 14(9): 698-699.

[39]

He K M, Sun J, Tang X O. Single image haze removal using dark channel prior[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, Miami, USA, 2009: 1956-1963.

[40]

Li Z G, Shu H Y, Zheng C B. Multi-scale single image dehazing using Laplacian and Gaussian Pyramids[J].IEEE Transactions on Image Processing, 2021, 30: 9270-9279.

[41]

Berman D, Treibitz T, Avidan S. Non-local Image dehazing[C]//2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, USA, 2016: 1674-1682.

[42]

Li Z G, Zheng J H, Zhu Z J, et al. Weighted guided image filtering[J]. IEEE Transactions on Image Processing, 2015, 24(1): 120-129.

[43]

Li Z G, Zheng J H. Single image de-hazing using globally guided image filtering[J]. IEEE Transactions on Image Processing, 2018, 27(1): 442-450.

[44]

杨燕, 王志伟. 基于补偿透射率和自适应雾浓度系数的图像复原算法[J]. 通信学报, 2020, 41(1):66-75.

[45]

Yang Yan, Wang Zhi-wei. Image restoration algorithm based on compensated transmittance and adaptive haze concentration coefficient[J]. Journal of Communications, 2020, 41(1): 66-75.

[46]

Bai H R, Pan J S, Xiang X G, et al. Self-guided image dehazing using progressive feature fusion[J].IEEE Transactions on Image Processing, 2022, 31: 1217-1229.

[47]

Ancuti C, Ancuti C O, Timofte R, et al. I-HAZE: A dehazing benchmark with real hazy and haze-free indoor images[C]∥Advanced Concepts for Intelligent Vision Systems:19th International Conference, ACIVS 2018, Poitiers, France, 2018: 620-631.

[48]

Li B, Ren W, Fu D, et al. Benchmarking single-image dehazing and beyond[J]. IEEE Transactions on Image Processing, 2018, 28(1): 492-505.

[49]

Huynh-Thu Q, Ghanbari M. Scope of validity of PSNR in image/video quality assessment[J]. Electronics Letters, 2008, 44(13): 800.

[50]

Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

基金资助

国家自然科学基金项目(62063014)

甘肃省高等学校产业支撑计划项目(2021CYZC-04)

兰州交通大学教改项目(JG201928)

AI Summary AI Mindmap
PDF (5138KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/