基于多尺度融合的低光照图像增强

郭依婷 ,  胡红萍 ,  杨正民

测试技术学报 ›› 2025, Vol. 39 ›› Issue (03) : 322 -329.

PDF (2420KB)
测试技术学报 ›› 2025, Vol. 39 ›› Issue (03) : 322 -329. DOI: 10.62756/csjs.1671-7449.2025040
数据采集与图像处理

基于多尺度融合的低光照图像增强

作者信息 +

Low Light Image Enhancement Based on Multi-Scale Fusion

Author information +
文章历史 +
PDF (2477K)

摘要

针对低光照图像亮度低、 对比度低、 颜色失真以及存在噪声等问题, 提出了一种基于多尺度融合的低光照图像增强方法。首先, 采用快速高效增强算法对图像进行亮度增强; 然后, 将增强后的图像由RGB颜色空间转换至 HSV 颜色空间, 对亮度分量分别使用改进的对比度限制自适应直方图均衡化、 引导滤波和锐化平滑滤波器进行处理, 得到3个亮度分量; 最后, 将处理后的3个亮度分量与相应权值通过多尺度融合后转至RGB 颜色空间, 获得最终增强图像。实验结果表明, 所提算法在评判指标上表现出优越性, 具有较好的信息熵、 自然图像质量评估和平均梯度。该算法在提升图像亮度、 细节增强和噪声去除方面具有显著效果, 能够更全面地处理图像, 有效提升图像的视觉质量和清晰度。

Abstract

To address the issues of low brightness, low contrast, color distortion, and noise in low-light images, a multi-scale fusion-based low-light image enhancement method is proposed. Firstly, a fast and efficient algorithm is employed to enhance the image brightness. Subsequently, the enhanced RGB image is transformed into the image in HSV color space, the luminance components are processed by the improved contrast limited adaptive histogram equalization(CLAHE), guided filtering, and sharp-smoothing filtering, respectively, and three luminance components are obtained. Finally, the three processed luminance components and corresponding weights are fused by multi-scale fusion, and the obtained HSV image is transformed into the image in RGB color space, and the ultimate enhanced image is attained. The experimental results show that the proposed algorithm is superior in the evaluation index and has better information entropy, natural image quality, and average gradient values. The algorithm improves image brightness, enhances details, eliminates noise significantly, processes images more comprehensively, and improves the visual quality and clarity of images significantly.

Graphical abstract

关键词

图像增强 / 多尺度融合 / 锐化平滑滤波 / 对比度限制自适应直方图均衡化

Key words

image enhancement / multi-scale fusion / sharpening and smoothing filtering / contrast limited adaptive histogram equalization (CLAHE)

引用本文

引用格式 ▾
郭依婷,胡红萍,杨正民. 基于多尺度融合的低光照图像增强[J]. 测试技术学报, 2025, 39(03): 322-329 DOI:10.62756/csjs.1671-7449.2025040

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

在现代科技的推动下, 图像处理技术在监控系统、 医学成像、 天文观测和自动驾驶等多个领域得到了广泛应用。然而, 低光照条件下拍摄的图像通常存在亮度不足、 对比度差和噪声大的问题, 这些挑战严重影响了图像质量和后续处理效果。为此, 低光照图像增强技术应运而生, 旨在提升图像的视觉质量, 提高其在各种应用场景中的实用性和效果。

低光照图像增强算法包括传统图像处理方法和深度学习方法。传统图像处理方法包括直方图均衡化算法、 基于Retinex理论的算法、 基于融合的算法等。在直方图均衡化算法方面, Sheet等[1]提出了改进的对比度限制自适应直方图均衡化滤波器, 用于处理分类后的图像, 以增强图像亮度、 降低噪声, 并调整图像的像素强度分布, 使其在处理过程中具有更一致的表现; Prince等[2]提出了对比度限制自适应和亮度保持直方图均衡方法, 保持了对比度限制自适应直方图均衡化(Contrast Limited Adaptive Histogram Equalization, CLAHE)方法生成图像的亮度, 同时调整图像的平均亮度, 以减少亮度分布的不均匀性, 从而使直方图更加平滑。Retinex算法最初由Land等[3]提出, 通过随机路径计算像素的相对亮度, 但其结果的参考性有限; Jobson等[4]提出了单尺度Retinex, 该方法利用高斯核函数估计亮度图像, 但存在对比度不足和光晕现象的问题。多尺度Retinex算法[5]对这些问题进行了改进, 提升了图像的对比度和细节。在基于融合的算法方面, Tang等[6]提出了一种用于红外与可见光图像融合的边缘梯度增强方法, 该方法显著增强了原图像中的梯度特征。

近年来, 深度学习凭借其强大的特征表示和非线性映射能力, 在图像处理领域取得了显著成果。Yang等[7]提出了一种用于弱光图像增强的集成学习方法, 有效解决了在增强弱光图像时出现的噪声、 色差和细节失真等问题; Wei等[8]提出了一种端到端的退化感知深度 Retinex 网络用于低光照图像增强, 该网络能够同时解决低亮度、 颜色失真、 噪声放大、 细节和纹理丢失以及对比度扭曲等问题。

为了在有效提升低照度图像亮度和对比度的同时, 避免图像欠增强和过增强, 本文提出了基于多尺度融合的低光照图像增强方法。首先, 运用快速高效算法对图像进行亮度增强; 然后, 将增强后的 RGB 图像转换至 HSV 颜色空间, 提取色调、 饱和度和亮度分量; 再对亮度分量分别使用改进的 CLAHE、 引导滤波和锐化平滑滤波进行处理, 以提升对比度、 增强细节和平滑噪声, 得到3个亮度分量; 将处理后的3个亮度分量与相应权值通过多尺度融合后转至RGB 颜色空间, 获得最终增强图像。

1 相关理论

1.1 CLAHE方法

CLAHE是一种高效的图像对比度增强方法[9], 它在图像的所有块上应用相同的裁剪阈值。这个关键参数为

αo=Ql[1+μ×(l-1)],

式中: Q为每个图像块的总像素数; l为输出图像的灰度级数; μ为一个在[0,1]范围内可调的参数。通过设置裁剪阈值对直方图进行裁剪后, 可以从裁剪后的图像块直方图中计算出累积分布函数。最后对周围块的值进行插值, 生成输出图像。

1.2 引导平滑锐化滤波器

引导平滑锐化滤波器[10](Sharpening-Smoothing Image Filter, SSIF)通过调节参数来实现平滑或锐化, 引导SSIF为

Jk(q)=μk+sign(ϕk)αk(Gk(q)-νk),

式中: J为过滤后的图像; I为原始图像; G为引导图像; μ为输入图像的均值; v为块k的引导图像的平均值; αk为原始图像和引导图像的样本块协方差。αk是一个正参数, 负似然可以表示为

-lgpJkq|αk=12τ2N∑q∈ΩIkq-Jkq2=Sk22αk2-ϕkαk,

式中: τ2为滤波后图像的块方差, 设τ=1; Ω为块内的像素集合; N为像素数; Sk2为引导图像的块方差, 定义为

Sk2=1N∑q∈ΩkGkq-vk2。

使用广义伽玛分布作为先验, 得到负对数后验作为代价函数D(αk),

Dαk=-lgp(Ikq|αk)-lgpαk=Sk22αk2-ϕkαk+12θ2αk2-ηlgαk,

式中: θ>0为尺度参数; η≥0为控制分布形状的参数。令ε=1/θ2, η=κε, 求解∂D/∂αk=0, 结果可以重新排列为

αk=|ϕk|Sk2+ε+|ϕk|Sk2+ε2+4κεSk2+ε。

2 本文算法

本文提出了一种基于多尺度融合的低光照图像增强方法。首先, 使用快速高效算法(Fast Efficient Algorithm, FEA)对低照度图像进行亮度增强。然后, 将增强后的RGB图像转换到HSV颜色空间, 得到色调、 饱和度和亮度分量。对亮度分量进行改进的增强CLAHE、 引导滤波和锐化处理, 以实现对比度增强、 细节提升和噪声平滑。接着, 为处理后的分量设计权值, 并通过多尺度融合得到最终的亮度分量。最后, 将融合后的亮度分量与色调和饱和度分量一起转换回RGB颜色空间, 生成最终的增强图像。本文算法的流程图如图 1 所示。

2.1 亮度增强

低光照图像整体亮度较低, 图像中的大部分区域可能会显得非常暗。对低光照图像运用简单的FEA[11], 使整体图像进行亮度提升。

FEA的步骤如下:

1) 将原始图像取反, 将暗的区域变亮, 亮的区域变暗, 使得去雾算法能够更有效地处理这些区域;

2) 对取反图像进行去雾和对比度增强处理;

3) 再次将去雾后的图像取反, 恢复图像的原始色调, 同时保留增强后的亮度和对比度;

4) 得到亮度增强后的图像。

2.2 输入设计

在提出的基于融合的方法中, 对FEA增强后的图像分别进行3种处理, 得到3个输入分量。

第1个输入分量I1为经过改进的CLAHE直接处理的图像, 可以增强图像对比度, 避免平滑区域的过度增强。第2个输入分量I2被设计用来进行细节的提升, 直接使用引导滤波[12]来计算。第3个输入分量I3使用引导平滑锐化滤波器进行处理, 实现更高的可见度和更低的噪声水平。

2.2.1 改进的CLAHE方法

传统CLAHE对所有图像块的增强效果是相同的, 忽略了不同图像块之间的信息差异。裁剪阈值会显著影响最终的效果, 裁剪阈值越大, 图像的对比度增强越明显。

为了在光滑区域实现适当的对比度增强并避免过度增强, 需要对纹理区域进行较高的增强, 对背景区域进行较低的增强。为此, 提出了一种改进的对比度限制自适应直方图均衡化算法, 该算法可以根据图像块的内容自适应地确定裁剪阈值。改进的CLAHE的裁剪阈值定义为

αe=Ql1+μ×2.55+σm+q,

式中: σ和m分别为图像块的标准差和均值; μ为经验参数, 设为0.3; q为一个很小的常数, 以避免分母等于零。

2.2.2 多尺度SSIF

SSIF在过滤过程中使用4个参数[10], 即块radius(r), Kappa(κ), Epsilon(e)和Scale(s)。设置较大的过滤器r值会产生稳定的平滑结果, 改变r值会影响每个像素位置的方差, 并产生锐化增益的变化。κ值控制滤波器的平滑或锐化增益, 如果κ>1则滤波器解释为锐化滤波器; κ<1则显示平滑滤波器的效果; κ=1则不存在滤波。设置一个较大的正则化参数e值会产生褪色的结果。s为自定义的参数。

输入图像I的滤波器输出为

S1[I]=SSIF(I),

式中: SSIF(·)为SSIF算子; S1为第一层近似图像。为了获得进一步的近似图像, 滤波输出用SSIF重复滤波,

Sj[I]=SSIF(Sj-1),

式中: j为分解层数, 并且S0=1。分解层数j处的细节图像可以通过下式获得,

DjI=Sj-1I-Sj[I]。

对于L层分解, 原始图像可以重建为

I=∑j=1LDjI+SLI。

图 2 给出了两级分解和重构的流程图。

I3=CLAHE[SL]+∑j=1LωjDj[I],

式中: ωj为任意系数; CLAHE[·]为CLAHE算子; I3为最终处理后的增强图像。

第3个输入分量I3被处理的具体步骤为: 将多尺度SSIF应用于V分量, 进行两级分解, 得到细节图像和最终的近似图像; 在最终的近似图像上应用CLAHE, 以提高图像的可见性; 使用预定义的增强系数放大每个分解级的细节图像; 最后, 将放大的细节图像与CLAHE输出相加, 重建增强后的V分量。

2.3 权重定义

在处理图像特征时, 可以结合多种权重来全面捕捉图像的基本特征。本文选择使用曝光权重[13]和色彩对比度权重[13], 由于每种权重提供的信息不同, 需要对上述权重进行归一化。

2.3.1 曝光权重

曝光权重(WB)在图像处理中通常用于调整图像的亮度或对比度, 以达到更好的视觉效果, 这里将曝光权重设置为

WB,k(x,y)=e-Ik(x,y)-0.5220.252,

式中: k=1,2,3。WB的高值意味着曝光良好的像素, 而WB的低值意味着曝光过度或曝光不足的像素。

2.3.2 色彩对比度权重

色彩对比度是图像质量的重要特征, 可以保留重要的细节。将光照与色彩信息相结合来评估对比度, 该权重基于色度滤波公式计算为

WC,k(x,y)=Ik(x,y)(1+cos(αH(x,y)+ϕ)S(x,y)),

式中: H为色调; S为原始输入图像HSV颜色空间中的饱和度; α为保持颜色对比的参数; ϕ为色轮的偏移角度。根据经验, 设置α=2, ϕ=250°。

2.3.3 最终权重

最终权重Wk由曝光权重WB和色彩对比度权重WC相乘得到

Wk(x,y)=WB,k(x,y)WC,k(x,y)。

2.3.4 归一化权重

最终权重Wk的归一化方式为

W¯k(x,y)=Wk(x,y)∑kWk(x,y)。

2.4 多尺度融合

为了获得更清晰的图像, 采用多尺度融合算法进行多幅图像特征信息互补, 从而降低图像的效果和噪声。

将每个输入分量Ik分解为拉普拉斯金字塔以提取图像特征, 每个归一化权重W¯k分解为高斯金字塔以平滑过渡。两种金字塔具有相同的层数, 混合高斯金字塔和拉普拉斯金字塔的每一层来融合金字塔,

Fl(x,y)=∑kGl{W¯k(x,y)}Ll{Ik(x,y)},

式中: l为金字塔的层数, 在本文中设置为2; Ll{Ik}为输入分量Ik的拉普拉斯图; Gl{W¯k}为归一化映射W¯k的高斯权重图。

使用式(18)获得调整后的亮度分量,

IV(x,y)=∑kW¯k(x,y)Ik(x,y)。

通过对融合金字塔的每一级求和来计算精细调整的亮度图像,

Ifinal(x,y)=∑lUd(Fl(x,y)),

式中: Ud为上采样算子, 因子为d=2l-1。将调整后的亮度分量与色调、 饱和度分量结合, 然后转换至RGB颜色空间, 获得最终的增强图像。

3 实验结果与分析

为了验证本文算法的有效性和实用性, 采用本文算法对低光照图像进行处理, 先与经典文献方法CLAHE[9], 多尺度Retinex颜色恢复算法(Multi Scale Retinex with Color Restoration, MSRCR)[14], FEA[11]和文献[13]方法进行对比, 再与基于Retinex的半解耦分解算法(Semi-Decoupled Decomposition, SDD)[15]、 文献[16]方法、 以及基于深度学习的Retinex启发的架构搜索展开(Retinex-inspired Unrolling with Cooperative Prior Architecture Search, RUAS)[17]、 零参考深度曲线估计(Zero-DCE++)[18]进行对比。

3.1 定性比较

在数据集LIME和Fushion中分别选取4张图像, 将本文算法与5种低光照图像增强方法进行比较。图 3 中从左到右分别为图像1~图像4, 图 4 中从左到右分别为图像5~图像8, 从上到下, 第1行为原图, 第2行~第5行分别展示了方法CLAHE、 MSRCR、 FEA和文献[13]方法的增强结果, 第6行为本文算法的增强结果。

从图 3 和图 4 可以看出, CLAHE方法处理后的图像对比度不足, 细节模糊; MSRCR虽然提升了亮度, 但颜色失真, 使图像充满雾感; FEA提升了亮度, 但引入了噪声和明显的边缘; 文献[13]方法则出现了块状伪影, 降低了图像的可见度和清晰度。相比之下, 本文算法在增强图像的色彩还原度和细节清晰度方面表现更佳, 更符合人眼视觉, 对不同特征的图像有不同类型的增强效果, 拥有不同的优势, 处理图像更加全面。

3.2 定量比较

为了进一步验证算法的有效性, 本文采用信息熵(Information Entropy, IE)、 自然图像质量评估(Natural Image Quality, NIQE)和平均梯度(Average Gradient, AG)进行定量比较。

IE[19]是衡量图像信息量的一个指标, 值越高表示图像包含的信息越丰富, 计算公式为

IE=-∑i=0Mp(k)log2p(k),

式中: p(k)为灰度级k的概率密度; M为最大的灰度级。

NIQE[20]用于评估图像质量的自然性和清晰度。NIQE值越低, 图像的质量越高, 更接近自然图像, 计算公式为

NIQE(v1,v2,Σ1,Σ2)=
v1-v2TΣ1+Σ22-1v1-v2,

式中: v1和v2分别为自然图像和失真图像多元高斯分布模型的均值向量; Σ1和Σ2分别为自然图像和失真图像多元高斯分布模型的协方差矩阵。

AG[21]可以用于衡量融合图像的清晰程度, 平均梯度越大, 图像清晰度越好, 融合质量越好, 计算公式为

AG =1(M-1)(N-1)∑i=1M-1∑i=1N-1H(i+1,j)-H(i,j)2+H(i,j+1)-H(i,j)22,

式中: H为融合图像; M与N为图像的高和宽。

表 1 为在LIME数据集所选取4幅图像的定量比较结果。可以看出, 本文算法在处理图像1、 2和3上IE达到最高, 在处理图像4上IE值仅次于文献[13]方法, 这说明本文算法在图像增强和信息量增加方面有明显优势; 本文算法在处理图像1、 2和4上NIQE值达到最低, 但在处理图像3上NIQE值达到次低, 这说明本文算法在图像质量的自然性和清晰度方面有较强的优势; 本文算法在处理图像1、 2和4上AG值达到最高, 而在处理图像3上AG值次于CLAHE和MSRCR算法, 这说明本文算法在图像清晰度和融合质量方面有较好的优势。

表 2 为在Fusion数据集所选取的4幅图像的定量比较结果。可以看出, 本文算法在处理图像6、 7和8上IE达到最高, 在处理图像5上IE值次于文献[13]方法和本文算法, 这说明本文算法在图像增强和信息量增加方面有明显优势; 本文算法在处理图像5、 6和8上NIQE值达到最低, 但在处理图像7上NIQE值仅优于MSRCR算法, 这说明本文算法在图像质量的自然性和清晰度方面有较强的优势; 本文算法在处理图像6、 7、 8上AG值达到最高, 而在处理图像5上AG值次于CLAHE算法, 这说明本文算法在图像清晰度和融合质量方面有较好的优势。

表 3 为基于LIME数据集得出的对比结果, 主要使用IE和NIQE这两个指标来衡量性能, 本文对该数据集中的低光照图像进行实验, 得到了该数据集下图像IE与NIQE的平均值, 并与 SDD、 文献[16]、 RUAS与Zero-DCE++的方法作进一步比较。

通过对大量的低光照图像进行实验比较, 本文算法的信息熵指标最高, 为7.334, 这意味着它在增强图像的细节和信息量方面表现最佳; NIQE指标得分最低, 为3.563, 表明其增强后的图像质量最好。因此, 本文算法展现了较好的图像信息、 较高的图像清晰度和较好的图像质量, 能够有效地实现低光照图像的增强。

4 结 论

本文提出了基于多尺度融合的低光照图像增强方法, 通过结合快速高效算法和多尺度融合技术, 得到增强后的图像。该算法有效解决了低光照图像的亮度低、 对比度低、 颜色失真及存在噪声等问题。

通过实验分析, 所提算法在评判指标上表现出优越性, 具有较好的IE、 NIQE和AG值, 在提高图像亮度、 细节增强和噪声抑制方面具有显著优势, 使得处理后的图像在视觉上更加自然和清晰, 满足各种应用场景中的需求, 但仍存在一些过曝和伪影问题, 需要继续改进。

参考文献

[1]

SHEET S S M, TAN T S, AS’ARI M A, et al. Retinal disease identification using upgraded CLAHE filter and transfer convolution neural network[J]. ICT Express, 2022, 8(1): 142-150.

[2]

PRINCE H, T B. An effective underwater image enhancement based on the fusion of CLAHE and image constancy sharpening technique[J]. Earth Science Informatics, 2024, 17(2): 1359-1372.

[3]

LAND E H, MCCANN J J. Lightness and retinex theory[J]. Journal of the Optical Society of America, 1971, 61(1): 1-11.

[4]

JOBSON D J, RAHMAN Z, WOODELL G A. Properties and performance of a center/surround retinex[J]. IEEE Transactions on Image Processing, 1997, 6(3): 451-462.

[5]

JOBSON D J, RAHMAN Z, WOODELL G A. A multiscale retinex for bridging the gap between color images and the human observation of scenes[J]. IEEE Transactions on Image Processing, 1997, 6(7): 965-976.

[6]

TANG H, LIU G, QIAN Y, et al. EgeFusion: towards edge gradient enhancement in infrared and visible image fusion with multi-scale transform[J]. IEEE Transactions on Computational Imaging, 2024, 10: 385-398.

[7]

YANG S, ZHOU D, CAO J, et al. LightingNet: an integrated learning method for low-light image enhancement[J]. IEEE Transactions on Computational Imaging, 2023, 9: 29-42.

[8]

WEI X, LIN X, LI Y. DA-DRN: a degradation-aware deep Retinex network for low-light image enhancement[J]. Digital Signal Processing, 2024, 144: 104256.

[9]

ZUIDERVELD K. Contrast limited adaptive histogram equalization[M]. Amsterdam: Elsevier, 1994: 474-485.

[10]

DENG G, GALETTO F, AL–NASRAWI M, et al. A guided edge-aware smoothing-sharpening filter based on patch interpolation model and generalized gamma distribution[J]. IEEE Open Journal of Signal Processing, 2021, 2: 119-135.

[11]

DONG X, WANG G, PANG Y, et al. Fast efficient algorithm for enhancement of low lighting video[C]//2011 IEEE International Conference on Multimedia and Expo, 2011: 1-6.

[12]

HE K, SUN J, TANG X. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[13]

FU X, ZENG D, HUANG Y, et al. A fusion-based enhancing method for weakly illuminated images[J]. Signal Processing, 2016, 129: 82-96.

[14]

PARTHASARATHY S, SANKARAN P. An automated multi scale retinex with color restoration for image enhancement[C]//2012 National Conference on Communications (NCC), 2012: 1-5.

[15]

HAO S, HAN X, GUO Y, et al. Low-light image enhancement with semi-decoupled decomposition[J]. IEEE Transactions on Multimedia, 2020, 22(12): 3025-3038.

[16]

XU Z, WANG W, CUI Z, et al. A low-light image enhancement algorithm based on optimized multi-illumination fusion[C]//2022 7th International Conference on Image, Vision and Computing (ICIVC), 2022: 549-554.

[17]

LIU R, MA L, ZHANG J, et al. Retinex-inspired unrolling with cooperative prior architecture search for low-light image enhancement[C]//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021: 10556-10565.

[18]

LI C, GUO C, LOY C C. Learning to enhance low-light image via zero-reference deep curve estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(8): 4225-4238.

[19]

郭牛, 桂志国, 刘祎, 等. 基于模糊熵的X射线图像局部对比度拉伸增强算法[J]. 测试技术学报, 2023, 37(1): 29-36.

[20]

GUO Niu, GUI Zhiguo, LIU Yi, et al. Local contrast stretch enhancement algorithm for X-ray images based on fuzzy entropy[J]. Journal of Test and Measurement Technology, 2023, 37(1): 29-36. (in Chinese)

[21]

MITTAL A, SOUNDARARAJAN R, BOVIK A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters, 2013, 20(3): 209-212.

[22]

张文璐, 刘祎, 张鹏程, 等. 基于简单射线散射模型的X射线图像增强算法[J]. 中北大学学报(自然科学版), 2021, 42(5): 441-448.

[23]

ZHANG Wenlu, LIU Yi, ZHANG Pengcheng, et al. A X-ray image enhancement algorithm based on a simple radiographic scattering model[J]. Journal of North University of China (Natural Science Edition), 2021, 42(5): 441-448. (in Chinese)

基金资助

山西省基础研究计划资助项目(20210302123019)

山西省基础研究计划资助项目(20210302124195)

山西省基础研究计划资助项目(20210302124212)

山西省基础研究计划资助项目(20210302123189)

山西省回国留学人员科研项目(2021-108)

AI Summary AI Mindmap
PDF (2420KB)

1015

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉