基于MCGN煤矿井下低光照图像增强方法研究

Research on Low-light Image Enhancement Method in Coal Mine Based on MCGN

摘要

由于煤矿井下地形环境复杂、光照受限，视频监控设备获取的图像常存在亮度不足、对比度低、颜色失真、细节信息丢失等问题.针对上述问题，提出一种基于MCGN(multiscale calibrated gating network，多尺度校准门控网络)煤矿井下多场景低光照图像增强算法，该算法由光照增强网络、细节增强网络、色彩矫正网络以及门控融合网络组成.首先，光照增强网络通过预点亮模块估计光照信息，在此基础上，级联具备空间增强注意力的光照增强模块，增强对遮挡区域和局部暗区的捕捉能力，随后引入自校准模块进一步提升图像整体曝光控制能力.其次，为丰富增强图像中纹理和边缘细节信息，设计多级残差结构构成细节增强网络，确保重要细节信息不丢失.再者，针对图像固有的以及增强过程中产生的颜色失真现象，构建色彩矫正网络和色彩损失函数，利用编解码结构将彩色图像解耦为颜色直方图，基于颜色直方图学习自然光颜色特征，以指导颜色分布矫正.最后，为实现三个网络输出图像有机融合，门控融合网络设计了一种新的门控机制，端到端学习最优融合权重，实现亮度增强、细节恢复和颜色矫正的有效平衡.实验结果表明，该算法在提升图像亮度、丰富纹理特征、还原真实色彩方面成效卓著.同时，该算法具有良好的多场景适用性和较快的推理速度，能满足煤矿井下实际需求，为煤矿安全生产提供有力的技术支撑.

Abstract

Due to the complex terrain environment and limited illumination in coal mines， images acquired by video surveillance equipment often have problems such as insufficient brightness， low contrast， color distortion， and loss of detail information. To solve the above problems， a multi-scene low-light image enhancement algorithm of a coal mine based on MCGN （multi-scale calibrated gating network） is proposed. The algorithm is composed of illumination enhancement network， detail enhancement network， color correction network， and gating fusion network. Firstly， the illumination enhancement network estimates the illumination information through a pre-lighting module. On this basis， the illumination enhancement module with spatial enhanced attention is cascading to enhance the capture ability of the occluded area and the local dark area. Subsequently， a self-calibration module is introduced to further improve the overall exposure control ability of the image. Secondly， to preserve and enhance texture and edge details， a multi-level residual structure is designed to form a detail enhancement network， ensuring that important detail information is not lost. Furthermore， in view of the inherent color distortion of the image and the color distortion generated in the enhancement process， a color correction network and a color loss function are constructed. The codec structure is used to decouple the color image into a color histogram， and the natural light color characteristics are learned based on the color histogram to guide the color distribution correction. Finally， in order to realize the organic fusion of the output images of the three networks， a new gating mechanism is designed in the gated fusion network， which learns the optimal fusion weights end-to-end to achieve an effective balance of brightness enhancement， detail restoration， and color correction. Experimental results show that the proposed algorithm is effective in improving image brightness， enriching texture features， and restoring true color. At the same time， the algorithm has good multi-scene applicability and fast reasoning speed， which can meet the actual needs of coal mines and provide strong technical support for coal mine safety production.

Graphical abstract

关键词

图像增强 / 低照度图像 / 注意力进制 / 损失函数 / 图像亮度

矿业是国民经济发展的重要支柱性产业，智能化建设是推动矿山安全发展、保障国家能源资源安全的重要举措^［1］.随着矿山智能化、数字化建设的大力推进，越来越多的视频监控、数字图像采集等视觉设备成为煤矿井下实际生产的必要设施.但是井下作业自然光照条件差，人工光源有限，且存在的大量粉尘、水雾影响光线传播，导致监控设备获取的视频图像亮度低、对比度低、颜色失真，这严重影响下游应用、决策的可靠性.因此，探索一种能够适用于煤矿井下多场景图像的增强方法，以此解决上述问题具有现实意义.

目前煤矿井下低光照图像增强算法主要有两大类^［2］.一类是传统图像增强算法，主要集中在直方图均衡算法和基于视网膜皮层（Retinex）理论增强算法.其中，直方图均衡算法是通过扩展灰度直方图中的灰度分布范围以达到改变图像整体亮度和对比度的目的^［3］.涂毅晗等^［4］为解决低光照图像增强过程中存在的欠增强、过增强问题，提出一种基于多尺度局部直方图均衡化的矿井图像增强方法，对图像进行预处理后，以多尺度分块的方式，分别进行局部直方图均衡化，但增强过程并未考虑颜色失真和细节信息丢失问题.Tian等^［5］提出一种基于改进Retinex的微光矿山图像增强算法，通过改进引导滤波算法来替换Retinex算法中的高斯滤波器，更准确地从亮度分量估计照明分量和反射分量，并提出一种先进的自适应拉伸方法来处理饱和度分量以避免颜色失真.但Retinex算法增强的光照图像往往色彩敏感且图像色彩不饱和，而利用自适应拉伸方法改变饱和度，增强效果很大程度上取决于参数的选择，并且是否可以有效解决颜色失真问题，可能会因图像内容、场景而异.张立亚等^［6］针对图像增强过程中出现图像光晕和边缘模糊现象，提出一种基于HSV空间改进融合Retinex算法的井下图像增强方法.通过改进双边滤波算法，并与多尺度Retinex算法融合，有效增强了亮度分量.但是缺乏对局部暗区的增强，Retinex算法在增强过程对光照变化较为敏感且参数较为固定，对井下多场景适用性有限^［7］.

而另一类是基于深度学习的图像增强方法.通过训练深度神经网络学习大量低光照图像的特征，以增强图像的亮度和细节.葛君超等^［8］提出一种自适应Retinex与Unet结合的算法，将图像分解为光照图和反射图后，采用Unet网络提取多尺度特征，设计损失函数以解决采集图像亮度低、对比度不足等问题.但Unet网络由于简单的卷积和池化操作，在对井下多暗区的复杂环境提取特征时，可能会出现边缘模糊、信息丢失等问题.Han等^［9］提出一种基于生成对抗网络的地下矿井低照度图像增强方法UM-GAN，通过开发一种采用编码器-解码器结构的生成器网络，利用GAN实现细节的还原、降噪和整体图像质量的提升.但目前缺少矿下成对数据集，并且采集的图像质量较差，而通过合成数据或倒置灰度图像来进行配对，这些合成的图像经过二次设计，易导致对抗生成的结果很难避免噪声或颜色失真问题.王满利等^［10］针对井下图像对比度不足、纹理细节差等问题，提出一种基于深度神经网络图像增强算法，分别设计图像分解网络、光照调整网络和反射重构网络，引入深度可分离卷积和MobileNet网络以提升网络特征提取能力和图像细节恢复能力，然后基于Retinex理论融合光照和反射分量增强光照.但并未考虑煤矿井下图像本身颜色失真，也未考虑增强过程中会过度增强某些色彩，导致图像视觉效果不自然.Yang等^［11］提出一种用于煤矿井下基于零参考学习的微光图像增强方法，利用Transformer调整模块进行局部增强，在弱光条件下增强图像的亮度、对比度和色彩保真度的同时，尽可能保留图像的空间细节.但零参考学习需要寻找一条最佳拟合曲线来调整动态范围.当图像在极端光照条件下时，图像整体像素值偏低且临近像素点像素变化不明显，导致曲线无法正常得到最优拟合，增强效果有限.

尽管目前有很多优越的低光照图像增强算法，上述研究也在相关数据集上一定程度提高了光照强度，提高了视觉效果.但由于煤矿井下环境复杂，多场景数据集匮乏，面向单一数据集研究的算法，在处理其他井下场景时，会出现增强效果较差的情况.因此，本文提出了一种面向煤矿多场景低光照图像增强算法.为验证本文算法的有效性和适应性，采用不同场景下的低照度图像展开实验分析.

1 基于MCGN煤矿多场景低光照图像增强算法

由于环境恶劣，井下作业的视频监控设备采集的图像往往呈现光照低、对比度不足、色彩失真、纹理细节不足等缺陷.鉴于此，本文提出一种多尺度校准门控网络（multi-scale calibrated gating network，MCGN）对上述低光照图像进行增强.网络结构如 图1所示.

MCGN模型由光照增强网络、细节增强网络、色彩矫正网络和门控融合网络组成.1）光照增强网络由预点亮模块、光照增强模块、自校准模块组成.输入的井下低光照图像通过预点亮模块估计光照信息，提升原始暗光图像的亮度，为后续的光照增强和细节恢复提供更多可学习空间.基于Retinex理论设计增强模块并引入空间增强注意力模块来加强矿井下遮挡暗区和局部暗区的特征捕捉能力，最后通过自校准模块控制图像的整体曝光，避免过度曝光或曝光不足.2）细节增强网络采用多级残差网络结构设计，解决输入图像细节丢失、纹理特征模糊等问题.3）色彩矫正网络利用编解码结构学习输入彩色图像中颜色直方图的颜色平衡情况，并设计色彩损失函数指导网络实现颜色的准确矫正.4）门控融合网络通过门控单元调节上述网络共享参数，自动调节各个子网络输出图像的权重，实现对多场景低光照图像的亮度、细节和颜色的最优融合，生成最终增强图像.

1.1 光照增强网络

1.1.1 预点亮模块

煤矿井下受光照条件限制，图像的动态范围通常较窄.且低光照图像中亮部和暗部的差异较大，大部分区域可能显得过暗或模糊，对其图像直接进行增强，会不可避免地放大噪声和伪影^［12］.因此，本文设计预点亮模块，其表达式如下所示：

(I_{\mathrm{p}\mathrm{r}\mathrm{e}},F_{\mathrm{p}\mathrm{r}\mathrm{e}})=\epsilon (I,L_p)（1）

L_p=\mathrm{M}\mathrm{e}\mathrm{a}{\mathrm{n}}_c(I)（2）

式中：\epsilon为预点亮模块；I为输入的低光照图片；Mean _c 表示低光照输入I沿通道维度求像素平均值的操作；L_p 为通道均值；I_pre和F_pre分别为模块输出的预点亮图像及特征.

预点亮模块结构如图2所示，首先利用核为1×1卷积融合I和L_p 的级联信息；考虑到图片中高亮度区域可以为欠曝光区域提供上下文语义信息，采用9×9深度可分离卷积提取区域间的语义信息，生成预点亮特征F_pre；最后采用1×1卷积聚焦特征图，产生预点亮图像I_pre，并与原始图像点乘获取预点亮输出.

预点亮模块通过学习区域间亮度分布的语义信息，初步补偿弱光区域光照，保留细节，并控制噪声，为后续增强提供了更优质的输入.

1.1.2 光照增强模块

在基于Retinex理论的低光照增强算法中，低照度图像和期望的清晰图像之间存在着一种联系^［13］，如式（3）所示.

S(x,y)=R(x,y)\times I(x,y)（3）

式中：S(x,y)表示原始图像；x和y为图像中像素位置；R表示物体的反射分量；I表示光照分量.通过去除式中的光照分量，即可得到期望恢复图像.因此，准确获取图像中的光照分量是恢复光照的重要目标.参考LIME算法阶段渐进式进行光照估计，流程计算如式（4）所示^［14］.

A_{n+\mathrm{1}}={\mathrm{\mathscr{H}}}_{\theta }(A_n)+A_n（4）

式中：{\mathrm{\mathscr{H}}}_{\theta }是光照增强网络；A_n 是输入的低光照特征图像.增强模块结构设计如图3所示.其光照增强网络的每个阶段包含3×3大小带有ReLU激活函数的卷积层、3×3大小带有Sigmod激活函数的卷积层、3×3大小带有BatchNorm2d和ReLU激活函数的卷积层以及SEAM注意力机制组成^［15］.

SEAM注意力机制的引入是考虑到矿井下环境掩体过多，存在部分光源遮挡情况，导致遮挡处暗光区面积较大，图像增强后仍会存在伪影和亮度不均导致图像不自然的情况.SEAM模块整体通过深度可分离卷积和残差相连接，以实现被遮挡暗区和正常曝光区的语义交换.但深度可分离卷积通过逐通道分离的操作方式，虽然可以学习不同通道的重要性并减少参数量，却忽略了通道间的信息关系.为了弥补这一劣势，不同深度卷积的输出通过点对点（1×1）卷积组合，然后使用两层全连接网络融合每个通道的信息，以增强所有通道之间的联系.这种模型希望通过学习遮挡面和未遮挡面之间的关系，来弥补遮挡情况下的亮度损失.

1.1.3 自校准模块

通过增强模块共享权重机制，可以在多阶段间学习图像强光区与弱光区的光照信息.但多阶段相对线性学习路线的设定，即每个阶段的输入都源于前一个阶段，不可避免地产生过多的积累误差和过高的推理成本^［16］.上述问题的理想情况是第一个块可以输出所需的结果，满足任务需求，并且后一个模块输出的结果与第一个模块相似.

为了解决上述问题并达到理想情况，自校准模块设计将每个阶段（第一阶段除外）的输入和第一阶段的输入联系起来，以呈现每个阶段和第一阶段的输入差异，其整体流程如图4所示，相关公式见式（5）.

\mathrm{𝒢}(x^t):\left\{\begin{array}{c}{z}^t=y-x^t\\ s^t={\mathrm{𝒦}}_{\mathit{\theta }}(z^t)\\ v^t=y+s^t\end{array}\right.\hspace{1em}（5）

式中： x^t 表示第t阶段的输入特征图；y为第一阶段的输入；{\mathrm{𝒦}}_{\mathit{\theta }}是引入的参数学习网络，可学习的参数\theta，结构如图5所示；z表示下一阶段与第一阶段的差值；s为经过参数学习网络的光照估计；v^t 是第t阶段的输出特征，同时是第t+1阶段的转换输入.

自校准模块整合每个阶段的输出和原始输入之间的差值作为输入，通过设计多个卷积块组成参数学习网络，学习并调整共享网络权重，以逐阶段减小输出与目标之间的误差，达到提高图像的光照增强效果和结构相似度的目的，而且不断校准误差能够加速每个阶段之间收敛，从而降低推理成本.

光照增强网络利用预点亮模块对不同光照条件的输入图像进行初步的光照调整，使预点亮后图像光照稳定在一定程度上，可以减少光照差异对整个后续网络的影响.引入SEAM注意力机制的光照增强模块关注复杂场景图像的光照不均、遮挡问题，通过均衡过曝局域对遮挡、欠曝区域进行提亮，可以更好地处理煤矿场景下遮挡多、光源不均问题.自校准模块则根据每个阶段不同图像具体变化情况进行权重调整，从而在面对光照各异的图像时，可以有效地校准输出，提高网络对复杂图像内容和不同光照条件的泛化能力.

1.2 细节增强网络

煤矿井下尘雾多、噪声强度高，视觉设备获取的图像往往会因为光线不足而丢失大量细节，从而导致图像边缘特征模糊，视觉质量下降.细节增强网络设计多级残差网络，旨在收集预点亮特征图的边缘、纹理信息.

细节增强网络的输入来自预点亮模块输出的点亮特征图F_pre.在直线型卷积的网络设计中加入残差层设计，可以使得网络卷积层数到一定程度后，仍然能够保留浅层信息，而浅层信息多是图像的细节信息，从而减少了边缘、纹理信息在传递过程中的损失，促进深浅层信息的流动.网络结构如图6所示.

网络采用Conv和GELU组合结构，使用小尺寸的3×3卷积核可以降低网络参数量.激活函数采用GELU，是考虑到需要增强的低光照图像像素值偏低，与卷积核进行卷积时，神经元的权重可能会出现负值，而使用普通ReLU作为激活函数时，如式（6）所示.

\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}(x)=\mathrm{M}\mathrm{a}\mathrm{x}(\mathrm{0},x)（6）

当输入权重为负值时，ReLU的对应梯度全部归为0.这会导致相应的权重得不到更新，前面网络中学习到的、本就微弱的细节信息得不到传递.因此，选用较为光滑的GELU，如式（7）所示^［17］.

\mathrm{G}\mathrm{E}\mathrm{L}\mathrm{U}(x)=xP(X\le x)=x\Phi (x)（7）

式中：\Phi (x)指的是x的高斯正态分布的累积函数，如式（8）如示.

xP(X\le x)=x{\int }_{-\mathrm{\infty }}^x\frac{{\mathrm{e}}^{-\frac{{(X-\mu )}^{\mathrm{2}}}{\mathrm{2}{\sigma }^{\mathrm{2}}}}}{\sqrt[]{\mathrm{2}\mathrm{\pi }}\sigma }\mathrm{d}X（8）

两者对比图如图7所示，其中横坐标代表函数输入x，纵坐标代表函数输出y.可以看出GELU比ReLU更加平滑.x大于0时，GELU和ReLU类似；当输入x远小于0时，GELU的输出为0；当输入x小于0且接近于0时，GELU是非线性输出，具有一定的连续性.这保证了微弱细节信息能够得到较好的保留.

1.3 色彩矫正网络

煤矿井下多场景光线不足导致视觉设备无法准确地测量三色光的强度，从而无法准确地重建图像颜色.目前大多数算法没有关注到增强图像的颜色一致性和自然性^［18］，因此经常会出现原始采集图像色彩失真和增强后图像颜色不自然两种情况.针对上述问题，本文设计了色彩矫正网络，它基于低光照图像颜色直方图学习颜色分布，调整R、G、B三个通道像素，从而保证增强后输出图像颜色不失真.颜色直方图主要描述不同颜色在整个图像中的比例，而不关心颜色的空间位置.如图8所示.

从图中可以发现，低光照图片和本文算法增强后光照图片的颜色直方图存在显著差异：低光照图片的颜色直方图其R、G、B三个通道的显示像素主要集中在较低的亮度区间，整体波动较小，较为平滑，峰值较集中且各色通道分布较紧凑.而正常光照图片的像素分布会更均匀，覆盖较宽的亮度范围，且不同亮度区域会有明显的差异.色彩矫正网络正是基于此设计，为了神经网络能够学习到颜色特征分布，设计了编码器-解码器结构.将输入的原始图像转变为可学习的彩色直方图，见式（9）.

{\mathit{C}}_{\mathrm{p}\mathrm{r}\mathrm{e}}=\mathrm{C}\mathrm{N}\mathrm{e}\mathrm{t}\left(S_{\mathrm{l}\mathrm{o}\mathrm{w}}\right)（9）

式中： C_pre是N×256的矩阵，其中N=3对应于R、G、B三个颜色通道，256则与像素值的范围一致；S_low为输入的原始图像；CNet表示色彩矫正网络的编码器-解码器结构，网络结构如图9所示.为了能够使学习到的直方图颜色分布特征更好地指导模型，学习增强前后颜色直方图特征差异，从而更好作用于颜色恢复，本文设计了颜色矫正损失函数，见式（10）.

{\mathrm{ℒ}}_{\mathrm{c}}=\frac{\mathrm{1}}{N\times \mathrm{256}}\Vert C_{\mathrm{p}\mathrm{r}\mathrm{o}}-C_{\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{t}}{\Vert }_{\mathrm{1}}（10）

式中：C_init是输入图像的直方图特征图；C_pro为增强后图像的直方图特征图.色彩矫正网络通过编解码结构学习增强前后颜色直方图特征差异，再利用设计的矫正损失，约束输入图像的颜色直方图特征向增强光照图像靠拢，从而确保图像色彩恢复和增强前后颜色不失真，视觉效果更出彩.

因为不同场景低光照输入数据在颜色方面的表现千差万别，该网络将图像统一编码成颜色直方图，无论输入的是何种具有颜色偏差的图像，它都能进行有效的表示，并利用增强前后颜色直方图差异进行矫正，从而提升了泛化能力.

1.4 门控融合网络

煤矿井下场景不同，光线强度不均、空间遮挡结构较多，且存在大量粉尘、雾气、黑色吸光物质等多干扰因素，导致目前低光照增强算法适用于单一场景，切换井下场景后，并不具有通用性，因此，增强效果并不满足实际生成要求.因此，本文设计了门控融合网络，结构如图10所示.

图10中Out_IEW代表光照增强网络的输出（output of light enhanced network），Out_DEW代表细节增强网络的输出（output of detail enhances network），Out_CCN代表颜色矫正网络的输出（output of color correction network）.整个网络由一个视觉编码器、三个门控单元组成.视觉编码器由VGG16和非线性函数组成.VGG16通过多个卷积层的堆叠，能够更好捕获输入图像的局部细节^［19］.每个门控单元接收不同网络输出的增强图像，如式（11）所示.

z=N(\sum _{i}N(f_i(x_i))w_i)（11）

式中：x_i 是三个网络输出特征；z表示融合后的增强图像；f_i （x_i ）表示由视觉解码器编码的标量输出；w_i 表示每个门控学到的对应加权；N表示归一化操作.

通过反向传播算法学习门控有效参数，并结合学习到的上下文语义，选择传递或者遗忘信息，实现对本文设计的光照增强网络、细节增强网络、色彩矫正网络的输出进行最优调节.门控网络能够自适应地组合各个网络的优势，使得最终的输出综合了各个网络长处，并且能适应不同输入下各网络输出的不同表现情况，实现对多场景低光照图像的亮度、细节和颜色的最优融合，确保本文算法在推理时，能够控制不同输入特征信息的流动，动态适应多场景低光照环境，使其在广泛的输入场景中都能输出质量相对稳定且良好的结果.

1.5 损失函数

多尺度校准门控网络使用的损失函数由保真度损失、平滑损失、色彩矫正损失组成.总损失函数如式（12）所示.

{\mathrm{ℒ}}_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}=\alpha {\mathrm{ℒ}}_{\mathrm{f}}+\beta {\mathrm{ℒ}}_{\mathrm{s}}+\gamma {\mathrm{ℒ}}_{\mathrm{c}}（12）

{\mathrm{ℒ}}_{\mathrm{f}}={{\displaystyle \sum _{t=\mathrm{1}}^T}‖x^t-(y+s^{t-\mathrm{1}})‖}^{\mathrm{2}}（13）

{\mathrm{ℒ}}_{\mathrm{s}}={\displaystyle \sum _{i=\mathrm{1}}^N}\sum _{j\in N(i)}{w}_{i,j}|x_i^t-x_j^t|（14）

w_{i,j}=\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{\sum _c{\left[({\mathit{y}}_{i,\mathrm{c}}+s_{i,\mathrm{c}}^{t-\mathrm{1}})-({\mathit{y}}_{j,\mathrm{c}}+s_{j,\mathrm{c}}^{t-\mathrm{1}})\right]}^{\mathrm{2}}}{\mathrm{2}{\sigma }^{\mathrm{2}}}\right\}（15）

式中：{\mathrm{ℒ}}_{\mathrm{f}}、{\mathrm{ℒ}}_{\mathrm{s}}、{\mathrm{ℒ}}_{\mathrm{c}}分别表示保真度损失、平滑损失、色彩矫正损失；\alpha、\beta、\gamma分别为对应损失的权重系数，本文分别设置为1.5、1、10.保真度损失是为了保证照度估计值和单个阶段的输入之间的像素级一致性.式中T是总阶段数，x^t 是第t阶段输出的光照，s^t-1为第t-1阶段估计的光照，利用保真度损失不断约束每个阶段输出.y为自校准模块中的第一阶段输入，c表示YUV颜色空间中的图像通道.N为像素总数，N（i）表示在固定尺寸区域内像素值，通过不断累积相邻区域像素差异，约束像素之间信息过渡，从而使整体图像视觉效果自然.

2 实验与结果分析

为验证本文MCGN算法在低光照的井下多场景具有普适性，采用4个不同场景数据集：CUMT-CMUID^［20］、CUMT-BelT^［21］、煤矿井下钻场目标检测数据集^［22］以及自采石膏矿井下数据集.由于井下作业光照条件差，难以获取低光照-正常光照成对数据集，本文从上述4个数据集分别筛选出140张、250张、650张、160张图像作为低光照数据集.选取目前主流低光照增强算法RRDNet^［23］、Zero-DCE^［24］、IceNet^［25］、RetinexNet^［26］、SCI对低光照数据集进行增强，根据NIQE指标和多人主观视觉，选取最优图像作为正常光照图像.最终汇集2 400张图像，进而构成1 200对矿井低光照-正常光照数据集，并按照7∶3比例划分训练集和测试集.

实验分别部署在Python 3.6和PyTorch 1.7环境下.训练所需设备包括AMD R9-7945HX CPU、NVIDIA GeForce RTX 4060显卡和16 GB内存.训练时采用批处理数据量为4.训练过程中优化器选用Adam，设置最大学习率为0.000 3，训练轮数为100个Epoch.

为了客观验证MCGN算法的有效性和优越性，分别设计定性和定量两组实验.定性实验中，将本文算法分别与MSRCR^［27］、EnlightenGAN^［28］、RRDNet、Zero-DCE、IceNet、RetinexNet、SCI、URetinexNet^［29］、PairLIE^［30］、VQCNIR^［31］算法进行主观比较，通过人眼对不同算法增强的图像进行观察和评判，从清晰度、对比度、色彩饱和度、图像整体是否自然等多个维度进行比较.定量实验中，采用峰值信噪比（PSNR）、结构相似性指数（SSIM）、信息熵（IE）、自然图像质量评价指标（NIQE）^［32］、亮度顺序误差（LOE）^［33］作为本文的评价指标，以对比本文算法与当下主流算法在各项维度上的差异.其中PSNR、SSIM、IE指标遵循值越高越优的原则，值越高表示图像质量高，图像蕴含信息丰富.LOE、NIQE指标遵循值越低越优的原则，值越低表示图像增强后没有破坏原始图像的亮度顺序和视觉一致性，所呈现的图像质量高且自然.

2.1 定性实验

定性实验依据观察者自身的视觉经验，能够直接反映人类观察者对图像质量改善的主观感受，评估那些难以通过客观指标量化的图像特质.不同算法对4个场景图像增强效果如图11所示.

由图11（a）可看出，MSRCR、Zero-DCE、RetinexNet算法增强的低光照图像存在明显的过曝光现象，视觉效果较差.EnlightenGAN增强的图像中的墙壁，呈现不自然的灰绿色.RRDNet增强的图像的整体色调偏红，出现严重的颜色失真现象.IceNet增强的图像对比度过强，导致图像整体偏暗，缺乏对光照的增强.SCI和URetinexNet算法对图像中的高亮区域进行了过度增强，导致图像中人物被大幅遮挡，并且图像细节模糊.PairLIE增强的图像画质较差，对比度较低，图像整体模糊.VQCNIR和本文算法图像较为清晰，纹理细节恢复程度高，但本文算法增强后的色调较柔和，视觉效果相对自然.

由图11（b）可看出，MSRCR、RetinexNet算法增强的图像噪声过大，画面整体模糊，且RetinexNet增强的图像，细节信息丢失较为严重.EnlightenGAN、IceNet增强的图像亮度分布整体不均匀：EnlightenGAN增强的图像亮度右边大于左边；IceNet增强的图像中间最亮，图像的上面和下面都有明显的阴影，且存在细节丢失现象，导致部分画质模糊.RRDNet增强的图像亮度整体偏暗，煤矸运输带较后位置并未得到光照增强.Zero-DCE、SCI、PairLIE增强的图像存在一定程度上的颜色失真，PairLIE增强的图像呈现黄色，Zero-DCE、SCI增强的图像色彩偏蓝灰色，并且它们的对比度、饱和度较高，视觉效果不自然.VQCNIR算法增强的图像对比度过高，导致图像运输带以外区域光照增强效果不明显.本文算法增强的图像亮度分布均匀、色彩恢复自然、细节信息保留较好.

由图11（c）可看出，MSRCR增强的图像曝光过高，图中许多细节因过度照亮而丢失.EnlightenGAN增强的图像存在明显色偏，整体偏绿，并且亮度增强效果不明显.RRDNet和IceNet增强的图像整体亮度改善有所欠缺，钻机下部也未得到照亮.Zero-DCE、RetinexNet、PairLIE算法一定程度上增强了低光照图像的光照，但是在增强过程中引入了过多噪声，导致较多纹理细节被埋没，图像中钻机部分视觉效果较差.SCI算法过度增强了高亮区域，导致图像中墙壁部分过度曝光.URetinexNet、VQCNIR和本文算法都能较好地增强光照效果，并且亮度分布均匀，但是本文算法增强的图像色彩更饱和，对比度适当，视觉效果更真实自然.

由图11（d）可看出，自制数据集的图像整体亮度较低，人工光源相对远且弱，导致较多算法存在明显的曝光和颜色失真现象.RRDNet、VQCNIR和本文算法能够较好应对低光照情形，但RRDNet增强的图像，其光照增强效果不明显，图像整体偏暗；VQCNIR增强的图像，虽然整体亮度优于本文算法，但是VQCNIR算法过度增强了光源部分，导致光源附近墙壁和地面对比度过高，影响了图像整体视觉效果.本文算法通过从局部至全局的方式对图像进行光照增强，确保亮度分布均匀且亮暗区域之间的过渡自然流畅，从而更加贴合人类的视觉感知习惯.

2.2 定量实验

定性实验难以用具体的数值或指标衡量，且不同观察者的视觉感受可能存在差异，导致结果不一，难以进行精确的比较和分析.因此利用评价指标对实验结果进行定量分析，更加可信和严谨.实验结果如表1~表4所示.

表1中本文算法相较于其他算法，PSNR、SSIM和LOE指标处于领先地位，分别为10.86、0.50和 7 225，NIQE指标在11个算法中排名第三.数据表明，本文算法在此场景下增强的低光照图像具有较低的失真和较高的清晰度，且细节部分保存良好，亮度变化平滑且自然.EnlightenGAN虽然NIQE排名第一，但其增强图像细节损失较多，导致设备边缘、纹理和形状等特征模糊，图像整体不清晰.

表2中本文算法相对于其他算法，SSIM、LOE和NIQE三个指标排名第一，分别为0.40、1239和4.19；PSNR为12.24，仅次于RRDNet，排名第二.数据显示，本文算法在此传送带场景下对图像进行光照增强处理后，图像展现出高清晰度、结构保留完好、亮度顺序自然的特点，整体视觉效果自然且质量高.RRDNet算法增强的图像，PSNR相对较高，但是增强过程中破坏了图像本身亮度变化顺序，导致亮度分布不均匀以及部分暗区失真.

表3中本文算法相对于其他算法，IE、LOE两个指标排名第一，分别为7.76、2 201，在其他各项指标上的表现也超越了大多数的对比算法.此场景中，IceNet算法增强的图像PSNR最高，值为15.43，但图像光照效果不理想，对比度过高，导致画面偏暗.EnlightenGAN增强的图像NIQE值为3.98，位列第一，但往往伴随细节信息丢失，纹理模糊，体现在其PSNR、IE和LOE指标结果表现相对较差.

表4中本文所提出的算法在五个评估指标中表现出了卓越的性能，除IE之外，其余四个指标均排名第一.数据表明，本文算法对于煤矿井下较暗场景具有较好的光照增强能力，没有出现明显的色彩失真或过度增强的问题，并且能够恢复原本暗淡、模糊的细节，有效改善图像的视觉效果.

表5对上述对比实验中各算法数据进行统计平均处理.统计数据表明本文算法在多个煤矿低光照场景下，均能够改善图像光照质量，恢复图像黯淡的色彩和细节.

2.3 消融实验

为了验证本文每个网络结构的有效性以及不同网络结构混合使用是否具有耦合性，本文设置了5组消融实验.定量结果如表6所示.

表中组2、组3实验中分别引入预点亮模块、自校准模块，四个指标均有所上升，表明本文设计的光照增强网络，能够在不破坏图像结构的同时，实现图像亮度增强.组4实验中引入细节增强网络和门控融合网络，相对组3的PSNR、SSIM和IE提升较为明显，分别提高了2.08个百分点、0.23个百分点和0.21个百分点，结果表明本文的细节增强网络可以促进低光照图像深浅层特征流动，以补充光照增强过程中纹理、细节信息的丢失.组5实验加入了色彩矫正网络，相比组4实验数据，NIQE提升最为明显，达到了3.72，结果表明本文的色彩矫正网络能够有效矫正增强过程中色彩失真现象，使增强后图像视觉效果更自然真实.而PSNR、SSIM略微下降了0.08个百分点、0.01个百分点，这是由于PSNR衡量的是两张图像间的像素差异，SSIM评估图像的结构信息相似程度.色彩矫正网络为了恢复图像真实丰富的色彩，会在局部区域或相邻像素之间损失一定的像素精准匹配度和结构信息相似程度，使局部区域间或相邻像素过渡平滑，难以避免导致二者数值出现略微下降的情况.但人眼视觉系统并非单纯依据像素精度来感知图像质量，连续渐变的色彩过渡，会带来更加自然、真实的视觉效果，数据结果体现在组5实验，相比组4实验，IE指标上升了0.07个百分点，NIQE指标下降了0.29个百分点.

总体而言，从组5消融实验可以看出，本文所提出的各项创新点均表现出了显著的耦合性和有效性.

2.4 算法耗时性实验

为了评估11种图像增强算法的效率，本文将每种算法分别应用于20幅256×256像素的低光照测试图像上，并计算了它们增强单幅低光照图像的平均耗时，结果如表7所示.

由表7可以看出，本文算法在11种算法中，排名第三，推理单幅图片仅需0.291 s.实验表明本文算法在耗时性实验中具有优秀表现，充分验证了其在矿井环境下不仅能迅速处理图像，还能有效提升低光照图像的亮度与整体质量.

3 结 论

1）针对煤矿井下地形复杂和光照受限导致的视频监控图像亮度不足、对比度低、颜色失真、细节信息丢失等问题，本文提出一种基于MCGN的煤矿井下多场景低光照图像增强算法，以获取画面清晰、光照均匀、色彩真实的井下监控图像.

2）该算法由光照增强、细节增强、色彩矫正和门控融合四个网络组成.光照增强网络通过预点亮模块和级联空间增强注意力机制提升图像亮度；细节增强网络采用多级残差网络结构丰富图像纹理和边缘细节；色彩矫正网络则利用编解码结构和色彩损失函数恢复图像真实色彩；门控融合网络通过新的门控机制实现三个网络输出的最优融合，确保图像增强效果.

3）实验结果显示，算法在提升煤矿井下图像质量方面表现出色，在自制井下弱光数据集上的PSNR、SSIMR、LOE、NIQE的指标分别为15.35、0.77、2 597、3.99.在参与比较的11种算法中，该算法在5个测试指标中占据了4个第一，彰显了其卓越性能，并且单幅图片平均推理用时仅为0.291 s.结果表明，该算法在成功实现亮度增强的同时，还兼顾了细节的恢复与颜色的精准矫正，达到了三者之间的良好平衡，展现出了强大的多场景适应能力和广泛的泛化性能，能够在不同的煤矿井下场景中发挥出色的效果.

参考文献

[1] 国家矿山安监局 应急管理部 国家发展改革委 工业和信息化部 科技部 财政部 教育部联合印发《关于深入推进矿山智能化建设促进矿山安全发展的指导意见》［J］．中国安全生产，2024，19（5）：5．

[2] The emergency management department of the state administration of mine safety，the national development and reform commission，the ministry of industry and information technology，the ministry of science and technology，the ministry of finance and the ministry of education jointly issued the guiding opinions on deepening the intelligent construction of mines and promoting the safe development of mines［J］．China Occupational Safety and Health，2024，19（5）： 5．（in Chinese）

[3] 苗作华，赵成诚，朱良建，等 ．矿井井下非均匀照度图像增强算法［J］．工矿自动化，2023，49（11）：92-99．

[4] MIAO Z H， ZHAO C C， ZHU L J，et al. Image enhancement algorithm for non-uniform illumination in underground mines［J］. Journal of Mine Automation，2023，49（11）：92-99．（in Chinese）

[5] 彭大鑫，甄彤，李智慧. 低光照图像增强研究方法综述［J］．计算机工程与应用，2023， 59（18）：14-27．

[6] PENG D X， ZHEN T， LI Z H. Survey of research methods for low light image enhancement［J］. Computer Engineering and Applications， 2023， 59（18）：14-27．（in Chinese）

[7] 涂毅晗， 汪普庆 ．基于多尺度局部直方图均衡化的矿井图像增强方法［J］. 工矿自动化， 2023， 49（8）： 94-99．

[8] TU Y H， WANG P Q. Mine image enhancement method based on multi-scale local histogram equalization［J］. Journal of Mine Automation，2023，49（8）：94-99．（in Chinese）

[9] TIAN F， WANG M J， LIU X P.Low-light mine image enhancement algorithm based on improved Retinex［J］. Applied Sciences，2024，14（5）： 2213．

[10] 张立亚， 郝博南， 孟庆勇， 等 ．基于HSV空间改进融合Retinex算法的井下图像增强方法［J］. 煤炭学报，2020，45（）：532-540．

[11] ZHANG L Y， HAO B N， MENG Q Y，et al ．Underground image enhancement method based on HSV space improved fusion Retinex algorithm［J］. Journal of China Coal Society，2020，45（Sup.1）：532-540．（in Chinese）

[12] 马龙，马腾宇，刘日升 ．低光照图像增强算法综述［J］．中国图象图形学报，2022，27（5）： 1392-1409．

[13] MA L， MA T Y， LIU R S ．The review of low-light image enhancement［J］．Journal of Image and Graphics，2022，27（5）：1392-1409．（in Chinese）

[14] 葛君超， 王利鹏 ．基于自适应Retinex算法的煤矿低光照图像增强研究［J］．金属矿山， 2024（8）：152-157．

[15] GE J C， WANG L P ．Study on low-light image enhancement in coal mine based on adaptive Retinex algorithm［J］．Metal Mine，2024（8）： 152-157．（in Chinese）

[16] HAN W W， XIAO Y G， YIN Y ．UM-GAN：Underground mine GAN for underground mine low-light image enhancement［J］．IET Image Processing， 2024， 18（8）： 2154-2160．

[17] 王满利， 张航， 李佳悦， 等 ．基于深度神经网络的煤矿井下低光照图像增强算法［J］．煤炭科学技术，2023，51（9）：231-241．

[18] WANG M L， ZHANG H， LI J Y，et al ．Deep neural network-based image enhancement algorithm for low-illumination images underground coal mines［J］．Coal Science and Technology，2023，51（9）：231-241．（in Chinese）

[19] YANG W， WANG S， WU J Q，et al.A low-light image enhancement method for personnel safety monitoring in underground coal mines［J］. Complex & Intelligent Systems，2024，10（3）： 4019-4032．

[20] CAI Y H， BIAN H， LIN J，et al ．Retinexformer：one-stage Retinex-based transformer for low-light image enhancement［C］//2023 IEEE/CVF International Conference on Computer Vision （ICCV）． Paris，France． IEEE，2023：12470-12479．

[21] WEI C， WANG W J， YANG W H，et al ．Deep Retinex decomposition for low-light enhancement［EB/OL］. 2018：1808.04560．

[22] GUO X J， LI Y， LING H B. LIME：low-light image enhancement via illumination map estimation［J］．IEEE Transactions on Image Processing， 2017，26（2）：982-993．

[23] YU Z P， HUANG H B， CHEN W J， et al ．YOLO-FaceV2：a scale and occlusion aware face detector［J］．Pattern Recognition，2024，155：110714．

[24] MA L， MA T Y， LIU R S，et al ．Toward fast，flexible，and robust low-light image enhancement［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans，LA，USA． IEEE，2022：5627-5636．

[25] HENDRYCKS D， GIMPEL K ．Gaussian error linear units （GELUs）［EB/OL］.2016：1606.08415.

[26] ZHANG Z， ZHENG H， HONG R C，et al ．Deep color consistent network for low-light image enhancement［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans，LA，USA． IEEE，2022：1889-1898．

[27] KALWAR S， PATEL D， AANEGOLA A，et al. GDIP： gated differentiable image processing for object detection in adverse conditions［C］//2023 IEEE International Conference on Robotics and Automation （ICRA）. London，United Kingdom. IEEE， 2023：7083-7089．

[28] 程德强， 陈杰， 寇旗旗， 等. 融合层次特征和注意力机制的轻量化矿井图像超分辨率重建方法［J］. 仪器仪表学报， 2022， 43（8）： 73-84．

[29] CHENG D Q， CHEN J， KOU Q Q，et al.Lightweight super-resolution reconstruction method based on hierarchical features fusion and attention mechanism for mine image［J］.Chinese Journal of Scientific Instrument，2022，43（8）：73-84．（in Chinese）

[30] 程德强， 徐进洋， 寇旗旗， 等 ．融合残差信息轻量级网络的运煤皮带异物分类［J］．煤炭学报，2022，47（3）：1361-1369．

[31] CHENG D Q， XU J Y， KOU Q Q，et al ．Lightweight network based on residual information for foreign body classification on coal conveyor belt［J］. Journal of China Coal Society， 2022， 47（3）： 1361-1369．（in Chinese）

[32] 周蔚，董立红，叶鸥，等 ．煤矿井下钻场目标检测数据集［J］．中国科学数据， 2024， 9（2）： 305-317．

[33] ZHOU W， DONG L H， YE O，et al ．A dataset of drilling site object detection in underground coal mines［J］．China Scientific Data，2024，9（2）：305-317．（in Chinese）

[34] ZHU A Q， ZHANG L， SHEN Y，et al ．Zero-shot restoration of underexposed images via robust Retinex decomposition［C］//2020 IEEE International Conference on Multimedia and Expo （ICME）. London， United Kingdom. IEEE， 2020： 1-6．

[35] GUO C L， LI C Y， GUO J C，et al ．Zero-reference deep curve estimation for low-light image enhancement［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Seattle，WA，USA． IEEE，2020：1780-1789．

[36] KO K， KIM C S. IceNet for interactive contrast enhancement［J］．IEEE Access，2021，9：168342-168354．

[37] WEI C， WANG W J， YANG W H，et al.Deep Retinex decomposition for low-light enhancement［EB/OL］.2018：1808. 04560.

[38] PARTHASARATHY S， SANKARAN P. An automated multi scale Retinex with color restoration for image enhancement［C］//2012 National Conference on Communications （NCC）. Kharagpur， India. IEEE，2012：1-5．

[39] JIANG Y F， GONG X Y， LIU D，et al. EnlightenGAN：deep light enhancement without paired supervision［J］. IEEE Transactions on Image Processing，2021，30：2340-2349．

[40] WU W， WENG J， ZHANG P， et al. URetinex-Net： Retinex-based deep unfolding network for low-light image enhancement［C］// Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New Orleans， LA， USA. IEEE，2022： 5901-5910.

[41] FU Z Q， YANG Y， TU X T，et al ．Learning a simple low-light image enhancer from paired low-light instances［C］//2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. Vancouver，BC，Canada. IEEE， 2023： 22252-22261．

[42] ZOU W B， GAO H X， YE T，et al ．VQCNIR：clearer night image restoration with vector-quantized codebook［J］. Proceedings of the AAAI Conference on Artificial Intelligence，2024，38（7）：7873-7881．

[43] MITTAL A， SOUNDARARAJAN R， BOVIK A C ．Making a “completely blind” image quality analyzer［J］.IEEE Signal Processing Letters，2013，20（3）：209-212．

[44] LI S， JIN W Q， LI L，et al ．An improved contrast enhancement algorithm for infrared images based on adaptive double plateaus histogram equalization［J］．Infrared Physics & Technology，2018，90：164-174．

基金资助

智能计算及应用安徽省重点实验室开放基金项目（AFZNJS2024KF03）