基于梯度场和非局部均值的复杂工件图像增强算法

Image Enhancement of Complex Workpiece Based on Gradient Field and Non⁃Local Mean

摘要

由于高动态X射线成像系统与工件自身结构复杂性， 复杂异形工件的射线图像往往呈现对比度低或特征信息不明确的问题。针对该问题， 本文提出基于梯度场和非局部均值降噪的图像增强算法， 提高视觉质量。首先， 基于梯度场和局部方差构建对比度的自适应增强模型， 提高射线图像的对比度； 然后， 利用非局部均值对图像进行去噪， 特别地， 本文构建了基于泊松分布的非局部均值算法进行图像去噪， 从而得到增强的对比度场； 最后， 建立能量泛函并用梯度下降法求解来获得具有微小细节的更高质量的图像。实验部分对3个复杂异形工件的X射线图像进行图像增强和缺陷检测实验， 结果证实了本文算法的有效性。

Abstract

Due to the complexity of a highly dynamic X-ray imaging system and the complex structure of the workpiece itself， X-ray images often exhibit low contrast or unclear feature information. In this work， an image enhancement algorithm was proposed based on gradient field and non-local means to improve visual quality. A contrast adaptive enhancement model was constructed based on gradient field and local variance to improve the contrast of X-ray images； Then， the image was denoised using non-local means. Specifically， this paper constructed a non-local means algorithm based on Poisson distribution for image Poisson denoising， thereby obtaining an enhanced contrast field； Finally， an energy function was established and solved by using the gradient descent method to obtain higher quality images with small details. Experiments with two typical complex workpieces were performed， and the results verified the effectiveness of the proposed approach for image enhancement and defect detection.

Graphical abstract

关键词

X射线成像 / 图像增强 / 梯度场 / 泊松分布 / 非局部均值

Key words

X-ray imaging / image enhancement / gradient field / Poisson distribution / non-local means

0 引　言

基于X射线的数字射线成像检测技术（Digital Radiograph， DR）已广泛应用于工业无损检测， 来探测复杂异形工件的内部缺陷^［1］。然而， 对于腔体结构复杂的工件， 采集到的X射线图像往往倾向于对比度低和亮度暗， 这是因为复杂工件的等效衰减厚度在投影方向上不均匀， 且通过高动态范围的X射线成像系统， DR图像的灰度范围更宽， 工件内部缺陷的灰度差异很小^［2‐3］。因此， 需要有效的图像增强方法来提升X射线图像对比度， 从而有效地观察与检测工件的内部缺陷。

由于射线图像是高动态范围图像， 常采用色调映射对图像进行处理， 从而能在普通动态范围显示器显示。色调映射可分为两类： 全局映射和局部映射。全局映射是对一幅高动态范围图像的所有像素进行点对点的映射， 常见的全局映射有伽马校正^［4］和直方图均衡^［5］， 如Zhao等^［6］基于局部统计和直方图修正模型提出了细节加权直方图均衡化方法， 以缓解峰值和抑制过度增强， 并在高频图像上实现了一种改进版的伽玛校正， 以减小噪声放大效应。然而， 全局映射不仅放大图像全局对比度， 而且在突出显示区域处难以保留图像细节信息^［7］。局部映射是根据像素的局部空间对每个像素进行不同的映射， 从而增强对比度细节。基于Retinex的算法将图像分成照明和反射分量， 通过抑制照明偏差来增强局部对比度^［8‐9］， 然而， 未能有效地抑制噪声。

近年来， 基于深度学习的方法被提出， 从而尽可能地保留图像纹理^{［10‐11］}， 如Wang等^［12］提出了一种新的循环学习结构来学习弱光和正光图像之间的映射关系， 每个网络由几个反投影块组成， 这些块学习弱光和正常光图像之间的残差， 从而增强低光图像的对比度， 然而， 有效的工业训练数据集难以获得。为避免收集和处理工业数据集， 基于偏微分方程的模型优化的方法被提出， 如Nnolim等^［13］将多种图像增强方法组合到合适的偏微分框架中以有效地提高图像视觉感知。近年来， 学者们将局部方差^［14］或局部标准差^［15］应用于图像增强， 由于图像的局部方差描述图像的波动程度对细节信息敏感， 因此， 一种自适应和局部方差相结合的方法被提出来， 提高X射线图像的对比度^{［16‐17］}， 然而， 图像在增强对比度的同时存在一定的噪声影响。

此外， 针对复杂异形工件因自身结构复杂性出现的X射线图像的低对比度、 细节信息不明显等问题， 学者们在不同的变换域中对X射线图像进行了处理并提出了多种对比度提升的方法^{［18‐19］}， 如Wang等^［20］提出了一种小波包变换和模糊集算法， 将频域和模糊域联合处理， 以提高图像的去噪和增强效果。本文提出了基于梯度场和非局部均值的复杂工件图像增强算法。与以往工作相比， 本文考虑到获得的射线图像均含有泊松噪声， 从而提出了基于泊松分布的非局部均值算法进行图像去噪， 从而在增强图像对比度的同时能有效降低噪声的影响。实验表明， 本文提出的算法能够增强图像的细节信息， 从而有效探测与识别工件的内部缺陷。

1 基于梯度场和非局部均值的X射线图像增强模型

1.1 基于梯度场和局部方差的对比度自适应提升模型

由于梯度信息对射线图像中工件的轮廓和边缘较敏感， 基于梯度场构建了自适应提升模型来提高射线图像的对比度。假设工件的射线图像为R(i,j)， 图像域为\Omega， 故在\Omega中任意点p的对比度可用该点的梯度来描述， 即^［16］：

C_R(p)=\nabla R\left(p\right)=\left(\frac{\partial R}{\partial i}\left(p\right)，\frac{\partial R}{\partial j}\left(p\right)\right),（1）

式中： C_R\left(p\right)与\nabla R\left(p\right)分别表示图像中点 的对比度和梯度。式（1）描述了灰度值变化的速度和方向， 为此构建了梯度场。为实现图像对比度的自适应提升， 需要一个合适的增益系数来处理图像， 如下式

C_{R^{\mathrm{\text{'}}}}=k\cdot C_R=\left\{\begin{array}{cc}k\cdot \nabla R,& \left|\nabla R\right|>\epsilon ,\\ \mathrm{0},& \left|\nabla R\right|\le \epsilon ,\end{array}\right.（2）

式中： C_{R^{\mathrm{\text{'}}}}表示增强图像的梯度场； k为增益系数； \epsilon为边缘和平滑区域之间的阈值。当k为常数会对强弱边缘有着相同的增强程度， 从而导致强边缘的过度放大和弱边缘的欠放大， 因此， 构建随梯度值变化的增益函数^［16］

k\left(\nabla R\right)=\mathrm{1}+\frac{\mu }{\mathrm{1}+{\left(\nabla R/C\right)}^{\mathrm{2}}},（3）

式中： \mu为放大因子， 参数值C设置为图像梯度值的90%。式（3）是基于图像自身的梯度设计的一个放大系数， 因此， 对噪声很敏感。为了降低噪声的影响， 本文通过引入局部方差得到改进的增益函数， 从而获得增强的梯度场。局部方差的定义为

{\sigma }^{\mathrm{2}}(x,y)=\frac{\mathrm{1}}{{(\mathrm{2}n+\mathrm{1})}^{\mathrm{2}}}{\displaystyle \sum _{i=-n}^n}{\displaystyle \sum _{j=-n}^n}(f(x+i,y+j)-\overline{f}{(x,y))}^{\mathrm{2}},（4）

式中： \overline{f}(x,y)为\left(\mathrm{2}n+\mathrm{1}\right)\times \left(\mathrm{2}n+\mathrm{1}\right)邻域窗口的灰度均值， 本文采用n=\mathrm{2}。则式（3）中的梯度场自适应放大系数可重新定义为

k\left({\sigma }^{\mathrm{2}}\right)=\mathrm{1}+\frac{\mu }{\mathrm{1}+{\left({\sigma }^{\mathrm{2}}/C\right)}^{\mathrm{2}}}\mathrm{。}（5）

以图像局部方差作为自变量的增益系数考虑到图像中每个像素周围相邻8个点的像素信息， 比仅考虑垂直方向上的4个相邻像素的梯度场数据更能降低对噪声的敏感程度。故式（2）中放大的对比度场可重新定义为：

G\mathrm{\text{'}}=k\left({\sigma }^{\mathrm{2}}\right)\cdot C_R=\left\{\begin{array}{cc}k\left({\sigma }^{\mathrm{2}}\right)\cdot \nabla R,& \left|{\sigma }^{\mathrm{2}}\right|>\epsilon ,\\ \mathrm{0},& \left|{\sigma }^{\mathrm{2}}\right|\le \epsilon ,\end{array}\right.（6）

式中： G\mathrm{\text{'}}为增强的梯度场。相比于式（2）， 式（6）将图像的局部方差值作为增强梯度场的约束条件， 即图像的高频部分代表的是图像中类似边缘的高频分量， 此时{\sigma }^{\mathrm{2}}较大， 低频部分代表的是图像中较为平坦的部分， 此时{\sigma }^{\mathrm{2}}较小。因此， 通过对图像的高频部分和低频部分做不同的处理， 以达到图像的增强效果。

1.2 基于泊松分布的非局部均值的梯度场降噪算法

通过对比度自适应提升模型能得到增强的梯度场G\mathrm{\text{'}}， 该梯度场在保留图像边缘与微弱细节处的梯度信息的同时， 也放大了图像中的噪声信息。在基于光子计数的成像系统中， 由于获得的射线图像均含有泊松噪声^［21］， 并充分利用泊松分布的性质， 为此， 本文考虑使用基于泊松分布的非局部均值算法对梯度场G\mathrm{\text{'}}进行去噪^［22］。根据图像泊松噪声的特性， 在每一个像素点处建立泊松分布模型

p\left(r;\lambda \right)=\frac{e^{-\lambda }{\lambda }^r}{r!},（7）

式中： r为传感器接受的光子数， \lambda为真实光子率。取待滤波像素点周围最相似的k个点组成一个非局部区域， 根据极大似然准则^［23］估计参数\lambda， 则有

\stackrel{\wedge }{\lambda }=\frac{\mathrm{1}}{k}{\displaystyle \sum _{i=\mathrm{1}}^k}{r}_i\mathrm{。}（8）

因此， 对于射线图像的任一像素点x， 均可通过非局部区域预估泊松分布p\left(r;{\lambda }_x\right)， 而全部像素点的泊松分布构成带滤波图像。对于图像中的两点p\left(r;{\lambda }_x\right)和p\left(r;{\lambda }_y\right)， 运用l_{\mathrm{2}}范数计算它们的相似性

d\left({\lambda }_x,{\lambda }_y\right)={\int }_{\mathrm{0}}^{\mathrm{\infty }}\sqrt[]{p^{\mathrm{2}}\left(r;{\lambda }_x\right)-p^{\mathrm{2}}\left(r;{\lambda }_y\right)}\mathrm{d}r\mathrm{。}（9）

将式（7）代入式（9）， 化简整理， 得

d\left({\lambda }_x,{\lambda }_y\right)={\int }_{\mathrm{0}}^{\mathrm{\infty }}\frac{{\mathrm{e}}^{-\lambda }{\lambda }^r}{r!}\sqrt[]{{{\lambda }_x}^{\mathrm{2}r}-{{\lambda }_y}^{\mathrm{2}r}}\mathrm{d}r\mathrm{。}（10）

令去噪后的图像为G， 则G中像素点x 处的灰度值

G(x)=\sum _{y\in I}\omega (x,y)*G\text{'}(y)，（11）

式中： 权值\omega \left(x,y\right)表示像素点x和y之间的相似程度

\omega \left(x,y\right)=\mathrm{e}\mathrm{x}\mathrm{p}\left(-{\displaystyle \sum _{m=\mathrm{1}}^k}d\left({\lambda }_{x,m},{\lambda }_{y,m}\right)/\rho {\lambda }_x\right),（12）

式中： {\lambda }_{x,m}为非局部区域的第m个点， \rho为滤波控制参数。

1.3 基于变分法的目标图像求解算法

为了在增强图像边缘细节信息的同时能够抑制噪声， 构建能量泛函

E\left(I\right)=\gamma {\displaystyle \underset{\Omega }{\overset{}{\iint }}}‖\nabla I‖\mathrm{d}x\mathrm{d}y+\delta {\displaystyle \underset{\Omega }{\overset{}{\iint }}}{‖\nabla I-G‖}^{\mathrm{2}}\mathrm{d}x\mathrm{d}y,（13）

式中： I为增强图像； \gamma和\delta用来平衡图像的增强与去噪。应用变分法， 式（13）的欧拉-拉格朗日方程为

\gamma \nabla \cdot \left[\frac{\nabla I}{\left|\nabla I\right|}\right]+\mathrm{2}\delta \left(\mathrm{\Delta }I-\mathrm{d}\mathrm{i}\mathrm{v}G\right)=\mathrm{0},（14）

式中： \mathrm{\Delta }和div分别为拉普拉斯算子与散度算子。

通过梯度下降迭代法^［24］对式（14）求解， 得到的离散形式为

I^{n+\mathrm{1}}=I^n-\mathrm{\Delta }t\left[\gamma \nabla \cdot \left[\frac{\nabla I^n}{\left|\nabla I^n\right|}\right]+\mathrm{2}\delta \left(\mathrm{\Delta }{I}^n-\mathrm{d}\mathrm{i}\mathrm{v}G\right)\right],（15）

式中： n为迭代次数， \mathrm{\Delta }t为时间步长， 其中将输入的图像作为初始迭代值。为了清晰显示在计算机上， 图像的取值范围应限制在\left[\mathrm{0,255}\right]， 因此， 约束条件为

I^{n+\mathrm{1}}=\mathrm{m}\mathrm{a}\mathrm{x}\left\{\mathrm{0},\mathrm{m}\mathrm{i}\mathrm{n}\left(\mathrm{255},I^{\mathrm{t}\mathrm{e}\mathrm{m}\mathrm{p}}\right)\right\}\mathrm{。}（16）

对上述射线图像对比度增强的过程进行总结， 如图 1 所示。

2 实验结果与分析

本文算法试验的硬件平台为AMD R7-5800H with Radeon Graphics @3.20 GHz； 编程实现软件为MATLAB-R2019a。采用实验室采集的工件X射线图像作为输入图像， 在实验过程中， 取迭代次数n=\mathrm{10}，\epsilon =\mathrm{2.3}， \mu =\mathrm{10}， \rho =\mathrm{1.5}， \gamma =\mathrm{0.2}， \delta =\mathrm{0.8} 时， 实验效果最好。

为了验证本文算法的可行性， 将3幅工件的X射线图像看作实验对象， 并把本文算法与自适应直方图均衡化（CLAHE）、 文献［13］的算法、 文献［17］和文献［20］的算法从主观与客观效果两方面进行比较分析。

2.1 主观效果分析

图 2展示了两个复杂异形工件的X射线图像原图， 上述3种不同增强算法以及本文算法的图像增强效果。为了突出呈现图像的细节特征信息， 用红色框圈出了图像的重点区域， 并对其进行细节放大。原图呈现出图像亮度低、 对比度低和内部细节特征信息模糊的现象。经过CLAHE算法后， 看到图像亮度增强， 然而出现了光晕现象； 通过文献［13］的算法后， 大大提升了图像的对比度与亮度， 但是细节特征信息并不明显； 文献［17］的算法显然降低了噪声影响， 增强了图像的对比度， 但未能有效地凸显局部细节； 文献［20］的算法明显增强了细节信息， 缺陷与细节部分相比上述算法有一定提升； 通过本文算法处理的图像不仅增强了图像对比度， 还降低了噪声的影响， 清晰呈现图像的细节特征信息。

2.2 客观效果分析

选择了平均梯度（Average Gradient， AG）^［25］、 信息熵（Shannon Entropy， SE）^［26］和边缘锐度值（Edge Acutance Value， EAV）^［27］作为图像质量的评价指标。较高的AG， SE和EAV值表明图像具有高对比度和更好的细节可见性， 各种算法对图像的处理结果列于表 1~表 3 中。可以看出， 相较于其他对比算法， 通过本文算法处理后， 图像的AG， SE和EAV值最高。结合上述主观效果分析和客观结果分析， 本文算法产生的增强图像在视觉上更清晰， 具有更高的对比度， 且对噪声有一定的抑制作用， 可有效地用于复杂工件X射线图像增强以探测工件内部缺陷。

3 结　论

本文旨在解决复杂异形工件的X射线图像对比度低、 亮度低以及有噪声等问题。在算法中， 考虑到获得的X射线图像均含有泊松噪声， 从而通过基于泊松分布的非局部均值算法进行图像去噪， 进而在增强图像对比度的同时能有效降低噪声的影响。除此之外， 为了提升图像的整体与局部信息水平， 通过色调映射调整图像的整体亮度， 以及局部方差衡量图像局部信息的波动程度， 最后， 构建能量泛函重建出清晰的目标图像。实验结果表明， 该算法能够提高图像的对比度和增强图像的细节特征信息， 从而有效地检测工件的内部缺陷。然而， 由于工业数据集很难获得， 因此， 本文算法未与深度学习方法进行对比。在后期工作中， 考虑对工业数据集进行仿真， 通过深度学习方法， 从而有效对工件进行缺陷检测。

参考文献

[1] 樊亚红， 刘宾， 陈平， 等. 基于轮廓先验约束的复杂异形工件CT成像方法研究［J］. 电子学报， 2020， 48（10）： 1976-1982.

[2] FAN Yahong， LIU Bin， CHEN Ping， et al. Research on CT imaging method of complex shaped workpiece based on contour prior constraint［J］. Journal of Radars， 2020， 48（10）： 1976-1982. （in Chinese）

[3] BUTLER A P H， BUTZER J， SCHLEICH N， et al. Processing of spectral X-ray data with principal components analysis［J］. Nuclear Instruments and Methods in Physics Research Section A： Accelerators， Spectrometers， Detectors and Associated Equipment， 2011，633： S140-S142.

[4] 郭牛， 桂志国， 刘祎， 等. 基于模糊熵的X射线图像局部对比度拉伸增强算法［J］. 测试技术学报， 2023，37（1）： 29-36.

[5] GUO Niu， GUI Zhiguo， LIU Yi， et al. Local contrast stretch enhancement algorithm for X-ray images based on fuzzy entropy［J］. Journal of Test and Measurement Technology， 2023，37（1）： 29-36. （in Chinese）

[6] HUANG S C， CHENG F C， CHIU Y S. Efficient contrast enhancement using adaptive gamma correction with weighting distribution［J］. IEEE Transactions on Image Processing， 2013， 22（3）： 1032-1041.

[7] SIDDIQI M H. X-ray image enhancement using global histogram equalization［C］// Proceedings of the 29th International Conference on Computer Theory and Applications （ICCTA）， IEEE， 2019： 90-95.

[8] ZHAO L F， ZHU Q D. Edge detail enhancement algorithm for high-dynamic range images［J］. Journal of Intelligent Systems， 2022， 31（1）： 193-206.

[9] 周冲， 刘欢， 赵爱玲， 等. 基于梯度场的工业X射线图像增强算法［J］. 计算机应用， 2019， 39（10）： 3088-3092.

[10] ZHOU Chong， LIU Huan， ZHAO Ailing， et al. Industrial X-ray image enhancement algorithm based on gradient field［J］. Journal of Computer Applications， 2019， 39（10）： 3088-3092. （in Chinese）

[11] HAN K， SUN M Y， ZHU X G， et al. A new method in wheel hub surface defect detection： Object detection algorithm based on deep learning［C］//Proceedings of the 2017 International Conference on Advanced Mechatronic Systems， IEEE， 2017： 335-338.

[12] 赵爱玲， 张鹏程， 刘祎. 基于Retinex和同态滤波的X射线电池图像增强算法［J］. 测试技术学报， 2021，35（2）： 128-133.

[13] ZHAO Ailing， ZHANG Pengcheng， LIU Yi. X-ray battery image enhancement algorithm based on improved Retinex and homomorphic filtering［J］. Journal of Test and Measurement Technology， 2021，35（2）： 128-133. （in Chinese）

[14] CHENG H Y， JIANG H Q， LIU Z， et al. Radiographic image enhancement method for complex components based on deep learning theory［C］//Proceedings of the 6th Information Technology and Mechatronics Engineering Conference （ITOEC）， IEEE， 2022： 913-918.

[15] WANG L W， LIU Z S， SIU W C. Lightening network for low-light image enhancement［C］//IEEE Transactions on Image Processing， 2020： 7984-7996.

[16] GOUASNOUANE O， MOUSSAID N， BOUJENA S. A nonlinear fractional partial differential equation for image denoising［C］//2021 Third International Conference on Transportation and Smart Technologies （TST）， Tangier， Morocco， 2021： 59-64.

[17] NNOLIM U A. Partial differential equation-based hazy image contrast enhancement［J］. Computers & Electrical Engineering， 2018， 72： 670-681.

[18] JUN S， LEE E， KIM S， et al. Wavelet-based enhancement of color image using combined local variance and entropy analysis［C］//Proceedings of the 2010 Digest of Technical Papers International Conference on Consumer Electronics （ICCE）， IEEE， 2010： 415-416.

[19] LI L， WANG R G， WANG W M， et al. A low-light image enhancement method for both denoising and contrast enlarging［C］//Proceedings of the 2015 International Conference on Image Processing， 2015： 3730-3734.

[20] 李辉， 陈平. 复杂异形工件射线图像对比度自适应提升算法［J］. 国外电子测量技术， 2021， 40（11）： 1-6.

[21] LI Hui， CHEN Ping. Adaptive enhancement algorithm for contrast of complicated shaped workpiece radiographic image［J］. Foreign Electronic Measurement Technology， 2021， 40（11）： 1-6. （in Chinese）

[22] CHEN Y， BAI Y， ZHANG Q， et al. Self-adaptive anisotropic image enhancement algorithm based on local variance［J］. Journal of Engineering Science and Technology Review， 2017， 10（3）： 64-72.

[23] FENG L， WANG J. Research on image denoising algorithm based on improved wavelet threshold and non-local mean filtering［C］//2021 IEEE 6th International Conference on Signal and Image Processing （ICSIP）， 2021： 493-497.

[24] 成丽波， 陈鹏宇， 李喆， 等. 基于剪切波变换和拟合优度检验的遥感图像去噪［J］.吉林大学学报， 2023， 61（5）： 1187-1194.

[25] CHENG Libo， CHEN Pengyu， LI Zhe， et al. Remote sensing image denoising based on shearlet transform and goodness of fit set［J］. Journal of Jilin University， 2023， 61（5）： 1187-1194. （in Chinese）

[26] WANG Z， WANG K， LIU Z， et al. Study on denoising and enhancement method in SAR image based on wavelet packet and fuzzy set［C］//2019 IEEE 4th Advanced Information Technology， Electronic and Automation Control Conference， 2019： 1541-1544.

[27] REMEZ T， LITANY O， GIRYES R， et al. Class-Aware fully-convolutional gaussian and poisson denoising［J］. IEEE Transactions on Image Processing， 2018. doi：10.1109/TIP.2018.2859044 .

[28] HOUDARD A， ALMANSA A， DELON J. Demystifying the asymptotic behavior of global denoising［J］. Journal of Mathematical Imaging and Vision， 2017， 59（3）： 456-480.

[29] 杨欣欣， 王志明. 改进的广义高斯分布与非局部均值图像去模糊［J］. 计算机应用研究， 2012， 29（5）： 1990-1992.

[30] YANG Xinxin， WANG Zhiming. Improved image deblurring based on combination of generalized Gaussian distribution and nonlocal-means［J］. Application Research of Computers， 2012， 29（5）： 1990-1992. （in Chinese）

[31] ZHAO W D， XU Z J， ZHAO J， et al. Variational infrared image enhancement based on adaptive dual-threshold gradient field equalization［J］. Infrared Physics & Technology， 2014， 66： 152-159.

[32] BHAT P， ZITNICK C L， COHEN M， et al. GradientShop： a gradient-domain optimization framework for image and video filtering［J］. ACM Transactions on Graphics， 2010， 29（2）： 1-14.

[33] SHANNON C E. A mathematical theory of communication［J］. Bell System Technical Journal， 1948， 27（3）： 379-423.

[34] 王鸿南， 钟文， 汪静， 等. 图像清晰度评价方法研究［J］. 中国图象图形学报， 2004， 9（7）： 828-831.

[35] WANG Hongnan， ZHONG Wen， WANG Jing， et al.Research of measurement for digital image definition［J］. Journal of Image and Graphics， 2004， 9（7）： 828-831. （in Chinese）

基金资助

国家自然科学基金资助项目(62122070)

信息探测与处理山西省重点实验室开放基金资助项目(2023-006)