低维流形正则的三重余量Wasserstein距离图像去噪模型

何瑞强 ,  马小军 ,  焦莉娟

山西大学学报(自然科学版) ›› 2026, Vol. 49 ›› Issue (02) : 272 -283.

PDF (2972KB)
山西大学学报(自然科学版) ›› 2026, Vol. 49 ›› Issue (02) : 272 -283. DOI: 10.13451/j.sxu.ns.2025039
信息科学

低维流形正则的三重余量Wasserstein距离图像去噪模型

作者信息 +

Triple Residual Wasserstein Distance Image Denoising Model with Low Dimensional Manifold Regularization

Author information +
文章历史 +
PDF (3042K)

摘要

随着现代成像技术的发展,一个成像设备瞬间可获得多幅同样内容的图像。然而,这些图像在获取、传输、存储和处理中有时难免遭受噪声污染。因此,从多幅退化图像出发,恢复一幅干净图像就成为一个现实而有意义的研究课题。本文提出一种低维流形先验正则的三重余量Wasserstein距离优化模型,并将该模型应用于图像去噪。首先,采用嵌套在高维空间中的低维流形图像先验信息,构建图像去噪模型的正则项;利用源于最优传输理论的Wasserstein距离,迫使被恢复图像的余量分布逼近参照余量分布,实现退化图像噪声估计。其次,所提模型证实,图像的低维流形正则与余量Wasserstein距离分布约束是相互补充,而非孤立无缘的;二者的巧妙结合,共同促成图像恢复性能的提升。最后,直方图匹配与加权非局部Laplacian的交替迭代优化算法,具有恢复图像效果好、实现算法效率高的特点。数值实验显示,与近年来的图像去噪方法相比,所提方法在主客观评价方面都具有优势。结果表明,本文算法比去噪性能极好的Wasserstein驱动低维流形模型(Wasserstein Driven Low-Dimensional Manifold Model, W-LDMM)和多重余量Wasserstein驱动模型(Multiple Residual Wasserstein Driven Model, MRWM)平均峰值信噪比(Peak Signal to Noise Ratio, PSNR)分别提高了1.23%和0.73%,且运算时间分别缩短了25.58%和93.21%。

Abstract

With the development of modern imaging technology, an imaging device can instantly obtain multiple images containing the same content. However, these images are sometimes difficult to avoid noise during acquisition, transmission, storage, and processing. Therefore, it is a realistic and meaningful research topic to restore a clean image from multiple degraded images. In this paper, a triple residual Wasserstein distance optimization model with low dimensional manifold prior regularization is proposed, and the model is applied to image denoising. Firstly, the regularization term of the image denoising model is constructed by utilizing the image prior information of the low-dimensional manifold nested in the high-dimensional space. By using the Wasserstein distance derived from the optimal transmission theory, the residual distribution of the restored image is forced to approximate the reference residual distribution, achieving noise estimation of degraded images. Secondly, the proposed model confirms that the regularization of low dimensional manifold in image and the constraint of residual Wasserstein distance distribution complement each other, rather than being isolated and unrelated. The clever combination of the two contributes to the improvement of image restoration performance. Finally, the alternating iterative optimization algorithm of histogram matching and weighted non local Laplacian has the characteristics of good image restoration effect and high algorithm efficiency. Numerical experiments show that compared with image denoising methods in recent years, the proposed method has advantages in both subjective and objective evaluation. The results indicate that the algorithm proposed in this paper has improved the average Peak Signal to Noise Ratio (PSNR) by 1.23% and 0.73% respectively compared to Wasserstein Driven Low-Dimensional Manifold Model (W-LDMM) and Multiple Residual Wasserstein Driven Model (MRWM), which have excellent denoising performance. Additionally, the computation time has been reduced by 25.58% and 93.21% respectively.

Graphical abstract

关键词

直方图匹配 / 先验信息 / 交替迭代 / 概率分布

Key words

histogram matching / prior information / alternate iteration / probability distribution

引用本文

引用格式 ▾
何瑞强,马小军,焦莉娟. 低维流形正则的三重余量Wasserstein距离图像去噪模型[J]. 山西大学学报(自然科学版), 2026, 49(02): 272-283 DOI:10.13451/j.sxu.ns.2025039

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

图像去噪是图像处理领域活跃的研究课题之一。图像去噪的目的是从含噪退化图像f中设法恢复潜在的原始干净图像u。一个广泛使用的图像退化模型为f=u+n1-5,其中n是高斯白噪声。现有的图像去噪方法大致可分为基于模型的方法6-8和基于学习的方法9-12。利用图像非局部自相似性特点,三维块匹配算法(Block Matching 3D,BM3D)13开创了图像去噪领域的一个里程碑。之后,借助非局部自相似性与稀疏先验知识,非局部集中稀疏表示(Nonlocally Centralized Sparse Representation, NCSR)14呈现了一种有效的图像去噪方法。通过迫使被恢复图像的梯度直方图设法逼近原始图像的参照梯度直方图,梯度直方图保留方法(Gradient Histogram Preservation, GHP)15展示了一种纹理增强的图像去噪。应用核范数最小化原理,将不同奇异值自适应加权,产生了图像恢复的加权核范数最小化方法(Weighted Nuclear Norm Minimization, WNNM)16。结合自然图像低维流形属性17-18,低维流形模型(Low Dimensional Manifold Model, LDMM)19与低维流形的推广模型(Generalization of the Low Dimensional Manifold Model, G-LDMM)20运用点积分方法(Point Integral Method, PIM)21-22和加权非局部Laplacian23开创了图像去噪的又一个先河。采用图像低维流形与余量分布逼近,Wasserstein驱动低维流形模型(Wasserstein Driven Low-dimensional Manifold Model, W-LDMM)7进一步展现了图像恢复的优势。可以发现,这些去噪方法主要利用各种不同属性的图像先验知识来恢复期待的结果。

随着现代成像技术的不断提升,一个成像设备(如手机)瞬间就可获取多幅同样内容的图像。然而这些图像在获取、传输、存储和处理时难免被噪声污染。于是,从多帧退化图像出发恢复一幅干净图像,就成为一个有意义的研究内容。基于有限样本的多线性数据,学者提出多帧图像去噪的张量奇异值分解(Tensor-Singular Value Decomposition, t-SVD)24,给出基于张量核范数惩罚的多维数据恢复算法。在三维块匹配算法基础上,借助图像帧间连接策略,三维块匹配的扩展版(Extension of the BM3D,E-BM3D)25展现了同一场景多幅图像的去噪方法。利用小波帧的属性获取图像的多尺度、多决策函数,用波的邻近特征捕捉图像的多频熵,提出基于多尺度熵的多帧图像复原方法26。通过图像总变差先验知识与多残差Wasserstein分布近似相结合,呈现了用于多帧图像去噪的多重余量Wasserstein驱动模型(Multiple Residual Wasserstein Drive Model, MRWM)27。不同于这些方法所用的图像先验信息,本文主要利用自然图像嵌套在高维空间中的低维流形结构特征17-18,结合三重余量Wasserstein距离分布逼近作用,构建优化模型来进行多帧图像去噪。

本文重点研究从三帧退化图像{fmfm=u+nm,m=1,2,3}中恢复一幅干净图像u,这里nm(m=1,2,3)是零均值标准差为σ的高斯白噪声。作为高斯分布的一种近似逼近,高斯噪声直方图具有易建构又稳定之特点;作为两个概率分布差异性的一种统计度量方式,用于图像色彩迁移28和图像分割29的Wasserstein距离30本文将被用于高斯噪声去除;同时大部分的自然图像具有低维流形结构特点。具体地,采用嵌套在高维空间中的低维流形先验知识来构建优化模型的正则项,进而用来恢复图像。利用三重Wasserstein距离来迫使退化图像余量分布逼近参照的高斯噪声直方图,从而完成噪声估计。低维流形结构图像正则与Wasserstein距离分布逼近二者是相辅相成,互相补充的,共同促成被恢复图像质量的提升。基于以上考虑,本文充分利用Wasserstein距离余量分布逼近作用和低维流形图像先验知识,提出一种流形正则化三重余量Wasserstein模型(Manifold Regularization Triple Residual Wasserstein Model, MTRW),用于多帧图像恢复。本文的创新点在于:通过Wasserstein距离将余量分布逼近嵌入到低维流形正则的图像去噪优化模型中,同时所构建的直方图匹配与加权非局部Laplacian交替迭代算法具有图像恢复效果好、算法实现效率高的特点。

1 低维流形和Wasserstein距离

作为提出模型的一个铺垫,本节简单介绍低维流形17-18和Wasserstein距离30的一些基本内容。

1.1 低维流形

uRm×n是一个m×n大小的图像。对任意像素xΩ¯={1,2,,m}×{1,2,,n},图像u的矩形像素块记为(pu)(x),其大小为s1×s2且以x为左上角像素。P(u)为图像u的全部矩形像素块构成的集合,即

P(u)={(pu)(x):xΩ¯}Rd,d=s1×s2

图像u的矩形像素块集合P(u)构成空间Rd中的一个点云。该点云常常能逼近嵌套在Rd中的光滑流形。潜在的光滑流形被称为块流形,记为(u)。基于大量自然图像的块流形往往含有低维结构的事实17-18,Osher等提出以下低维流形模型19

argminuRm×n,Rddim(), s.t.  f=Au+ε,P(u),

其中dim()表示图像块流形维数,A表示退化算子,ε是高斯白噪声,f为退化的观测图像。通过求解上述优化模型,Osher等获得了较好的图像恢复结果。

1.2 Wasserstein距离

源自最优传输原理31的Wasserstein距离30可以称为两个概率分布或直方图之间差异性的统计度量。设pq是定义在R1上的两个概率分布,它们的Wasserstein距离是下列Monge问题31的变分解:

W(p,q)=infϕ-(t-ϕ(t))2p(t)dt

其中的下确界针对一切实函数ϕ:R1R1,变量tϕ(t)分别服从概率分布pq

可以发现,(3)式为一个期望值,所以概率分布pq的Wasserstein距离还可表示为:

W(p,q)=infϕE(t-ϕ(t))2

如果将t=(t1,t2,,tn)T中的n个独立样本,看作源于概率分布p;把直方图hq视为另一个分布q的近似离散逼近。此时,离散的Wasserstein距离可以定义为:

W^(p,q)=W^(ht,hq)=minϕ1ni=1n(ti-ξ)2i,

这里ϕti映射成ξ=iϕ(ti)ξ=(ξ1,ξ2,,ξn)T逼近hq式(5)的闭式解为ξ=iϕ^hthq(ti)=Fhq-1(Fht(ti)),其中,累积分布函数Fht与百分位函数Fhq-1分别源自直方图hthq。如果t表示一幅图像,那么ϕ^为直方图匹配运算32。对已知的输入图像t=(t1,t2,,tn)Tϕ^能够使得输出的图像ξ=(ξ1,ξ2,,ξn)T与已知直方图hq相匹配。

2 提出的图像去噪优化模型

现代成像技术的发展,使得瞬间获得多幅内容一样的图像成为可能。因此,从多幅退化图像出发来恢复原始图像就成为一个现实问题。利用大量自然图像往往含有低维流形结构的特点,将图像块流形维数作为优化模型的正则项来恢复原始图像。同时,借助Wasserstein距离能够刻画两个概率分布之间差异性的特性,将三重退化图像余量分布与参照高斯噪声直方图之间的Wasserstein距离最小化,来进行噪声估计。基于上述考虑,构建低维流形先验正则与三重余量Wasserstein分布逼近的优化模型进行图像去噪。

不同于大多数图像去噪优化模型主要利用各类图像先验知识,本文通过挖掘多重余量分布约束与自然图像的低维流形结构特征17-18,提出以下低维流形先验正则的三重余量Wasserstein距离图像去噪优化模型MTRW:

argminudim((u))+β12W^(hf1-u,hr)+β22W^(hf2-u,hr)+β32W^(hf3-u,hr),

其中dim((u))表示期待干净图像u的块流形维数,hfi-u(i=1,2,3)表示估计余量fi-u(i=1,2,3)的直方图,hr表示参照高斯噪声直方图33-34,而W^(hfi-u,hr)(i=1,2,3)表示两直方图之间的Wasserstein距离。不难看出,低维流形正则用于恢复图像,而三重余量Wasserstein分布约束用于估计噪声。因此,所提模型是图像先验正则与余量分布逼近的有机统一体。通过设法求解该优化模型,可以得出想要的干净图像u。下面,做一些关于该模型的分析。

2.1 流形维数与Wasserstein距离互补性分析

在本文提出的图像去噪模型MTRW(6)式里,待恢复干净图像的块流形维数dim((u))与余量Wasserstein距离项W^(hfi-u,hr)(i=1,2,3)是相互补充,而非孤立无援的。现在从两方面进行分析。首先,图1显示了R3中图像“house”的1×3块流形与σ=100高斯噪声的块流形。原始图像块流形是1维,但高斯噪声的块流形是3维。可见,干净图像的块流形维数dim((u))小于噪声的块流形维数dim((fi-u)),(i=1,2,3)

其次,对已知参照的高斯噪声直方图hr,依次计算原始干净图像直方图huhr的Wasserstein距离W^(hu,hr)、期待的噪声直方图hfi-uhr的Wasserstein距离W^(hfi-u,hr),(i=1,2,3)表1呈现了结果数据。由此表可以发现,W^(hu,hr)约是W^(hfi-u,hr),(i=1,2,3)的32倍。这说明,W^(hfi-u,hr),(i=1,2,3)是远远小于W^(hu,hr)的。

表1中的数据不难发现,干净图像块流形维数是高斯噪声块流形维数的1/3;期待的噪声直方图与参照高斯噪声直方图之间的Wasserstein距离是原始图像直方图与参照高斯噪声直方图之间Wasserstein距离的1/32。也就是从优化角度来看,原始图像块流形维数较小,待估计噪声直方图与参照高斯噪声直方图之间的Wasserstein距离也较小。因此,干净图像块流形和两噪声直方图间的Wasserstein距离是相互补充的。

利用上述两者的互补性,干净图像块流形维数构成所提模型的图像正则项,而三重噪声直方图之间的Wasserstein距离构成优化模型的余量估计项。可见,所提模型是图像正则与余量估计的统一体,两者相辅相成,共同作用促成图像恢复性能的提高。综合可得,所提模型中dim((u))W^(hfi-u,hr),(i=1,2,3)是相互补充。本文充分利用二者的最小化来恢复期待的干净图像。

2.2 参照高斯噪声直方图的稳定性分析

在本文所提出的图像去噪模型MTRW(6)式里,参照的高斯噪声(余量)直方图hr是至关重要的,这是因为hr决定着模型的噪声估计准确性。为便于分析hr之稳定性,实验中随机生成如图2显示的十幅高斯噪声(余量)直方图。这些随机噪声的均值是0,方差为25。结果显示,这些直方图均值与方差的平均值分别是-0.003 5及25.002 0。另一方面,10幅高斯噪声(余量)直方图标准差之方差是2.696 6×10-4。由此可见,所提模型(6)可以在稳定的参照直方图hr作用下进行图像恢复。

3 图像去噪优化模型的求解

本节首先呈现低维流形先验正则的三重余量Wasserstein距离图像去噪优化模型MTRW(6)式的求解过程,然后呈现相应的算法设计。

3.1 模型求解过程

通过引入辅助变量ξ1,ξ2,ξ3,(6)式可以分裂为

argminu,ξ1,ξ2,ξ3dim((u))+β12ξ1-(f1-u)22+β22ξ2-(f2-u)22+β32ξ3-(f3-u)22,s.t.hξ1=hr,hξ2=hr,hξ3=hr

接下来,可通过分别固定uξ1,ξ2,ξ3(三个量同时固定)来交替迭代求解优化问题(7)。具体地,当固定(7)式中的u时,(7)式即变为,

argminξ1,ξ2,ξ3β12ξ1-(f1-u)22+β22ξ2-(f2-u)22+β32ξ3-(f3-u)22,s.t.hξ1=hr,hξ2=hr,hξ3=hr

上边(8)式中ξ1,ξ2,ξ3可以分别通过直方图匹配来求解,即

(ξ1)i=ϕ^hf1-uhr((f1-u)i),
(ξ2)i=ϕ^hf2-uhr((f2-u)i),
(ξ3)i=ϕ^hf3-uhr((f3-u)i)

另一方面,当固定(7)式中的ξ1,ξ2,ξ3时,问题(7)即转变为,

argminudim((u))+β12ξ1-(f1-u)22+β22ξ2-(f2-u)22+β32ξ3-(f3-u)22,

可以发现(12)式中目标函数的后三项都是二次项,于是通过合并该三项,(12)式可以变形为,

argminudim((u))+β1+β2+β32β1(f1-ξ1)+β2(f2-ξ2)+β3(f3-ξ3)β1+β2+β3-u22

为了简洁,令θ=β1+β2+β32z=β1(f1-ξ1)+β2(f2-ξ2)+β3(f3-ξ3)β1+β2+β3, 则(13)式化为,

argminudim((u))+θz-u22

依据LDMM19中块流形计算公式,

dim()=i=1dαi(x)2,

其中αi(i=1,,d)是流形上的坐标函数,且坐标函数满足αi(x)=xi,x=(x,1x2,,xd)Rd。因此,将流形计算公式(15)代入(14)式,则问题(14)可以表示为

argminuRm×n,Rdi=1dαiL2()2+θz-u22s.t.P(u)

根据G-LDMM20里的算法,下面的优化问题需要进一步求解,

argminuRm×n,α1,,αdi=1dαiL2()2+τxΩ¯z(x)-u(x)2,s.t.αi(𝒫¯(uk)(x))=(𝒫iu)(x),xΩ¯,i=1,,d

其中𝒫¯(uk)(x)uk在像素点x处的半局部块,(𝒫iu)(x)(𝒫u)(x)的第i个元素,τ>0是一个权参数。

通过引入坐标函数,可以得出下列等价的优化问题

argminuRm×n,α1,,αdi=1dαiL2()2+τi=1dxΩ¯αi(𝒫¯(uk)(x))-𝒫i(z)(x)2,s.t.αi(𝒫¯(uk)(x))=(𝒫iu)(x),xΩ¯,i=1,,d

优化问题(18)的求解可以先分裂图像u和坐标函数α1,,αd,随后分别进行求解。具体地,首先通过求解下列问题来计算坐标函数αik+1,i=1,2,,d,

argminα1,,αdi=1dαiL2()2+τi=1dxΩ¯αi(𝒫¯(uk)(x))-𝒫i(z)(x)2,

然后通过求解下列最小二乘问题来计算图像uk+1

(𝒫iu)(x)=αi(𝒫¯(uk)(x)),xΩ¯,i=1,,d

接下来,重点求解优化问题(19)。基于坐标函数α1,,αd是解耦的,可以分别求解它们。对于每一个坐标函数αk,需要求解以下类型的优化问题,

argminνH1()νL2()2+τyP¯ν(y)-h(y)2,

其中上述的ν可以是任意一个坐标函数αi𝒫¯=P¯(uk)是图像uk的半局部块集合,h(y)是对应𝒫i(z)(x)P¯(uk)中已知的函数。

通过使用标准的变分方法,问题(21)的解可以通过求解下面点云上的Laplace-Beltrami方程来获得,

-Δν(x)+τyP¯δ(x-y)[ν(y)-h(y)]=0,xνn(x)=0,x  ,

其中的是流形的边界,n是边界的外法线。如果流形无边界,则=ϕ

在LDMM19里,利用点积分方法21-22来求解上述的Laplace-Beltrami方程。由于加权非局部Laplacian计算代价要小于点积分方法,所以在本文中,使用加权非局部Laplacian23和半局部块35来求解方程(22)。于是上述Laplace-Beltrami方程可以离散化为下列方程,

yP¯w(x,y)(ν(x)-v(y))+τ¯yP¯w(x,y)(ν(x)-h(y))=0,xP¯

其中上述的ν可以是任意一个坐标函数αiP¯=P¯(uk)是图像uk的半局部块集合,h(y)是对应𝒫i(z)(x)P¯(uk)中已知的函数。τ¯是参数。权函数w(x,y)有如下表示

w(x,y)=exp-x-y2d(x)2,

这里x,yRd+2 是两个半局部块,d(x)x和它的第20个最近邻之间的距离。

3.2 算法设计

基于上述分析,提出的图像去噪方法MTRW可以归纳为算法1。

算法1

低维流形先验正则的三重余量Wasserstein距离图像去噪算法

(1)输入:退化图像f1,f2,f3uj=1,k=1

(2)while jJ do

(3)直方图匹配更新ξ1,ξ2,ξ3

(ξ1)i=ϕ^hf1-uhr((f1-u)i),
(ξ2)i=ϕ^hf2-uhr((f2-u)i),
(ξ3)i=ϕ^hf3-uhr((f3-u)i)

(4)更新z,u1:

z=β1(f1-ξ1)+β2(f2-ξ2)+β3(f3-ξ3)β1+β2+β3,
u1=z

(5) while kM do

(6) 结合图像uk与权μ更新半局部块集合P¯(uk)

(7) 更新权函数

w(x,y)=exp-x-y2d(x)2,x,yP¯(uk)

(8) 通过求解(23)式更新坐标函数αi(i=1,2,,d),其中P¯=P¯(uk)h=𝒫i(z)(x)

(9) 通过下式来更新图像uk+1

uk+1=i=1d𝒫i*𝒫i-1i=1d𝒫i*αik+1,

其中𝒫i*𝒫i的伴随算子。

(10) kk+1

(11) end while

(12)更新噪声估计:

f1-u=f1-uk,f2-u=f2-uk,f3-u=f3-uk

(13) jj+1

(14) end while

(15) 输出:去噪结果图像uk

可以看出,算法1的设计实际上是三重直方图匹配运算与内循环、噪声估计的交替迭代过程,而内循环过程则是坐标函数与图像的交替更新。在具体计算时,本文使用加权非局部Laplacian和半局部块来求解离散化的Laplace-Beltrami方程,从而实现坐标函数的更新。从本质上讲,该算法是图像更新与噪声估计的有机统一体。

4 数值实验

为了验证所提模型MTRW的有效性,本节展示相关数值实验,包括所用参数设置及数值实验结果。

4.1 参数设置

为展现所提方法的有效性,本文采用图3所示的10幅常用图作为测试图像。考虑到所提模型中的三重余量Wasserstein正则作用是等同的,因此结合数值实验经验取模型参数β1=β2=β3=0.2。求解算法中的半局部块为(p¯u)(x)=[(pu)(x),μx],其中x=(x1,x2)Ω¯={1,2,,m}×{1,2,,n}m×n是退化图像的大小。块大小是10×10,半局部权取μ=5。基于一定的实践经验,算法中取值J=2,M=3可实现较好的结果。对于比较的实验,均采用原文的参数设置。

数值实验中,利用峰值信噪比(Peak Signal to Noise Ratio, PSNR)对所提去噪模型进行客观评价。PSNR表示参考图像与目标图像之间的相似程度,是衡量图像质量的一种客观指标。PSNR的定义如下:

RPSNR=10log102552EMSE,

这里MSE为均方误差,具体定义为

EMSE=1M×Ni=1Mj=1N[u(i,j)-u0(i,j)]2,

其中M×N为图像的大小尺寸,u0u分别为原始干净图像与去噪恢复图像。PSNR值越高,表示两幅图像越相似,质量损失越小,也说明被恢复图像的质量越好。

数值实验硬件采用双核CPU(双2.10 GHz),64.0 GB RAM,软件使用Windows10.0操作系统,程序环境为Matlab R2017b。

4.2 实验结果

本小节利用所提算法进行图像去噪数值实验。首先,将所提方法MTRW与近年来有代表性的图像去噪方法BM3D13、NCSR14、GHP15、WNNM16、W-LDMM7进行比较,数值实验结果见表2。从表2可以看出,本文MTRW比上述五种方法的平均PSNR分别高出0.6 dB,0.68 dB,0.69 dB,0.42 dB和0.37 dB。MTRW比去噪性能极好的W-LDMM平均PSNR提高了1.23%。图4图5展示了其中三幅图像的去噪视觉效果比较。从图5的局部细节放大结果可以看出,与原始图像相比,BM3D、NCSR、GHP、WNNM和W-LDMM所恢复图像的“地砖缝隙”变模糊了,而MTRW能够较好地恢复“地砖缝隙”,同时“地砖”表面看起来也更接近原始真实图像。

其次,将本文MTRW与近年来两种多帧图像去噪方法t-SVD24和MRWM27进行比较,数值结果见表3。从表中可以发现,所提MTRW依然有明显的PSNR优势。MTRW比MRWM平均PSNR提高了0.73%。同样地,图6图7展示了两幅图像的去噪视觉效果。从图7可以看出,t-SVD模糊了“围巾”的纹理边缘,MRWM使“围巾”图像边缘产生了一些“锯齿”,但MTRW所恢复的图像看起来更真实更自然。

可以发现,对比方法多是利用图像的各种不同的先验知识来构建优化模型,通过求解模型来获得输出图像。相比之下,本文则是利用大多数自然图像所具有的低维流形结构特点来恢复期待的图像,同时采用三重Wasserstein距离约束来使退化图像余量分布设法逼近参照高斯噪声直方图。用于恢复图像的低维流形和用于噪声估计的Wasserstein距离二者是互补的,而非孤立无援。二者的相互作用共同促成图像去噪性能的提高。

最后,表4比较了七种图像去噪方法代码运行时间。从表中可以看到,NCSR、GHP、WNNM和MRWM用时都在400 s以上,t-SVD 用时213 s,所提方法MTRW用时(32 s)比W-LDMM(43 s)也少。本文算法比去噪性能极好的W-LDMM和MRWM运算时间分别缩短了25.58%和93.21%。需要说明的是表4中七种方法所用编程语言皆为Matlab,而BM3D代码主要为C语言,因此BM3D不参与上述运行时间比较。综上可见,本文MTRW不仅有较好的主客观图像恢复效果,而且具有较高的实施效率。这要归因于图像低维流形先验正则与Wasserstein距离余量分布约束的组合效应。图像先验知识用于图像正则,而余量分布约束用于噪声估计,二者有机结合促成图像恢复性能的提升。

5 结论

不同于当前大多数图像恢复模型主要依赖图像先验信息的挖掘,本文提出的优化模型MTRW则将低维流形图像先验正则与三重余量Wasserstein距离分布逼近相结合进行图像去噪。该模型的核心理念是,图像先验正则与余量分布逼近二者是相辅相成,绝非孤立无援的。先验正则与余量约束的互补性,为诸如图像去模糊、图像修复、图像超分辨等其他恢复任务提供了一个新的研究思路。所提模型的一个不足是该模型目前仅能用于图像加性高斯噪声去除,不能直接用于乘性噪声移除。然而,可以将含有乘性噪声的图像变换为含高斯噪声的图像,再利用所提模型进行图像恢复。

参考文献

[1]

WANG T, ZHANG K H, SHAO Z Q, et al. Gridformer: Residual Dense Transformer with Grid Structure for Image Restoration in Adverse Weather Conditions[J]. Int J Comput Vis, 2024, 132(10): 4541-4563. DOI: 10.1007/s11263-024-02056-0 .

[2]

KAUR A, DONG G F. A Complete Review on Image Denoising Techniques for Medical Images[J]. Neural Process Lett, 2023, 55(6): 7807-7850. DOI: 10.1007/s11063-023-11286-1 .

[3]

HE R Q, FENG X C, ZHU X L, et al. RWRM: Residual Wasserstein Regularization Model for Image Restoration[J]. Inverse Probl Imag, 2021, 15(6): 1307. DOI: 10.3934/ipi.2020069 .

[4]

ZHAO C P, FENG X C, JIA X X, et al. Root-transformation Based Multiplicative Denoising Model and Its Statistical Analysis[J]. Neurocomputing, 2018, 275: 2666-2680. DOI: 10.1016/j.neucom.2017.11.048 .

[5]

MEI Y Q, FAN Y C, ZHANG Y L, et al. Pyramid Attention Network for Image Restoration[J]. Int J Comput Vis, 2023, 131(12): 3207-3225. DOI: 10.1007/s11263-023-01843-5 .

[6]

GONG K, JOHNSON K, FAKHRI G EL, et al. PET Image Denoising Based on Denoising Diffusion Probabilistic Model[J]. Eur J Nucl Med Mol Imaging, 2024, 51(2): 358-368. DOI: 10.1007/s00259-023-06417-8 .

[7]

HE R Q, FENG X C, WANG W W, et al. W-LDMM: A Wasserstein Driven Low-dimensional Manifold Model for Noisy Image Restoration[J]. Neurocomputing, 2020, 371: 108-123. DOI: 10.1016/j.neucom.2019.08.088 .

[8]

CHOI J K, DONG B, ZHANG X Q. An Edge Driven Wavelet Frame Model for Image Restoration[J]. Appl Comput Harmon Anal, 2020, 48(3): 993-1029. DOI: 10.1016/j.acha.2018.09.007 .

[9]

SHEN H, ZHAO Z Q, ZHANG W D. Adaptive Dynamic Filtering Network for Image Denoising[J]. Proc AAAI Conf Artif Intell, 2023, 37(2): 2227-2235. DOI: 10.1609/aaai.v37i2.25317 .

[10]

WU W C, LIU S J, XIA Y L, et al. Dual Residual Attention Network for Image Denoising[J]. Pattern Recognit, 2024, 149: 110291. DOI: 10.1016/j.patcog.2024.110291 .

[11]

ZHANG K, ZUO W M, CHEN Y J, et al. Beyond a Gaussian Denoiser: Residual Learning of Deep CNN for Image Denoising[J]. IEEE Trans Image Process, 2017, 26(7): 3142-3155. DOI: 10.1109/TIP.2017.2662206 .

[12]

ZHANG K, ZUO W, ZHANG L. FFDNet: Toward a Fast and Flexible Solution for CNN-based Image Denoising[J]. IEEE Trans Image Process, 2018, 27(9): 4608-4622. DOI: 10.1109/TIP.2018.2839891 .

[13]

DABOV K, FOI A, KATKOVNIK V, et al. Image Denoising by Sparse 3-D Transform-domain Collaborative Filtering[J]. IEEE Trans Image Process, 2007, 16(8): 2080-2095. DOI: 10.1109/tip.2007.901238 .

[14]

DONG W, ZHANG L, SHI G, et al. Nonlocally Centralized Sparse Representation for Image Restoration[J]. IEEE Trans Image Process, 2013, 22(4): 1620-1630. DOI: 10.1109/tip.2012.2235847 .

[15]

ZUO W M, ZHANG L, SONG C W, et al. Gradient Histogram Estimation and Preservation for Texture Enhanced Image Denoising[J]. IEEE Trans Image Process, 2014, 23(6): 2459-2472. DOI: 10.1109/TIP.2014.2316423 .

[16]

GU S H, XIE Q, MENG D Y, et al. Weighted Nuclear Norm Minimization and Its Applications to Low Level Vision[J]. Int J Comput Vis, 2017, 121(2): 183-208. DOI: 10.1007/s11263-016-0930-5 .

[17]

CARLSSON G, ISHKHANOV T, DE SILVA V, et al. On the Local Behavior of Spaces of Natural Images[J]. Int J Comput Vis, 2008, 76(1): 1-12. DOI: 10.1007/s11263-007-0056-x .

[18]

PEYRE G. A Review of Adaptive Image Representations[J]. IEEE J Sel Top Signal Process, 2011, 5(5): 896-911. DOI: 10.1109/JSTSP.2011.2120592 .

[19]

OSHER S, SHI Z, ZHU W. Low Dimensional Manifold Model for Image Processing[J]. SIAM Imaging Sciences, 2017, 10(4): 1669-1690. DOI: 10.1137/16M1058686 .

[20]

SHI Z Q, OSHER S, ZHU W. Generalization of the Weighted Nonlocal Laplacian in Low Dimensional Manifold Model[J]. J Sci Comput, 2018, 75(2): 638-656. DOI: 10.1007/s10915-017-0549-x .

[21]

LI Z, SHI Z Q, SUN J. Point Integral Method for Solving Poisson-type Equations on Manifolds from Point Clouds with Convergence Guarantees[J]. Commun Comput Phys, 2017, 22(1): 228-258. DOI: 10.4208/cicp.111015.250716a .

[22]

SHI Z Q, SUN J, TIAN M H. Harmonic Extension on the Point Cloud[J]. Multiscale Model Simul, 2018, 16(1): 215-247. DOI: 10.1137/16m1098747 .

[23]

SHI Z Q, OSHER S, ZHU W. Weighted Nonlocal Laplacian on Interpolation from Sparse Data[J]. J Sci Comput, 2017, 73(2): 1164-1177. DOI: 10.1007/s10915-017-0421-z .

[24]

ZHANG Z M, ELY G, AERON S, et al. Novel Methods for Multilinear Data Completion and Denoising Based on Tensor-SVD[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition. Columbus: IEEE. 2014: 3842-3849. DOI:10.1109/CVPR.2014.485 .

[25]

BODDUNA K, WEICKERT J. Enhancing Patch-Based Methods with Inter-Frame Connectivity for Denoising Multi-Frame Images[C]//2019 IEEE International Conference on Image Processing. Taipei: IEEE. 2019: 2414-2418. DOI: 10.1109/ICIP.2019. 8803344 .

[26]

DHABLIYA D, KUPPURAJ T, SHARMA N, al et, Multi-Scale Entropy Based Image Denoising for Multi-frame Image Restoration[C]//2024 International Conference on Computing Communication and Networking Technologies. Kamand: IEEE. 2024:1-6. DOI: 10.1109/ICCCNT61001.2024.10725726 .

[27]

HE R Q, LAN W S, LIU F. MRWM: A Multiple Residual Wasserstein Driven Model for Image Denoising[J]. IEEE Access, 2022, 10: 127397-127411. DOI: 10.1109/ACCESS.2022.3226331 .

[28]

RABIN J, PEYRÉ G. Wasserstein Regularization of Imaging Problem[C]//2011 IEEE International Conference on Image Processing. Brussels: IEEE. 2011: 1541-1544. DOI: 10.1109/ICIP.2011.6115740 .

[29]

PEYRÉ G, FADILI J, RABIN J. Wasserstein Active Contours[C]//2012 19th IEEE International Conference on Image Processing. New York: IEEE, 2012: 2541-2544. DOI: 10.1109/ICIP.2012.6467416 .

[30]

PELE O, WERMAN M. Fast and Robust Earth Mover's Distances[C]//2009 IEEE 12th International Conference on Computer Vision. New York: IEEE, 2009: 460-467. DOI: 10.1109/ICCV.2009.5459199 .

[31]

VILLANI C. Optimal Transport: Old and New[M]. New York: Springer Science and Business Media, 2008.

[32]

GHOSH A, SUBUDHI B N, GHOSH S. Object Detection from Videos Captured by Moving Camera by Fuzzy Edge Incorporated Markov Random Field and Local Histogram Matching[J]. IEEE Trans Circuits Syst Video Technol, 2012, 22(8): 1127-1135. DOI: 10.1109/TCSVT.2012.2190476 .

[33]

THURMAN S T, FIENUP J R. Noise Histogram Regularization for Iterative Image Reconstruction Algorithms[J]. J Opt Soc Am A Opt Image Sci Vis, 2007, 24(3): 608-617. DOI: 10.1364/josaa.24.000608 .

[34]

FAN J Y, CHEN T, CAO J W. Image Tampering Detection Using Noise Histogram Features[C]//2015 IEEE International Conference on Digital Signal Processing (DSP). New York: IEEE, 2015: 1044-1048. DOI: 10.1109/ICDSP.2015.7252037 .

[35]

SMITH S M, BRADY J M. SUSAN: A New Approach to Low Level Image Processing[J]. Int J Comput Vis, 1997, 23(1): 45-78. DOI: 10.1023/A:1007963824710 .

基金资助

山西省基础研究计划资助项目(202303021221175)

山西省基础研究计划资助项目(202303021222208)

AI Summary AI Mindmap
PDF (2972KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/