基于超分重建深度神经网络的超声图像去噪

陈治伟 ,  庄艳 ,  陈科 ,  韩霖 ,  林江莉

四川师范大学学报(自然科学版) ›› 2026, Vol. 49 ›› Issue (5) : 675 -682.

PDF (3742KB)
四川师范大学学报(自然科学版) ›› 2026, Vol. 49 ›› Issue (5) : 675 -682. DOI: 10.3969/j.issn.1001-8395.2026.05.011
信息与智能科学

基于超分重建深度神经网络的超声图像去噪

作者信息 +

Ultrasound Image Denoising Using Deep Neural Network Based on Super-Resolution Reconstruction

Author information +
文章历史 +
PDF (3830K)

摘要

医学超声成像是使用最广泛的医学成像之一.受制于超声成像机制本身的局限性,超声图像存在固有的散斑噪声,降低了图像的分辨率和清晰度,对病灶的诊断造成了较大干扰.为解决这一问题,提出一种基于超分辨率重建(超分重建)的深度学习方法用于超声图像去噪.该方法通过引入超分辨率重建网络模块对超声噪声图像进行多尺度去噪,以保留更多的细节信息.实验结果显示,所提出的去噪方法在视觉评价以及峰值信噪比(PSNR)、结构相似性测度(SSIM)、无参考图像指标(NIQE)等方面都取得了良好的效果,证明了该方法的有效性.

Abstract

Ultrasound imaging is one of the most widely used medical imaging. Due to the limitations of the ultrasound imaging principle itself, there is inherent speckle noise in ultrasound images, which reduces the resolution and clarity of the images and greatly disturbs lesion diagnosis and feature extraction. Aiming at the above problems, we have proposed a deep neural network(UDNet-SR)for ultrasound image denoising. By introducing super-resolution reconstruction network module and denoising network module, our aproach conducts multi-scale denoising and reconstruction of ultrasonic noise images, and more structural information is preserved while denoising. Experimental evaluations show that the proposed UDNet-SR outperforms the state-of-the-art despeckling approaches in terms of the structural similarity index measure(SSIM), peak signal to noise ratio(PSNR) and no-reference image quality assessment(NIQE),and the effectiveness of this method has been proved.

Graphical abstract

关键词

超声去噪 / 散斑去噪 / 超分辨率 / 深度学习 / 卷积神经网络

Key words

ultrasound image denoising / despeckling / super-resolution / deep learning / convolutional network

引用本文

引用格式 ▾
陈治伟,庄艳,陈科,韩霖,林江莉. 基于超分重建深度神经网络的超声图像去噪[J]. 四川师范大学学报(自然科学版), 2026, 49(5): 675-682 DOI:10.3969/j.issn.1001-8395.2026.05.011

登录浏览全文

4963

注册一个新账户 忘记密码

医学超声成像具有安全、经济和无创的优势,被广泛用于临床诊断.在超声成像中,换能器发射超声波,产生的反射回波形成超声图像.由于超声波波长接近于人体组织的小界面尺寸,因此会产生大量散斑噪声(一种乘性噪音).散斑噪声严重降低了超声图像的对比度和分辨率.此外,在质量评估、特征提取和病灶识别等任务中,也会严重影响超声成像性能,并导致诊断准确率大幅下降.因此,抑制超声图像的散斑噪声以提高图像质量和超声图像识别准确率一直是超声成像和医学图像识别领域的热点问题.
超声图像去噪方法大致可分为传统方法和基于神经网络的方法.2018年之前主要用传统方法,传统方法可分为空域滤波和频域滤波的方法.对于空域滤波方法,比较经典的有Lee滤波1,Kuan滤波2,Frost滤波3以及基于各向异性扩散的散斑滤波(speckle reducing anisotropic diffusion,SRAD4).2005年,Buades等5提出了非局部均值(non-local means,NLM)滤波方法,NLM方法利用像素块之间的相似性,通过滑动窗中所有像素的加权均值来求得图像的每个像素值.为了让NLM方法适用于斑点噪声的去噪,2009年,基于贝叶斯优化的非局部均值方法(optimized bayesian non-local means,OBNLM6)被提出.2012年,Parrilli等7提出了一种基于局部线性最小平方误差(local-linear minimum mean square error,LLMMSE)的小波收缩的合成孔径雷达(SAR)图像去噪算法,可用于超声图像的斑点噪声去噪.对于频域变化方法,比较流行的是基于小波变换的方法8.以上方法将超声斑点噪声视为乘性噪声进行处理,然而超声的噪声并非单纯的乘性噪声,导致在去噪时难以保留细节信息.除此之外,传统方法需要手动设置大量去噪参数,去噪的普适性较差.
2016年后,Zhang等9成功地将深度卷积神经网络的方法应用于自然图像去噪.2018年之后,基于深度神经网络的超声图像去噪方法也陆续被提出,例如FFDNet10和CBDNet11.2020年,Kokil等12采用预训练的残差神经网络用于超声图像的去噪.2021年,Karaoğlu等13使用了5种不同结构的深度神经网络进行超声去噪.Feng等14使用预训练的VGGNet网络模块用于微调网络参数,试图恢复超声图像因去噪损失的细节信息,但这种方法可能带来未知的伪影.
基于深度学习的方法都存在训练数据集的问题.由于无法获得干净的超声图像,通常使用干净的自然图像加噪后用于超声去噪网络模型训练,因此所添加的噪声与真实的超声斑点噪声之间的相似程度至关重要.
另外,现存的大部分方法将斑点噪声视为单纯的乘性噪声处理,忽略了超声噪声产生机制中波束扫描产生的类采样效应15.这种效应不仅会导致噪点尺度发生变化,也会降低超声图像的分辨率使其变得模糊,这也是超声图像去噪后难以保留细节信息的重要原因.此外,现存的方法在设计网络时,用于抑制这种类采样模糊的机制很少被用到,因此在对真实的超声图像进行去噪时,去噪效果会受到限制.
本文提出了一种将超分辨率网络模块引入去噪网络的超声图像去噪方法(ultrasound image denoising using deep neural network based on super-resolution reconstruction,UDNet-SR),该方法可以有效地抑制类采样效应,提高去噪后图像的清晰度,并能保留更多细节信息,避免过度去噪.

1 去噪方法

以下介绍本文方法的具体内容,包括所提出的去噪网络结构及其参数设置.

1.1 加噪模型

本文利用干净的自然图像数据集对其加斑点噪声用于训练.然而,不同于大部分方法将简单的乘性噪声作为噪声模型,本文用改进超声噪声模拟方法15用于产生模拟的医学超声图像.这种超声噪声模拟方法考虑了超声图像产生超声的机制,能模拟出更真实的超声斑点噪声.加噪表达式如下所示:

If=UPS[SAMI0γnm+na],

式中,I0 代表潜在的干净图像,nmna分别代表乘性噪声分量和加性噪声分量,其中乘性噪声是斑点噪声的主要来源.其中γ取值范围为0~1,通常取值为0.5,SAMUPS分别代表下采样和上采样操作.

1.2 网络模型结构

本文提出的超声图像去噪网络(UDNet-SR)的模型结构如图1所示.去噪网络主要由两部分构成:去噪主干网络(convolutional neural network for denoising,CNND)和超分辨率重建网络(super-resolution network,SRNet).主干网络CNND负责多尺度去噪,其结构参考了Unet 网络16,并对其进行了改进,使其更适合去噪任务,网络使用的跳链接结构可用于抑制网络训练时产生的梯度弥散问题.超分辨率重建网络SRNet用于抑制超声图像因类采样效应导致的图像模糊,恢复超声图像更多的细节信息.SRNet由4个超分辨率模块(super-resolution block,SR block)并行构成,SR block可执行两倍的超分辨率重建.SR block的网络结构参考了超分辨率重建网络EDSR17,剔除了部分冗余的残差结构(residual block,RS block),减少了网络的参数量.

模型训练分两个阶段,首先分别对主干网络CNND和超分辨率重建网络SRNet进行第一阶段的预训练.在第二阶段,将CNND和SRNet进行联合训练.为了降低图像的尺度,CNND后的结果采用一种可逆的下采样方法,这种方法将输入尺寸为W×H×CWHC分别代表图像的宽、高和通道)的图像分解为4个尺寸为W2×H2×4C的子图像.SRNet由4个并行的SR block组成,可分别对4个子图像进行处理,随后将4个通道的输出图进行堆叠(cat)操作,最后使用两个卷积层重建出最终结果.

1.3 网络参数设置

网络模型的参数设置主要包含优化器以及损失函数(Loss)的选择.通过对比实验,本文选择主流的Adam优化器18对网络参数进行更新.损失函数作为一种度量方法,能否充分反映网络输出结果与真实标签之间的差异,直接决定网络训练的收敛性能和结果的好坏.因此,一般会根据不同的学习任务来选择不同的损失函数.有研究表明19,对于去噪、超分辨率重建等图像质量恢复的任务,采用L1加MS-SSIM损失函数的组合能取得最佳效果,因此选用了该混合损失函数,整个网络的损失函数记为:

Lrec=LMS-SSIM+L1,

式中L1为损失函数表示两幅图像的像素间差异,其定义如下:

L1(P)=1NpPx-y,

式中,P表示所需计算图像对应的像素集合,x表示噪声图像,y表示对应的干净图像.

LMS-SSIM表示多尺度结构性损失函数(multi-scale structural similarity index merit loss,MS-SSIM loss),SSIM20属于感知性指标,结构性损失函数有助于网络更多地关注图像的结构信息和细节信息,其定义如下:

LMS-SSIMP=1NpP1-lMαpj=1Mcsjβjp

式中,N代表一个批次(batch)图像的数量,j{1,2,,M}表示高斯核的大小或尺度,“·”表示点乘.

2 数据集

2.1 训练集

使用了无噪声的自然图像数据集DBS50021和Waterloo22.数据集DBS500一共包含500张自然图像,大小为481×321,本文使用400张用作训练,100张用作验证.DBS500主要用于去噪主干网络CNND的预训练以及整个模型的联合训练.选取Waterloo数据集中100张大尺寸的高清图像,其中80张图像作为训练集,主要用于超分辨率网络SRNet的预训练.训练时,将数据进行两倍下采样以获取低分辨率图,下采样使用了双线性插值、三次样条插值、最大池化等多种插值方法.为了契合超声图像,将图像转化为单通道的灰度图像.

2.2 测试集

为了评估方法在真实超声图像上的去噪能力,本文并没有使用自然图像模拟出的噪声图像进行测试,而是使用了以下3种数据集.

1) Field Ⅱ23模拟的超声图像数据集.Field Ⅱ是丹麦超声专家J. A. Jensen团队利用声学原理设计的一个超声成像系统.它可以仿真超声探头所形成的声场,模拟出逼真的人体组织超声成像.该数据被广泛用于超声图像处理的研究.

2)公开的真实乳腺超声图像数据集OASBUD24.该数据集由真实采集的乳腺超声射频(radio-frequency,RF)信号重建而成.

3) 华西医院提供的超声甲状腺结节临床数据集.该数据集包含良性和恶性甲状腺结节图像,具有丰富的病灶信息.

3 实验及结果分析

进行多轮训练和调试后获得最终的去噪模型用于测试.将测试的结果与其他超声去噪方法进行比较和分析,以验证本文方法的有效性.

3.1 网络训练

实验中使用了Adam优化器对模型参数进行优化,初始学习率为0.001,每训练30轮(Epoch)学习率降为原来的一半,总共训练120轮.训练时,为了生成不同噪声水平的数据集,在训练过程中对干净图像进行实时随机加噪,可随机选用扇形加噪模式和线性矩形加噪模式.训练每一轮时,一张图像需要重复利用,并加入不同噪声水平和尺度的斑点噪声,一张图像重复利用20次,并对其进行随机增强,包括翻转、随机角度旋转、等比例缩放等处理,因此数据集大小为8 000.为了减少训练时间,减少GPU内存占用,本文将一张加噪后的图像随机裁剪为8张大小为64×64的图块进行训练.本文采用了Pytorch深度学习框架作为试验平台,训练网络模型所用的硬件平台为GeForce RTX 2080.

3.2 评价指标

为了合理评价本文算法的去噪效果,将使用上节所提到的测试集进行实验,并和其他去噪方法进行比较.对于Field Ⅱ模拟超声图像,因为有干净的原图像,可以使用峰值信噪比(peak signal-to-noise ratio,PSNR)、结构相似性(structural similarity index merit,SSIM)和品质因数(figure of merit,FoM)25进行评价,其中SSIM和FoM为无量纲指标.PSNR的定义如下:

PSNR(X,X^)=10log (2552EMSE),

式中:X代表干净原图像,X^代表噪声图像,EMSE为两者的均方误差,PSNR的单位为dB,其值越大代表与原图像越接近,噪声越小.

结构相似性(SSIM)的定义已经在1.3节中给出,对于两张待比较图像数据,SSIM值越大,代表两者具有的结构越相似,其值在0~1之间,只有两者数据完全相同的情况下其值才能达到1.对于图像去噪,SSIM不仅可以反映噪声去除的程度,还能反映图像去噪后细节结构的保留程度.FoM可以客观评价两幅图像边缘检测的相似性,其定义如下:

FoMX,X^=1max (NX,NX^)i=1NX11+αdi2,

式中:NXNX^分别表示干净原始图像和噪声图像所检测到的边缘像素点(像素值不为0的点),α是一个常数,di表示噪声图像上第i个边缘像素点与对应的在干净图像中最邻近的边缘像素点的灰度差异.FoM的值在0~1之间,其中值为1时表示最理想的结果,即检测到的图像边缘与原图像边缘完全一致.

对于真实超声图像,不存在无噪图像,PSNR、SSIM等量化性能指标不适用于医学超声图像,因此将使用其他不同的方法来评价去噪结果.首先,视觉评价对于超声去噪是至关重要的,因为对超声图像的诊断主要是基于医生的视觉观察.高质量的超声图像,不仅要保留关键病灶的边缘等细节信息,还应具有更少的干扰(噪声)以及更高的对比度和清晰度,以便医生或诊断者进行更准确的诊断.另外,为了评估人眼难以看到的图像细节,本文引入了无参考图像质量评价指标(no-reference image quality evaluation,NIQE)用于评价图像去噪后的图像质量.NIQE不需要无噪图像作为参考,是Mittal等26提出的一种全盲的图像质量分析方法,NIQE是一种无量纲指标,数值越大图像质量越好.

3.3 结果及分析

为了更公正地评价去噪效果,使用多种经典和先进的超声去噪方法在不同的测试集上与本文方法进行对比实验,这些方法包括Frost3、SRAD4、OBNLM6、SAR-BM3D7和基于深度神经网络的DNCNN9、FFDNet10等.

首先使用Field Ⅱ模拟的扇形超声图像进行去噪实验,为了公正地进行评价,每一种去噪方法的去噪参数都尽可能调至最佳.表1展示了不同去噪方法在各评价指标的表现.

表1上的3种指标可知,本文方法取得了最好的表现,尤其是在SSIM指标上与其他方法差距显著,说明了本文方法在去噪的同时,能很好地保留图像的结构信息.

图2展示了Field Ⅱ模拟超声图像用不同方法进行去噪的结果.在视觉上,Frost和SRAD方法导致了图像模糊,清晰度下降.OBNLM方法具有较高的清晰度和对比度,但是在大量局部区域上斑点噪声没有被很好抑制.SAR-BM3D、DNCNN和FFDNet在总体上对斑点噪声抑制明显,清晰度也较高,然而对图像远端的噪声抑制效果不佳.对于扇形超声图像,在扇形远端成像的单元分辨率较低,噪声尺度加大,并且斑点噪声会产生一定的扇形畸变,容易被去噪算法误认为组织结构从而无法对其进行有效抑制.本文算法在训练集上添加了扇形模拟噪声数据,去噪模型可以更容易对远端区域的斑点噪声进行处理.可以看出,本文方法不仅在噪声抑制上有优秀的表现,而且在细节保留、清晰度和对比度方面表现突出.

图3展示了OASBUD真实乳腺超声良恶性数据集上各种方法的表现.OASBUD数据集由超声采集的RF信号直接重建而成,相对于超声设备最终显示的超声图像来说,该信号没有经过二次处理,斑点噪声更加真实.由图3可知,本文提出的去噪算法相对于其他方法在视觉方面有着显著的优势,不仅能够有效抑制斑点噪声,还能充分保留超声图像中的细节边缘信息,没有出现过度平滑现象(OBNLM出现局部过度平滑现象),对比度有明显提升(Frost和SRAD出现了模糊现象).由于该数据集噪声水平相对较高,SAR-BM3D、DNCNN和FFDNet在斑点抑制方面略显不足,而UDNet-SR可以动态评估斑点噪声水平,因此在强噪声水平数据集上有着更好的去斑效果.

为了进一步评估算法的去噪性能,本文使用了临床真实的甲状腺超声数据集进行测试.这批临床超声图像由于来自医院的高端超声设备,噪声问题已被厂家部分解决,故噪声水平相较公开数据集OASBUD较低.图4展示了在该数据集示例图像上各个方法的去噪效果,图5展示了去噪图像的局部放大效果,用于分析边缘细节保留情况,其中(1)和(2)代表两个示例.

由图45可知,Frost和SRAD方法都对斑点噪声有很好的抑制,但是图像也产生了过度平滑和模糊的现象.相较于前两者,OBNLM和SAR-BM3D模糊和平滑程度较低,清晰度更高,去噪的同时也保留了一定的细节信息.FFDNet和DNCNN表现相似,去噪后图像清晰度表现良好,FFDNet由于引入了可调的噪声水平谱,在个别强噪声水平图像上会有更好的去噪效果.相较于以上方法,本文方法UDNet-SR在斑点噪声抑制以及细节保留方面都有更好的表现.

除了视觉评价外,在OASBUD数据集上本文还引入了NIQE评价指标进行比较,其结果如表2所示,可以看出,本文方法在NIQE评价指标上要优于其他方法.

4 总结和展望

为了解决超声图像去噪后分辨率变低以及难以保留细节的问题,本文提出了一种将超分辨率重建引入超声去噪任务中的深度学习方法,并搭建了UDNet-SR去噪网络模型.在测试阶段,利用提出的UDNet-SR去噪模型进行实验,并使用多种经典的超声去噪算法(包括传统方法和基于深度学习的方法)进行了详细的对比和分析.最终结果表明,本文提出的方法在视觉评价及其他客观评价指标上取得了比较先进的去噪性能,总体上优于其他超声去噪算法,尤其是在去噪的同时对细节结构信息的保留能力有显著的提升.

本方法不仅可以应对噪声较大的超声图像,对噪声问题已被超声设备厂家尽量解决的低噪图像仍有明显改善效果,这对改善超声图像诊断方面具有重要的价值.本文的去噪方法也更符合临床超声图像检查对超声图像进行预处理的要求.

超声去噪作为超声成像和处理领域的热门研究方向,许多方法被陆续提出,其中具有广阔前景的深度学习方法也不断在该领域崭露头角.然而,围绕超声去噪的难点颇多,还有许多问题亟待解决.本文提出基于深度学习的超声去噪方法虽然取得了良好效果,并在一定程度上解决了相关难点,但是仍然具有广阔的改进空间.

参考文献

[1]

Lee J S. Digital image enhancement and noise filtering by use of local statistics[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence1980,PAMI-2(2):165-168.

[2]

Kuan D TSawchuk A AStrand T Cet al. Adaptive noise smoothing filter for images with signal-dependent noise[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence1985,PAMI-7(2):165-177.

[3]

Frost V SStiles J AShanmugan K Set al. A model for radar images and its application to adaptive digital filtering of multiplicative noise[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence19824(2):157-166.

[4]

Yu Y JActon S T. Speckle reducing anisotropic diffusion[J]. IEEE Transactions on Image Processing200211(11):1260-1270.

[5]

Buades AColl BMorel J M. A non-local algorithm for image denoising[C]//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition. San Diego: IEEE,2005:60-65.

[6]

Coupé PHellier PKervrann Cet al. Nonlocal means-based speckle filtering for ultrasound images[J]. IEEE Transactions on Image Processing200918(10):2221-2229.

[7]

Parrilli SPoderico MAngelino C Vet al. A nonlocal SAR image denoising algorithm based on LLMMSE wavelet shrinkage[J]. IEEE Transactions on Geoscience and Remote Sensing201250(2):606-616.

[8]

Chen BGeng Z XYang Yet al. Dual-tree complex wavelets transforms for image denoising[C]//Eighth ACIS International Conference on Software Engineering, Artificial Intelligence, Networking, and Parallel/Distributed Computing. Qingdao:IEEE,2007:70-74.

[9]

Zhang KZuo W MChen Y Jet al. Beyond a Gaussian denoiser: residual learning of deep CNN for image denoising[J]. IEEE Transactions on Image Processing201726(7):3142-3155.

[10]

Zhang KZuo W MZhang L. FFDNet: toward a fast and flexible solution for CNN based image denoising[J]. IEEE Transactions on Image Processing2018.

[11]

Guo SYan Z FZhang Ket al. Toward convolutional blind denoising of real photographs[C]//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Long Beach: IEEE,2019:1712-1722.

[12]

Kokil PSudharson S. Despeckling of clinical ultrasound images using deep residual learning[J]. Computer Methods and Programs in Biomedicine2020194:105477.

[13]

Karaoğlu OBilge H ŞUluer İ. Removal of speckle noises from ultrasound images using five different deep learning networks[J]. Engineering Science and Technology, an International Journal202229:101030.

[14]

Feng X FHuang Q HLi X L. Ultrasound image de-speckling by a hybrid deep network with transferred filtering and structural prior[J]. Neurocomputing2020414:346-355.

[15]

Perreault CAuclair-Fortier M F. Speckle simulation based on B-mode echographic image acquisition model[C]//Fourth Canadian Conference on Computer and Robot Vision. Montreal: IEEE,2007:379-386.

[16]

Ronneberger OFischer PBrox T. U-Net: convolutional networks for biomedical image segmentation[M]//Medical Image Computing and Computer-Assisted Intervention-MICCAI 2015. Cham:Springer International Publishing,2015:234-241.

[17]

Lim BSon SKim Het al. Enhanced deep residual networks for single image super-resolution[C]//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops. Honolulu: IEEE,2017:1132-1140.

[18]

Kingma D PBa J. Adam: A method for stochastic optimization[J/OL]. Computer Science,2014.DOI:10.48550/arXiv.1412.6980 .

[19]

Zhao HGallo OFrosio Iet al. Loss functions for image restoration with neural networks[J]. IEEE Transactions on Computational Imaging20173(1):47-57.

[20]

Wang ZBovik A CSheikh H Ret al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing200413(4):600-612.

[21]

Martin DFowlkes CTal Det al. A database of human segmented natural images and its application to evaluating segmentation algorithms and measuring ecological statistics[C]//Proceedings Eighth IEEE International Conference on Computer Vision. Vancouver: IEEE,2001:416-423.

[22]

Ma K DDuanmu Z FWu Q Bet al. Waterloo exploration database: new challenges for image quality assessment models[J]. IEEE Transactions on Image Processing201726(2):1004-1016.

[23]

FIELD II Simulation Software[EB/OL]. [2024-05-02].

[24]

Piotrzkowska-Wróblewska HDobruch-Sobczak KByra Met al. Open access database of raw ultrasonic signals acquired from malignant and benign breast lesions[J]. Medical Physics201744(11):6105-6109.

[25]

Finn SGlavin MJones E. Echocardiographic speckle reduction comparison[J]. IEEE Transactions on Ultrasonics, Ferroelectrics, and Frequency Control201158(1):82-101.

[26]

Mittal ASoundararajan RBovik A C. Making a “completely blind” image quality analyzer[J]. IEEE Signal Processing Letters201320(3):209-212.

基金资助

四川省自然科学基金(2023NSFSC0636)

AI Summary AI Mindmap
PDF (3742KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/