基于Max⁃min先验与强度先验的图像盲去模糊方法

Image Blind Deblurring Method Based on Max⁃min Prior and Intensity Prior

摘要

图像去模糊旨在将拍照过程中因抖动、 光照等原因出现的模糊现象去除， 进而获得清晰图像。本文针对当前很多先验知识在去模糊时对图像细节和边缘信息处理存在的欠缺， 提出了一种Max-min先验与强度先验相结合的方法。该算法通过强度先验提取出模糊图像的突出边缘和细节信息， 使用Max-min先验抑制模糊和噪声干扰， 采用多尺度策略获取模糊核， 利用估计出的中间复原图像与模糊核反复交替迭代， 最终得到清晰图像。实验结果表明， 相比现有方法， 本文方法能够估计出更准确的模糊核， 得到的中间图像含有更清晰、 锐利的边缘信息， 同时对伪影也有所改善， 并在性能评价指标PSNR和SSIM上也都有所提高， 其中， PSNR值能够提升\mathrm{0.782}~\mathrm{3.6754} dB， SSIM值最高能提升4.69%。本文方法无论在所获清晰图像的直接感官上还是数值评价指标上都比现有方法具有更优的去模糊性能。

Abstract

Image deblurring aims to remove the blurring phenomenon caused by shaking， lighting and other reasons in the process of taking pictures， then obtain a clear image. In view of the lack of processing image details and edge information in deblurring with prior knowledge， we proposed a method combining Max-min prior and intensity prior. The algorithm extracted the prominent edges and details of the blurred image by intensity prior， used Max-min prior to suppress blur and noise interference， used a multi-scale strategy to obtain the blurred kernel， and used the estimated intermediate restored image and the blurred kernel to iterate repeatedly to obtain a clear image. Experimental results show that compared with the existing methods， the proposed method can estimate the blurred kernel more accurately， and the intermediate image contains clearer and sharper edge information， and the artifacts are also improved， and the performance evaluation indexes PSNR and SSIM are also improved. The PSNR value can be increased by \mathrm{0.782}~\mathrm{3.6754} dB， and the SSIM value can be increased by 4.69%. These results show that the proposed method has better deblurring performance than the existing methods in the direct sensory and numerical evaluation indexes of the obtained clear images.

Graphical abstract

关键词

Max-min先验 / 强度先验 / 图像去模糊 / 最大后验概率

Key words

Max-min prior / intensity prior / image deblurring / maximum a posteriori probability

0 引　言

图像去模糊（Image Deblurring）是图像复原领域中的一个经典且至关重要的问题^［1］， 相关技术有着重要的现实应用价值， 近些年受到了广泛的关注。依据模糊核是否已知的条件， 图像去模糊技术可被划分为两大类： 非盲去模糊与盲去模糊^［2］。图像盲去模糊就是在模糊核未知的情况下恢复清晰图像^［3］， 图像的模糊退化模型可表示为清晰图像与模糊核的卷积， 即

\mathit{B}=\mathit{k}\otimes \mathit{I}+\epsilon ,（1）

式中： \mathit{B}， \mathit{k}， \mathit{I}分别为模糊图像、 模糊核和潜影图像； \epsilon为噪声； \otimes为卷积运算。图像反卷积旨在给定模糊图像\mathit{B}， 恢复高质量的图像\mathit{I}， 这个问题是一个病态问题， 意味着应该对\mathit{I}引入额外的假设， 人们发现图像先验正则化可以解决这个不合理的问题^［4］。

目前， 图像去模糊方法分为基于优化和基于学习两种， 基于优化的方法在很大程度上依赖于图像先验和模糊核先验来提高效率。Pan等^［5］首次将暗通道先验应用在图像去模糊当中， 并将去模糊问题表述为基于非凸L_{\mathrm{0}}范数的优化， 该模型可以处理大部分模糊图像， 但它的计算成本很高。为了使边缘更加锐利清晰， Pan等^［6］提出了用于文本图像去模糊的正则化强度和梯度先验， 这使得复原的图像有更清晰的边缘信息， 但是该方法对较大的图像噪声比较敏感。在暗通道基础上， Chen等^［7］提出了一种基于局部最大梯度（LMG）先验的盲去模糊框架， 该方法处理非高斯噪声引起的模糊时效果不佳， 同时在更新变量时需要大量的时间迭代。由于暗通道和LMG等先验方法都存在计算复杂度高的问题， Xu等^［8］提出了PMG先验， 在计算效率和去模糊质量方面都取得了优异的成绩， 但是随着高斯噪声水平的增加， 该算法去模糊结果相对较差。为了消除了暗通道方法对暗像素的依赖， Eqtedaei等^［9］提出了Max-min先验， 构造了一种新的能量函数， 采用线性算子来计算Max-min映射， 并结合优化方案来处理各种场景。该算法有效地消除了暗通道方法对暗像素的依赖， 提高了复原图像的准确性和执行速度， 但其在图像去模糊时会出现伪影和边缘缺失的现象。

近几年， 基于学习的方法也取得了很大的进展， 例如， Nah等^［10］提出了一种多尺度CNN方法， 以端到端的方式恢复潜在图像， 而无需对模糊核进行估计。尽管该方法取得了较好的去模糊效果， 但是由于多尺度策略会导致出现大量的参数。为了解决这个问题， Xia等^［11］设计了一种轻量级网络， Tao等^［12］通过在不同尺度之间使用共享的网络权值来减少参数。此外， 为了提高复原图像的质量， Zhang等^［13］在U-Net网络的基础上引入了自相关注意力机制， Tsai等^［14］提出了运动模糊感知注意力模块。尽管基于学习的方法在各个场景中有良好的性能， 但是它们依赖训练数据和测试数据的一致性， 致使其缺乏泛化能力。

综上所述， 虽然目前学界提出了各种基于图像先验的去模糊算法， 但大都存在边缘和细节信息缺失、 核估计不足、 计算成本高等问题。强度先验能够提取显著边缘， 突出边缘信息， 增强细节， 减少噪声对核估计的影响^［6］， 提高模糊核的准确度。因此， 本文提出了一种Max-min先验和强度先验相结合的盲去模糊算法。该算法通过强度先验提取出模糊图像的突出边缘和细节信息， 通过Max-min先验抑制模糊和噪声干扰， 再根据多尺度策略获取模糊核， 利用估计出的中间复原图像与模糊核反复交替迭代， 最终得到清晰图像。

1 相关知识

1.1 基于最大后验概率（MAP）框架的图像去模糊模型

基于MAP的先验算法是通过修改MAP框架的先验项来克服图像去模糊的病态问题， 从而复原出清晰图像， 其定义为

(k,I)=\underset{k,I}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{𝓁}}(x\otimes I,B)+\lambda \phi (I)+\gamma \varphi (I),（2）

式中： 第一项用于保持模糊图像B和重建图像I与模糊核k的卷积之间的相似性； 第二项和第三项分别表示基于潜在图像和模糊核先验的正则化项。

1.2 图像金字塔的多尺度“由粗到精”策略

在多尺度模型中， 对同一幅图像在不同分辨率下进行采样， 从而获得不同分辨率尺度下的特征信息以用于图像去模糊。首先， 将分辨率最小的灰度图像作为最“粗糙”分辨率的灰度图像， 通过下采样提取图像的主结构和粗糙初始模糊核； 然后， 对分辨率较高的灰度图像进行更细尺度的上采样， 提取更多的纹理细节特征信息。在高分辨率尺度下采样可以获得更详细的信息， 在低分辨率尺度下采样可以掌握图像变化的总体趋势。

2 本文提出的去模糊方法

针对现实中因各种原因造成的图像模糊问题， 本文提出了一种Max-min先验和强度先验相结合的盲去模糊算法， 首先在MAP框架中引入Max-min先验和强度先验提取出模糊图像的细节信息， 再根据交替优化技术获得潜影图和模糊核， 在此过程中引入金字塔多尺度策略， 对输入模糊图像进行不同尺度的下采样， 对每个尺度的估计核进行上采样， 然后传播到下一个更精细的尺度进行初始化， 最后在最精细尺度上估计的核通过非盲去模糊得到最终结果。本文去模糊算法的具体流程图 1 所示。

2.1 Max⁃min（Mm）先验

Eqtedaei等^［9］发现模糊现象会导致图像像素值局部平均化， 这使得清晰图像的局部邻域内最大与最小像素值之间的差值高于模糊图像相应的差值， 因而提出了Mm先验， 定义为

Mm(I)(x)=

\underset{y\in \Omega (x)}{\mathrm{m}\mathrm{a}\mathrm{x}}\left(\underset{c\in (r,g,b)}{\mathrm{m}\mathrm{a}\mathrm{x}}{I}^c(y)\right)-\underset{y\in \Omega (x)}{\mathrm{m}\mathrm{i}\mathrm{n}}\left(\underset{c\in (r,g,b)}{\mathrm{m}\mathrm{i}\mathrm{n}}{I}^c(y)\right),（3）

式中： x为图像I中大小为m\times m的图像补丁中心像素位置； y为以x为中心的补丁\Omega (x)中像素的位置； c为RGB通道之一。因清晰图像的\mathrm{1}-Mm(I)(x)映射值比模糊图像的更稀疏， 故引入Mm先验项{‖\mathrm{1}-Mm(I)‖}_{\mathrm{0}}。

2.2 强度先验

强度值直接反映了像素的亮度或灰度信息。观察图 2 中给出的强度比较图， 清晰图像的强度值大多分布在\mathrm{0}~\mathrm{20}以及\mathrm{230}~\mathrm{250}之间。模糊图像的强度值大多分布在\mathrm{75}~\mathrm{250}之间， 因此相较于清晰图像， 模糊图像的强度值分布是稠密的^［15］。主要原因是， 模糊图像中的每个像素都可以看作是清晰图像中几个相邻像素的加权和。

根据图 2 发现的现象建立与强度值相关的正则化项

P(\mathit{I})={‖\mathit{I}‖}_{\mathrm{0}},（4）

式中： {‖\mathit{I}‖}_{\mathrm{0}}为图像\mathit{I}中像素值的非零值个数。

2.3 去模糊优化模型的建立

如前分析， 强度先验能够为边缘检测算法提供额外的约束和引导， 帮助算法更准确地定位真实的边缘， 因此能够提取图像显著边缘， 弥补Mm先验模型存在的复原图像边缘不突出的缺陷， 由此提出基于MAP框架的去模糊模型

\underset{\mathit{I},\mathit{k}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\mathit{I}\otimes \mathit{k}-\mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+\alpha {‖\nabla \mathit{I}‖}_{\mathrm{0}}+

\beta {‖\mathrm{1}-Mm(\mathit{I})‖}_{\mathrm{0}}+\gamma {‖\mathit{I}‖}_{\mathrm{0}}+\lambda {‖\mathit{k}‖}_{\mathrm{2}}^{\mathrm{2}},（5）

式中： \mathit{I}为清晰图像； \mathit{k}为模糊核； \mathit{B}为模糊图像， \alpha ,\beta ,\lambda为正权参数； \otimes为卷积算子； 第一项是保真项， 确保观测图像与潜影图像之间的一致性； 第二项是梯度先验， 用于抑制精细的细节和抑制伪影； 第三个正则项是Mm先验， 其保证了所提先验的稀疏性， 第四个正则项是强度先验， 用于提取边缘信息， 最后一项是对模糊核的约束。

2.4 求解模型的交替优化

本文所提模型（5）的求解方法是采用交替优化技术^［16］， 该技术通过交替固定k和I来依次迭代优化I与k， 因此该交替优化求解过程可分解为两个独立的优化子问题：

1） 潜影子问题为

\begin{array}{c}\underset{\mathit{I}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\mathit{I}\otimes \mathit{k}-\mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+\alpha {‖\nabla \mathit{I}‖}_{\mathrm{0}}+\\ \beta {‖\mathrm{1}-Mm(\mathit{I})‖}_{\mathrm{0}}+\gamma {‖\mathit{I}‖}_{\mathrm{0}},\end{array}（6）

2） 模糊核子问题为

\underset{\mathit{k}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\mathit{I}\otimes \mathit{k}-\mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+\lambda {‖\mathit{k}‖}_{\mathrm{2}}^{\mathrm{2}}\mathrm{。}（7）

2.5 潜影估计

针对潜影子问题（6）中存在的L_{\mathrm{0}}正则化项以及Mm先验的非线性等特征， 采用半二次分裂方法^［8］来求解该优化模型。因此， 分别引入关于\mathrm{1}-Mm\left(\mathit{I}\right)、 图像梯度和强度的辅助变量\mathit{u}，\mathit{g}，\mathit{v}， 其中， g=(g_h,g_v)， g_h和g_v分别表示图像在水平和垂直方向的梯度， 加入的变量分别逼近\mathrm{1}-Mm(\mathit{I})、 \nabla \mathit{I}和\mathit{I}， 式（7）近似为

\begin{array}{c}\underset{\mathit{I},\mathit{u},\mathit{v},\mathit{g}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\mathit{I}\otimes \mathit{k}-\mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+{\alpha }_{\mathrm{1}}{‖\nabla \mathit{I}-\mathit{g}‖}_{\mathrm{2}}^{\mathrm{2}}+\\ {\gamma }_{\mathrm{1}}{‖\mathit{I}-\mathit{v}‖}_{\mathrm{2}}^{\mathrm{2}}+{\beta }_{\mathrm{1}}{‖\mathrm{1}-Mm(\mathit{I})-\mathit{u}‖}_{\mathrm{2}}^{\mathrm{2}}+\alpha {‖\mathit{g}‖}_{\mathrm{0}}+\\ \beta {‖\mathit{u}‖}_{\mathrm{0}}+\gamma {‖\mathit{v}‖}_{\mathrm{0}},\end{array}（8）

式中： {\alpha }_{\mathrm{1}},{\beta }_{\mathrm{1}},{\gamma }_{\mathrm{1}}为正权参数。通过固定\mathit{I},\mathit{u},\mathit{v},\mathit{g}四个变量中的三个， 交替更新剩余的每一个。

首先， 将\mathit{u},\mathit{v},\mathit{g}固定， 得到\mathit{I}的子问题

\begin{array}{c}\underset{\mathit{I}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\mathit{I}\otimes \mathit{k}-\mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+{\alpha }_{\mathrm{1}}{‖\nabla \mathit{I}-\mathit{g}‖}_{\mathrm{2}}^{\mathrm{2}}+\\ {\beta }_{\mathrm{1}}{‖\mathrm{1}-Mm(\mathit{I})-\mathit{u}‖}_{\mathrm{2}}^{\mathrm{2}}+{\gamma }_{\mathrm{1}}{‖\mathit{I}-\mathit{v}‖}_{\mathrm{2}}^{\mathrm{2}}\mathrm{。}\end{array}（9）

式（9）中包含了所有的二次项， 通过最小二乘法得到其封闭解^［17］， 即

\mathit{I}=F^{-\mathrm{1}}\frac{\overline{F(\mathit{k})}F(\mathit{B})+{\alpha }_{\mathrm{1}}{\mathit{F}}_{\mathit{G}}+{\beta }_{\mathrm{1}}F(\mathit{u})+{\gamma }_{\mathrm{1}}F\left(\mathit{v}\right)}{\overline{F(\mathit{k})}F(\mathit{K})+{\alpha }_{\mathrm{1}}+{\beta }_{\mathrm{1}}+{\gamma }_{\mathrm{1}}\overline{F(\nabla )}F(\nabla )}，（10）

式中： F(•)为快速傅里叶变换（FFT）； F^{-\mathrm{1}}(•)为其对应的逆变换； \overline{F(•)}为复共轭算子； F_{\mathit{G}}=\overline{F({\nabla }_h)}F({\mathit{g}}_h)+\overline{F({\nabla }_v)}F({\mathit{g}}_v)， {\nabla }_h和{\nabla }_v分别为水平和垂直梯度算子。

给定\mathit{I}后， 式（8）可以表示为元素最小化问题^［5］， 即

\underset{\mathit{u}}{\mathrm{m}\mathrm{i}\mathrm{n}}{\beta }_{\mathrm{1}}{‖\mathrm{1}-Mm(\mathit{I})-\mathit{u}‖}_{\mathrm{2}}^{\mathrm{2}}+\beta {‖\mathit{u}‖}_{\mathrm{0}},（11）

\underset{\mathit{v}}{\mathrm{m}\mathrm{i}\mathrm{n}}{\gamma }_{\mathrm{1}}{‖\mathit{I}-\mathit{v}‖}_{\mathrm{2}}^{\mathrm{2}}+\gamma {‖\mathit{v}‖}_{\mathrm{0}},（12）

\underset{\mathit{g}}{\mathrm{m}\mathrm{i}\mathrm{n}}{\alpha }_{\mathrm{1}}{‖\nabla \mathit{I}-\mathit{g}‖}_{\mathrm{2}}^{\mathrm{2}}+\alpha {‖\mathit{g}‖}_{\mathrm{0}}\mathrm{。}（13）

\mathit{u}根据式（14）来确定， 具体为

\mathit{u}=\left\{\begin{array}{ll}\mathrm{1}-Mm(\mathit{I}),& {\left|\mathrm{1}-Mm(\mathit{I})\right|}^{\mathrm{2}}>\frac{\beta }{{\beta }_{\mathrm{1}}}，\\ \mathrm{0}，& \mathrm{其他}\mathrm{。}\end{array}\right.（14）

同理， \mathit{v}和\mathit{g}也利用上述方法获得， 具体为

\mathit{v}=\left\{\begin{array}{ll}\mathit{I},& {\left|\mathit{I}\right|}^{\mathrm{2}}>\frac{\gamma }{{\gamma }_{\mathrm{1}}},\\ \mathrm{0},& \mathrm{其他}\mathrm{。}\end{array}\right.（15）

\mathit{g}=\left\{\begin{array}{cc}\nabla \mathit{I},& {\left|\nabla \mathit{I}\right|}^{\mathrm{2}}>\frac{\alpha }{{\alpha }_{\mathrm{1}}},\\ \mathrm{0},& \mathrm{其他}\mathrm{。}\end{array}\right.（16）

以上过程是潜影估计的完整过程， 为了更直观地描述此过程， 伪代码如算法 1 所示。

算法 1　潜影恢复求解式(6)

输入： 模糊图像\mathit{B}和模糊核\mathit{k}。

初始化： \mathit{I}\leftarrow \mathit{B}， {\alpha }_{\mathrm{1}},{\beta }_{\mathrm{1}},{\gamma }_{\mathrm{1}},\beta以及对应上界{\alpha }_{\mathrm{m}\mathrm{a}\mathrm{x}},{\beta }_{\mathrm{m}\mathrm{a}\mathrm{x}},{\gamma }_{\mathrm{m}\mathrm{a}\mathrm{x}}， {\beta }_{\mathrm{1}}=\mathrm{2}\beta。

while：

使用式(14)得到\mathit{u}。

while：

利用式(15)得到\mathit{v}。

while：

使用式(16)得到\mathit{g}；

使用式(10)求解\mathit{I}。

{\alpha }_{\mathrm{1}}=\mathrm{2}{\alpha }_{\mathrm{1}}

end

{\gamma }_{\mathrm{1}}=\mathrm{2}{\gamma }_{\mathrm{1}}

end

{\beta }_{\mathrm{1}}=\mathrm{2}{\beta }_{\mathrm{1}}

end

输出： 潜影图像\mathit{I}。

2.6 模糊核估计

求得潜影图像\mathit{I}之后， 核估计就变成了最小二乘优化的子问题。利用式（7）对模糊核求解， 为了提高核估计的精度， 获得更准确的结果， 将强度空间转换到梯度空间处理模糊核， 将式（7）改为

\underset{\mathit{k}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}{‖\nabla \mathit{I}\otimes \mathit{k}-\nabla \mathit{B}‖}_{\mathrm{2}}^{\mathrm{2}}+\lambda {‖\mathit{k}‖}_{\mathrm{2}}^{\mathrm{2}}\mathrm{。}（17）

然后利用快速傅里叶变换（FFT）计算式（17）， 求得模糊核的封闭解^［16］

\mathit{k}=F^{-\mathrm{1}}\left(\frac{\overline{F(\nabla \mathit{I})}F(\nabla \mathit{B})}{\overline{F(\nabla \mathit{I})}F(\nabla \mathit{B})+\lambda }\right)，（18）

式中： \nabla \mathit{I}为清晰图像的梯度； \nabla \mathit{B}为模糊图像的梯度。估计核必须满足两个约束条件： k_i>\mathrm{0}和\sum _i{k}_i=\mathrm{1}， 因此， 核的负元素被设为零， 所有元素通过除以核元素的和进行归一化， k_i表示第i个尺度估计出的模糊核。在实现过程中， 为了使获得的模糊核更加准确， 采用多尺度策略， 对每个尺度的估计核进行上采样， 然后传播到下一个更精细的尺度^［18］。算法 2 描述了在每个尺度上核估计的关键步骤。

算法 2　每个尺度上对模糊核的估计

输入： 模糊图像\mathit{B}和模糊核大小。

初始化： \mathit{k}\leftarrow从上一层较粗尺度上采样\mathit{k}

for i= 1： 5

利用算法1求解\mathit{I}

利用式(18)求解\mathit{k}

end

输出： 模糊核\mathit{k}， 中间图像\mathit{I}。

3 实　验

本文实验中， 使用的Intel（R） Core（TM） i7-8565U CPU @ 1.80GHz， 8.00GB内存的计算机， 在MatlabR2018a环境下进行实验。在实验中， 将式（7）和式（8）中的参数设置为\alpha =\mathrm{0.004}， \beta =\mathrm{0.004}， \gamma =\mathrm{0.001}和\lambda =\mathrm{2}。为了充分验证本文算法的有效性和泛化能力， 本研究分别对合成模糊图像、 自然模糊图像以及文本模糊图像进行了图像去模糊处理， 并与文献［5］、 文献［9］、 文献［17］、 文献［19］、 文献［20］和文献［21］中的算法进行了对比。此外， 为了定量比较各算法的性能，采用了峰值信噪比（PSNR）、 结构相似性（SSIM）、 平均梯度（AG）和信息熵（EN）等四种评价指标， 计算公式分别定义为

PSNR(\mathit{x},\mathit{y})=\mathrm{10}\mathrm{l}\mathrm{g}\left\{\frac{{\mathrm{255}}^{\mathrm{2}}}{\frac{\mathrm{1}}{M\times N}{\displaystyle \sum _{i=\mathrm{1}}^M}{\displaystyle \sum _{j=\mathrm{1}}^N}[\mathit{x}(i,j)-\mathit{y}{(i,j)]}^{\mathrm{2}}}\right\},（19）

SSIM(\mathit{x},\mathit{y})=\frac{(\mathrm{2}{\mu }_{\mathit{x}}{\mu }_{\mathit{y}}+c_{\mathrm{1}})({\sigma }_{\mathit{x}\mathit{y}}+c_{\mathrm{2}})}{({\mu }_{\mathit{x}}^{\mathrm{2}}+{\mu }_{\mathit{y}}^{\mathrm{2}}+c_{\mathrm{1}})({\sigma }_{\mathit{x}}^{\mathrm{2}}+{\sigma }_{\mathit{y}}^{\mathrm{2}}+c_{\mathrm{2}})},（20）

Entropy=-{\displaystyle \sum _{i=\mathrm{1}}^n}{p}_i\mathrm{l}\mathrm{o}\mathrm{g}{p}_i,（21）

\begin{array}{c}AG=\\ \frac{\mathrm{1}}{(M-\mathrm{1})(N-\mathrm{1})}{\displaystyle \sum _{i=\mathrm{1}}^{M-\mathrm{1}}}{\displaystyle \sum _{j=\mathrm{1}}^{N-\mathrm{1}}}\sqrt[]{\frac{{\left(H(i+\mathrm{1},j)-H\left(i,j\right)\right)}^{\mathrm{2}}+{\left(H(i,j+\mathrm{1})-H\left(i,j\right)\right)}^{\mathrm{2}}}{}},\end{array}（22）

式中： \mathit{x}\mathrm{、}\mathit{y}分别为原始模糊图像和复原图像； M\mathrm{、}N分别为图像的行数和列数； {\mu }_{\mathit{x}}\mathrm{、}{\mu }_{\mathit{y}}分别为\mathit{x}\mathrm{、}\mathit{y}的平均值； {\sigma }_{\mathit{x}}\mathrm{、}{\sigma }_{\mathit{y}}分别为\mathit{x}\mathrm{、}\mathit{y}的标准差； {\sigma }_{\mathit{x}\mathit{y}}分别为\mathit{x}、 \mathit{y}的协方差； c_{\mathrm{1}}\mathrm{、}{c}_{\mathrm{2}}为常数； p_i为某个灰度在该图像出现的概率。

由式（19）~式（22）可知： PSNR值越高， 去模糊图像失真越小； SSIM值越大， 复原图像对原始图像的细节保留得越好； EN值越大图像蕴含的信息越丰富； AG值越高说明图像越清晰。因此， 这四项指标值越大， 说明算法的去模糊性能就越好。

3.1 合成图像去模糊

本文采用广泛使用的Levin数据集^［22］。该数据集由4张清晰图像被8个运动模糊核人工模糊后获得的32张退化图像组成。实验中将该数据集的32张图像全部复原， 为了比较算法性能， 使用平均的PSNR值和SSIM值， 并且还计算了每种算法整体的均值。表 1 和表 2 分别给出了采用本文方法与已有方法对每幅模糊图像去模糊的平均PSNR值和SSIM值以及整体均值。

由表 1 和表 2 可以看出， 本文方法在平均SSIM值和PSNR值以及整体均值上都取得了最大值。其中， 相比文献［9］的算法， 本文算法的PSNR值最大提升了2.97%， SSIM值最大提升了1.04%。相比与其他几种方法， 效果也有所提升， 特别地， 相比文献［19］的方法， 本文方法更具有优势， PSNR值最大提升了15.71%， SSIM值最大提供了26.23%。这些数据表明， 本文方法恢复的清晰图像较其他几种算法质量更高， 更接近于原图。

图 3 为Levin数据在不同去模糊方法下的图像结果。可以直观地看到： 文献［19］在第二组图像中只消除了部分模糊； 针对第三组图像， 文献［9］和文献［20］对轮廓和边缘的处理较好， 但是图像上端出现了一些线条斑驳； 文献［9］、 文献［5］和文献［21］的方法在处理第四组图时明显出现很多伪影， 图像的细节信息不突出， 导致去模糊效果不佳； 本文处理的模糊图像都未出现明显的伪影， 细节的保留和边缘信息的处理相对较好。综合视觉比较和指标比较， 本文所提出的方法都优于其他方法。

3.2 文本图像去模糊

为了进一步验证本文算法的效果， 本文对文本模糊图像去模糊， 选择一张背景单一的文本图像和一张线条信息丰富的图像进行实验。图 4 是对两幅文本图像去模糊的结果， 观察去模糊整体情况， 本文算法相较于其余6种算法具有很强的竞争力。针对字母图像， 复原图像中出现了不同类型和程度的伪影、 畸形和颜色变浅的情况： 文献［19］出现了严重的畸形和阴影， 文献［20］和文献［21］显现出明显的水波纹， 文字和背景保留情况较差， 文献［5］、 文献［9］和文献［17］的复原图像整体效果较好， 但文字彩色背景上的细节恢复效果不佳， 文字轮廓出现斑驳， 颜色填充不充分。然而本文方法能够显示出更多的背景细节， 文字边缘更加平滑， 图片整体质量更高， 说明本文方法的去模糊效果最佳。

针对卡通图像结果， 文献［17］、 文献［20］以及文献［21］整体较好， 但是依旧存在问题： 文献［9］结果依旧显示明显伪影， 边缘线条也相对模糊； 文献［20］以及文献［21］出现了去模糊不彻底的情况， 如图中蓝色区域内的文字有少量运动模糊未彻底清除， 边缘线条不清晰。本文方法能够消除文献［9］出现的伪影， 同时边缘线条更加清晰， 也消除了残留的运动模糊。文献［5］、 文献［19］的去模糊效果不理想， 前者振铃效应严重导致图片已经失真， 后者未能准确获取模糊边缘信息， 去模糊效果不够显著。

表 3 给出了数据集去模糊结果的AG值和EN值， 对比Image1和Image2的结果， 本文方法的AG值和EN值都处于优势状态， 说明本文方法恢复的图像更清晰， 蕴含的细节信息更丰富。综合数值比较和视觉分析， 本文算法生成的去模糊图像更清晰， 边缘线条更锐利。

3.3 自然图像去模糊

自然条件下， 各种环境因素会使得模糊图像的情况更加复杂， 会对图像复原过程产生更加不利的影响。为了展示本文算法的有效性， 选取两张广泛使用的自然图像。图 5 是自然图像去模糊的结果， 为了便于观察， 对复原的自然图像细节进行放大处理， 同时分别将两张自然图像命名为building和toy。

从整体视觉效果分析来看， 本文方法复原的图像更加清晰。针对building图， 除了文献［19］和文献［21］的复原图像出现大量伪影外， 其他方法均未出现明显的伪影。针对细节放大图的复原效果图， 文献［9］在处理文字轮廓时出现欠缺， 虽然复原的文字能够看清但是边缘不清晰、 不锐利， 颜色饱和度降低； 文献［19］和文献［21］的复原图像出现了大量的振动伪影； 本文方法去模糊图像的文字边界更加明显， 整体效果也更清晰。针对toy图的细节放大图， 文献［9］的复原图像边缘保留效果不佳， 导致文字清晰度不够， 改进后的算法所得图像的内容视觉效果更好， 图像色彩更加饱满， 细节保留得更加完整； 文献［5］出现少量伪影， 文字颜色较浅， 这是由于模糊核估计不够准确导致的； 文献［19］去模糊效果不明显； 文献［17］和文献［21］都出现了同样的问题， 颗粒感较重， 还存在噪声。

比较AG值和EN值可以看出， 本文的结果明显高于其他算法， 这说明本文算法在处理真实图像时也具有良好的效果。综合数值比较和视觉比较， 其他方法得到的复原图像质量均有不同程度和类型的不足， 本文的算法在去模糊性能、 边缘细节保持和视觉效果方面都表现良好。

3.4 消融实验

为了评估各个模块对图像去模糊性能的影响， 本次消融实验将在Levin数据集上展开。通过这一实验设置， 可以深入分析不同模块在真实场景下的表现及其对整体去模糊效果的贡献， 实验中对Mm先验和强度先验进行逐一移除分析。表 4 给出了实验结果， 只有Mm先验时的PSNR值为26.368 7 dB， 只有强度先验时的PSNR值为26.563 dB， 同时使用两个先验时的PSNR值为27.503 4 dB， 最大提升了1.134 7 dB， 充分说明了这些模块的有效性。

4 结　论

本文提出了Mm先验与强度先验相结合的图像盲去模糊算法。该算法利用强度先验能够提取图像显著边缘轮廓的优势， 使所得中间图像保留了更多的图像结构和边缘信息， 同时保留原有的Mm先验项来抑制模糊噪声和伪影， 使用两种先验方式对模糊图像进行约束， 使得获得的中间图像富含更多信息， 模糊核更加准确。在实验过程中， 去模糊过程被分为潜影图像估计和模糊核估计两个阶段。潜影估计过程中引入了半二次分裂法， 该方法具有高效方便的优点， 在梯度空间中估计模糊核， 并且使用多尺度策略估计模糊核得到了更准确的模糊核， 将潜影估计和核估计反复迭代最终获得清晰图像。实验结果显示， 相对于单一的Mm先验， 加入强度先验能够更好地利用图像本身的结构信息， 保留显著边缘， 对恢复图像细节部分和去除伪影方面具有良好的效果。

参考文献

[1] LI X， WU S， XIE S， et al. Dynamic-clustering extreme intensity prior based blind image deblurring［J］. Journal of Mathematical Imaging and Vision， 2024， 66（1）： 22-36.

[2] 陈晨， 许金鑫， 危才华， 等. 基于显著性强度和梯度先验的多尺度图像盲去模糊［J］. 激光与光电子学进展， 2020， 57（4）： 271-277.

[3] CHEN Chen， XU Jinxin， WEI Caihua， et al. Multi-scale image blind deblurring based on salient intensity and a priori gradient［J］. Laser & Optoelectronics Progress， 2020， 57（4）： 271-277. （in Chinese）

[4] 赵宗晨， 刘春雨， 徐明林， 等.基于局部最大梯度与最小强度先验的光场图像去模糊［J］. 激光与光电子学进展， 2024， 61（18）： 336-345.

[5] ZHAO Zongchen， LIU Chunyu， XU Minglin， et al. Deblurring light field images based on local maximum gradient and minimum intensity priors［J］. Laser & Optoelectronics Progress， 2024， 61（18）： 336-345. （in Chinese）

[6] ZHA Z Y， YUAN X， WEN B H， et al. Group sparsity residual constraint with non-local priors for image restoration［J］. IEEE Transactions on Image Processing， 2020， 29： 8960-8975.

[7] PAN J S， SUN D Q， PFISTER H， et al. Blind image deblurring using dark channel prior［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2016： 1628-1636.

[8] PAN J， HU Z， SU Z， et al. L₀-regularized intensity and gradient prior for deblurring text images and beyond［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2017， 39（2）： 342-355.

[9] CHEN L， FANG F， WANG T， et al. Blind image deblurring with local maximum gradient prior［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， 2019： 1742-1750.

[10] XU Z H， CHEN H S， LI Z H. Fast blind deconvolution using a deeper sparse patch-wise maximum gradient prior［J］. Signal Processing： Image Communication， 2021， 90： 116050.

[11] EQTEDAEI A， AHMADYFARD A. Blind image deblurring using both L₀ and L₁ regularization of Max-min prior［J］. Neurocomputing， 2024， 592： 127727 .

[12] NAH S， KIM T H， LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition（CVPR）， 2017： 257-265.

[13] XIA H， WU B， TAN Y， et al. MFC-Net： Multi-scale fusion coding network for image deblurring［J］. Applied Intelligence， 2022， 52（11）： 13232-13249.

[14] TAO X， GAO H， SHEN X， et al. Scale-recurrent network for deep image deblurring［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， 2018： 8174-8182.

[15] ZHANG H， DAI Y， LI H， et al. Deep stacked hierarchical multi-patch network for image deblurring［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）， 2019： 5971-5979.

[16] TSAI F J， PENG Y T， TSAI C C， et al. BANet： A blur-aware attention network for dynamic scene deblurring［J］. IEEE Transactions on Image Processing， 2022， 31： 6789-6799.

[17] 许煜， 刘辉， 尚振宏.基于多种先验的盲图像复原方法［J］. 计算机工程与科学， 2019， 41（8）： 1466-1473.

[18] XU Yu， LIU Hui， SHANG Zhenhong. A blind image deblurring method based on multiple priors［J］. Computer Engineering & Science， 2019， 41（8）： 1466-1473. （in Chinese）

[19] HU D D， TAN J Q， ZHANG L， et al. Salient edges combined with image structures for image deblurring［J］. Signal Processing： Image Communication， 2022， 107： 116787.

[20] WEN F， YING R， LIU Y， et al. A simple local minimal intensity prior and an improved algorithm for blind image deblurring［J］. IEEE Transactions on Circuits and Systems for Video Technology， 2021， 31（8）： 2923-2937.

[21] CHENG Z Z， LUO B， XU L， et al. Blind image deblurring via content adaptive method［J］. Signal Processing： Image Communication， 2023， 113： 116924.

[22] KRISHNAN D， TAY T， FERGUS R. Blind deconvolution using a normalized sparsity measure［C］//CVPR 2011， 2011： 233-240.

[23] YAN Y， REN W， GUO Y， et al. Image deblurring via extreme channels prior［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， 2017： 6978-6986.

[24] CAO S F， HU H P， WANG W K. Blind image deblurring method based on l 1 / l 2 -norm regularization［J］. Journal of Measurement Science & Instrumentation， 2023， 14（2）： 182-188.

[25] 胡雪， 黄成泉， 冯润， 等. 全变分极端通道先验的盲图像去噪去模糊［J］. 数据采集与处理杂志， 2022， 37（3）： 643-656.

[26] HU Xue， HUANG Chengquan， FENG Run， et al. Blind image denoising and blurring by total variationa extreme channels prior［J］. Journal of Data Acquisition and Processing， 2022， 37（3）： 643-656. （in Chinese）

基金资助

山西省基础研究计划资助项目(202103021224195)

山西省基础研究计划资助项目(202103021224212)

山西省基础研究计划资助项目(202103021223189)

山西省基础研究计划资助项目(20210302123019)

山西省回国留学人员科研项目(2021-108)