基于多通道视觉注意力的模糊图像质量复原算法设计

Design of fuzzy image quality restoration algorithm based on multi-channel visual attention

摘要

为了提高摄像机成像质量和图像清晰度，提出了一种基于多通道视觉注意力的模糊图像质量复原算法。在多通道视觉注意力机制的基础上构建了编码网络，将模糊图像输入到编码网络中，对图像展开复原处理；同时，在复原处理过程中引入振铃检测，消除复原后图像中存在的振铃区域，提高复原图像的质量和清晰度。实验结果表明，本文算法的去振铃现象效果更好、图像复原后的质量更高、应用效率更理想。

关键词

多通道视觉注意力 / 模糊图像 / 振铃效应 / 编码网络 / 图像质量复原

Key words

multi-channel visual attention / blurred image / ringing effect / coding network / image quality restoration

0 引言

在人们日常生活和工作中，图像属于重要部分，可以记录生活中发生的事情和各种变化。在拍照过程中如果相机抖动或拍照者手腕抖动会导致图像模糊，无法获取细节信息，降低图像信息的完整性^［1］。在图像处理领域中，图像质量复原一直属于热点问题和难点问题，研究模糊图像的质量复原算法在刑事侦察、空间探索、医学影像和军事等领域中都具有重要意义^［2-5］。

杨燕等^［6］通过高斯函数获得模糊图像与清晰图像之间的衰减关系；针对模糊图像的高亮区域，利用修正透射率进行补偿，分析了图像的模糊特性；计算原图亮通道对应的熵值，构建了模糊分布图，采用线性变换方法在模糊分布图的基础上实现图像质量复原。经该算法复原后的图像中存在振铃区域，表明该算法的去振铃效果较差，导致图像复原质量低。李澜等^［7］通过色度分离法获取模糊图像中的亮度区域，采用形态学滤波算法消除图形中存在的散点，将局部平滑度和图像保真度作为优化目标，构建图像质量复原模型，实现了图像的质量复原，但该算法复原模糊图像耗时较长、复原效率较低。为了解决上述算法中存在的问题，本文提出一种基于多通道视觉注意力的模糊图像质量复原算法。

1 本文方法

1.1 图像降质模型

噪声、摄像机传感器分辨率、景物相对运动和光学三角等因素都会降低图像成像质量^［8，9］，导致图像出现模糊现象，图像的降质过程如图1所示。

令 \{ g_r {\}}_{r=\mathrm{1}}^N为 N个观测图像构成的集合，r=1，2，…N； F_r为在线性空间保持不变的成像系统中第 r个观测图像 g_r的下采样过程； J_r为第 r个观测图像 g_r的模糊退化过程，则可通过下式描述图像的降质过程：

g_r ( x , y ) = J_r E_r F_r [ f ( x , y ) ] + n_r ( x , y ) （1）

式中： E_r为第 r个观测图像 g_r的几何变形过程； f ( x , y )为高分辨率图像； n_r ( x , y )为噪声。

分析式（1）可知，根据图像降质过程可以获得原始图像，但图像中的高频信息由于受到偏移和模糊等因素的影响容易丢失，无法通过反推获得原始图像，因此将式（1）转变为：

g_r ( x , y ) = J_r E_r F_r [ f_r ( x , y ) ] + n_r ( x , y ) （2）

式中： f_r ( x , y )为由第 r个观测图像估计得到的原始图像。

在式（2）中代入 N个观测图像获得下式：

\left\{\begin{array}{l}{g}_{\mathrm{1}}(x,y)=J_{\mathrm{1}}{E}_{\mathrm{1}}{F}_{\mathrm{1}}[f_{\mathrm{1}}(x,y)]+n_{\mathrm{1}}(x,y)\\ g_{\mathrm{2}}(x,y)=J_{\mathrm{2}}{E}_{\mathrm{2}}{F}_{\mathrm{2}}[f_{\mathrm{2}}(x,y)]+n_{\mathrm{2}}(x,y)\\ ⋮\\ g_N(x,y)=J_N{E}_N{F}_N[f_N(x,y)]+n_N(x,y)\end{array}\right. （3）

1.2 基于多通道视觉注意力的模糊图像质量复原

1.2.1 编码网络结构

基于多通道注意力的编码网络结构由两部分构成：

（1）编码部分，其主要作用是通过下采样提取模糊图像 I_B的特征；

（2）解码部分，其主要作用是通过上采样处理模糊图像 I_B的特征，输出复原后的图像。

基于多通道注意力的编码网络结构如图2所示。

1.2.2 多通道视觉注意力模块

基于多通道视觉注意力的模糊图像质量复原算法引入了注意力机制^{［10，11］}抑制平滑区域中存在的噪声，对图像高频特征做增强处理。在注意力模块中非线性变化处理模糊图像，获得特征图，其通道数为64，在预测卷积中通过压缩处理获得通道数为3的特征图，输出图像。在最近邻差值方法的基础上，对上述输出图像展开上采样处理，结合非线性变换^{［12，13］}获得模糊图像的全局特征图。

1.2.3 损失函数

基于多通道视觉注意力的模糊图像质量复原算法采用损失函数优化上述网络模型，损失函数 Z_{\mathrm{t}}由两部分构成：暗通道先验损失 Z_{\mathrm{d}}和内容损失 Z_{\mathrm{s}}。损失函数 Z_{\mathrm{t}}的表达式为：

Z_{\mathrm{t}} = {\mu }_{\mathrm{1}} Z_{\mathrm{d}} + {\mu }_{\mathrm{2}} Z_{\mathrm{s}} （4）

式中： {\mu }_{\mathrm{1}}、 {\mu }_{\mathrm{2}}均为损失系数，分别与函数 Z_{\mathrm{t}}、 Z_{\mathrm{s}}相对应。

在模糊图像复原过程中所用的内容损失函数 Z_{\mathrm{c}}基于多通道视觉注意力的模糊图像质量复原算法选用均方误差，如下所示：

Z_{\mathrm{c}} = \frac{{\displaystyle \sum _{x=\mathrm{1}}^{rW}}{\displaystyle \sum _{y=\mathrm{1}}^{rH}}[I_{x,y}^S-H_{{\vartheta }_{\sigma }}(I^B{)}_{x,y}{]}^{\mathrm{2}}}{r^{\mathrm{2}}WH} （5）

式中： r为模糊图像的数量； H、 W分别为图像的高度和宽度； I_{x,y}^S为清晰图像； {\vartheta }_{\sigma }为网络参数； I^B为模糊图像。

利用上述网络复原后的图像可以表示为 H_{{\vartheta }_{\sigma }} ( I^B {)}_{x,y}。

基于多通道注意力的编码网络最终输出为复原后的图像，本文方法引入暗通道先验损失^{［14，15］}，图像 I中像素 p对应的暗通道为 F_{\mathrm{c}} ( p )，其表达式为：

F_{\mathrm{c}} ( p ) = \underset{q\in M(p)}{\mathrm{m}\mathrm{i}\mathrm{n}} \left[\underset{V\in \{r,g,b\}}{\mathrm{m}\mathrm{i}\mathrm{n}}{I}^V(q)\right] （6）

式中： M ( p )为中心为像素 p的图像块； p、 q均属于模糊图像中存在的像素； I^V ( q )为 V个通道内的图像。

卷积操作在网络中的主要作用是提取特征，用 x_{i,j}表示图像中存在的第 i行、第 j列元素；用 s_{ij}代表每个通道中通过卷积操作获取的特征，其计算公式为：

s_{ij} = f \left({\displaystyle \sum _{m=\mathrm{0}}^{k-\mathrm{1}}}{\displaystyle \sum _{n=\mathrm{0}}^{k-\mathrm{1}}}{\xi }_{m,n}{x}_{i+m,j+n}+{\xi }_b\right) （7）

式中： {\xi }_{m,n}为卷积核对应的权重； {\xi }_b为卷积操作中存在的偏置。

为了提高图像复原质量，本文方法引入暗通道系数先验损失函数 Z_{\mathrm{d}}：

Z_{\mathrm{d}} = \frac{{\displaystyle \sum _{x=\mathrm{1}}^{rW}}{\displaystyle \sum _{y=\mathrm{1}}^{rH}}{\left[F_c{I}_{x,y}^S-N_c{H}_{{\vartheta }_{\sigma }}(I^B{)}_{x,y}\right]}^{\mathrm{2}}}{r^{\mathrm{2}}WH} （8）

1.3 去振铃效应

振铃效应指的是模糊图像在复原过程中丢失高频信息，基于多通道视觉注意力的模糊图像质量复原算法的去振铃效应具体流程如下所示。

（1）通过Canny算子^{［16，17］}检测上述获取的复原图像边缘，根据边缘检测结果获得边缘图像 B。

（2）针对边缘图像 B，检测其细节区域：

①从左到右对边缘图像 B展开水平方向的检测，当区域 p ( i , j )满足 {\displaystyle \sum _k^j} B ( i , k ) \ge \mathrm{1}时，表明该区域属于边缘图像 p ( i , j )的细节区域中，计算该区域对应的掩膜 M_{\mathrm{d}\mathrm{1}}，通常情况下真实掩膜 M_{\mathrm{d}}对应的细节区域通常宽于掩膜 M_{\mathrm{d}\mathrm{1}}对应的细节区域。完成上述操作后，从右到左对边缘图像 B展开水平方向的检测，获得细节区域对应的掩膜 M_{\mathrm{d}\mathrm{2}}，对上述过程获取的掩膜 M_{\mathrm{d}\mathrm{1}}和 M_{\mathrm{d}\mathrm{2}}进行与操作，获得 M_{\mathrm{d}h}。

②在垂直方向中，按照相同的方式检测边缘图像 B，获得其细节区域对应的掩膜 M_{\mathrm{d}v}。

③在或操作的基础上处理两个方向中的掩膜 M_{\mathrm{d}h}、 M_{\mathrm{d}v}，得到细节区域在图像中的最终掩膜 M_{\mathrm{d}}；

（3）根据上述得到的掩膜 M_{\mathrm{d}}在边缘图像中检测振铃区域，并计算其掩膜 M_r。通过下述过程检测平坦区域中的振铃效应：

①用 w表示可以覆盖振铃区域的宽度，设置滑窗 W的列 c_r和行 r_r，当滑窗 W的左上角 m ( i , j )满足 {\displaystyle \sum _k^{r_r}} {\displaystyle \sum _k^{c_r}} W ( k , l ) \ge \mathrm{1}时，表明细节区域存在于该滑窗内。

②从左到右在水平方向中检测滑窗中振铃区域对应的掩膜，当 {\displaystyle \sum _k^{r_r}} {\displaystyle \sum _l^{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{t}\mathrm{h}}} W ( k , l ) = \mathrm{0}、 {\displaystyle \sum _k^{r_r}} {\displaystyle \sum _l^{\mathrm{w}\mathrm{i}\mathrm{d}\mathrm{t}\mathrm{h}+\mathrm{1}}} W ( k , l ) \ge \mathrm{1}时，表明滑窗中的区域 W ( \mathrm{1} : r_r , \mathrm{1} : \mathrm{w} \mathrm{i} \mathrm{d} \mathrm{t} \mathrm{h} )属于振铃区域，对 W ( \mathrm{1} : r_r , \mathrm{1} : \mathrm{w} \mathrm{i} \mathrm{d} \mathrm{t} \mathrm{h} )对应的掩膜 M_{rh}展开计算，在垂直方向中按照相同的方式获得 W ( \mathrm{1} : r_r , \mathrm{1} : \mathrm{w} \mathrm{i} \mathrm{d} \mathrm{t} \mathrm{h} )对应的掩膜 M_{rv}。

③在或操作的基础上结合掩膜 M_{rh}、 M_{rv}的计算结果获得最终掩膜 M_r。

（4）消除振铃区域和细节区域的掩膜在边缘图像 B对应的区域，并将处理后的图像输入Fuzzy滤波器中，获取去振铃效应的复原图像^［18］。

2 实验及结果分析

为了验证基于多通道视觉注意力的模糊图像质量复原算法的整体有效性，将文献［3］方法和文献［4］方法作为对比方法进行测试。采用上述方法对图3所示模糊图像进行复原处理，结果如图4所示。

由图4可知：采用本文算法对图像展开复原处理后，图像的清晰度明显高于复原处理前的清晰度，由于文献［6］算法和文献［7］算法在图像复原过程中无法消除振铃效应，导致复原后的图像出现信息缺失和亮度失真的现象，而本文方法将去振铃效应引入图像复原处理中，可有效避免振铃效应引起的图像质量低的问题，具有良好的模糊图像复原效果。

将峰值信噪比和平均均方误差作为指标，测试本文算法、文献［6］算法和文献［7］算法的图像复原质量，测试结果如表1所示。

由表1中的数据可知：本文算法复原后的图像峰值信噪比均高于其他两种算法，平均均方误差均小于其他两种算法，表明图像的复原质量更高，验证了本文算法的有效性。

现采用本文算法、文献［6］算法和文献［7］算法对多幅模糊图像展开复原处理，对比不同算法的复原时间，测试结果如图5所示。由图5可知：在相同模糊图像数量下，本文方法复原所需的时间均低于文献［6］算法和文献［7］算法复原所需时间，表明本文算法具有较高的复原效率。

3 结束语

针对目前模糊图像质量复原算法存在振铃效应、图像复原质量和效率均较低的问题，提出了一种基于多通道视觉注意力的模糊图像质量复原算法。该算法构建了基于多通道视觉注意力的编码网络用于模糊图像质量复原，并在复原过程中消除了振铃效应，解决了已有算法中存在的问题，可准确反映被摄目标的信息。

参考文献

[1] 黄彦宁, 李伟红, 崔金凯, 强边缘提取网络用于非均匀运动模糊图像盲复原[J]. 自动化学报, 2021, 47(11): 2637-2653.

[2] Huang Yan-ning, Li Wei-hong, Cui Jin-kai, et al. Strong edge extraction network for non-uniform blind motion image deblurring[J]. Acta Automatica Sinica, 2021, 47(11): 2637-2653.

[3] 叶晓杰, 崔光茫, 赵巨峰, 基于闪动快门的互补序列对的运动模糊图像复原[J]. 光子学报, 2020, 49(8): 161-175.

[4] Ye Xiao-jie, Cui Guang-mang, Zhao Ju-feng, et al. Motion blurred image restoration based on complementary sequence pair using fluttering shutter imaging[J]. Acta Photonica Sinica, 2020, 49(8): 161-175.

[5] 张玉波, 王建阳, 韩爽, 一种非对称的轻量级图像盲去模糊网络[J]. 吉林大学学报: 理学版, 2023, 61(2): 362-370.

[6] Zhang Yu-bo, Wang Jian-yang, Han Shuang, et al. An asymmetric lightweight image blind deblurring network[J]. Journal of Jilin University (Science Edition), 2023, 61(2): 362-370.

[7] 王若状, 臧景峰, 张朋朋. 基于模拟曝光融合的非均匀光照图像增强[J]. 吉林大学学报: 理学版, 2023, 61(3): 601-611.

[8] Wang Ruo-zhuang, Zang Jing-feng, Zhang Peng-peng. Non-uniform illumination image enhancement based on simulated exposure fusion[J]. Journal of Jilin University (Science Edition), 2023, 61(3): 601-611.

[9] 钱旭淼, 段锦, 刘举, 基于注意力特征融合的图像去雾算法[J]. 吉林大学学报: 理学版, 2023, 61(3): 567-576.

[10] Qian Xu-miao, Duan Jin, Liu Ju, et al. Image dehazing algorithm based on attention feature fusion[J]. Journal of Jilin University (Science Edition), 2023, 61(3): 567-576.

[11] 杨燕, 王志伟. 基于补偿透射率和自适应雾浓度系数的图像复原算法[J]. 通信学报, 2020, 41(1): 66-75.

[12] Yang Yan, Wang Zhi-wei. Image restoration algorithm based on compensated transmission and adaptive haze concentration coefficient[J]. Journal on Communications, 2020, 41(1): 66-75.

[13] 李澜, 巩彩兰, 黄华文, 基于离散余弦变换的无人机耀斑图像恢复算法[J]. 光学学报, 2020, 40(19): 186-191.

[14] Li Lan, Gong Cai-lan, Huang Hua-wen, et al. Unmanned aerial vehicle glint image restoration algorithm based on discrete cosine transform[J]. Acta Optica Sinica, 2020, 40(19): 186-191.

[15] 范伟强, 刘毅. 基于自适应小波变换的煤矿降质图像模糊增强算法[J]. 煤炭学报, 2020, 45(12): 4248-4260.

[16] Fan Wei-qiang, Liu Yi. Fuzzy enhancement algorithm of coal mine degradation image based on adaptive wavelet transform[J]. Journal of China Coal Society, 2020, 45(12): 4248-4260.

[17] 李荣华, 唐智超, 朴俊峰, 偏振参数最优重构的水下降质图像清晰化方法[J]. 红外与激光工程, 2021, 50(6): 305-313.

[18] Li Rong-hua, Tang Zhi-chao, Pu Jun-feng, et al. Underwater degraded image-sharpening method based on optimal polarization parameter reconstruction[J]. Infrared and Laser Engineering, 2021, 50(6): 305-313.

[19] 杨晶显, 张帅, 刘继春, 基于VMD和双重注意力机制LSTM的短期光伏功率预测[J].电力系统自动化, 2021, 45(3): 174-182.

[20] Yang Jing-xian, Zhang Shuai, Liu Ji-chun, et al. Short-term photovoltaic power prediction based on variational mode decomposition and long shortterm memory with dual-stage attention mechanism[J]. Automation of Electric Power Systems, 2021, 45(3): 174-182.

[21] 张艺璇, 郭斌, 刘佳琪, 基于多级注意力机制网络的APP流行度预测[J]. 计算机研究与发展, 2020, 57(5): 984-995.

[22] Zhang Yi-xuan, Guo Bin, Liu Jia-qi, et al. APP popularity prediction with multi-level attention networks[J]. Journal of Computer Research and Development, 2020, 57(5): 984-995.

[23] 姚钦舟, 庄苏锋, 屠大维, 水下透视投影图像非线性畸变校正方法[J]. 仪器仪表学报, 2020, 41(2): 176-183.

[24] Yao Qin-zhou, Zhuang Su-feng, Tu Da-wei, et al. Non-linear distortion correction method for underwater perspective projection image[J]. Chinese Journal of Scientific Instrument, 2020, 41(2): 176-183.

[25] 黄超, 郭浩, 高岩, 基于栈式自编码网络的非线性变化灰度差异图像配准[J]. 激光与光电子学进展, 2021, 58(16): 233-239.

[26] Huang Chao, Guo Hao, Gao Yan, et al. Nonlinear grayscale difference image registration based on stacked autoencoder network[J]. Laser & Optoelectronics Progress, 2021, 58(16): 233-239.

[27] 周丽丽, 朱佳琦, 王桥桥, 基于雾线暗通道先验的水下图像复原方法[J].南京邮电大学学报: 自然科学版, 2020, 40(4): 64-69.

[28] Zhou Li-li, Zhu Jia-qi, Wang Qiao-qiao, et al. Underwater image restoration method based on haze-line and dark channel prior[J]. Journal of Nanjing University of Posts and Telecommunications (Natural Science), 2020, 40(4): 64-69.

[29] 胡秋生, 胡璋. 基于变分自编码器的非规则缺失图像修复仿真[J]. 计算机仿真, 2021, 38(12): 155-159.

[30] Hu Qiu-sheng, Hu Zhang. Simulation of irregular missing image restoration based on variational auto encoder[J]. Computer Simulation, 2021, 38(12): 155-159.

[31] 涂伟沪, 蔡玲霞, 李学军. 基于改进蝗虫算法优化Canny算子的鸡蛋裂纹图像检测[J]. 食品与机械, 2022, 38(2): 167-172, 202.

[32] Tu Wei-hu, Cai Ling-xia, Li Xue-jun. Egg crack image detection method based on improved grasshopper optimization algorithm and canny operator[J]. Food and Machinery, 2022, 38(2): 167-172, 202.

[33] 王煜玺, 袁晗, 朱宗晓, 融合顶帽和Canny算子的电子束斑图像特征分析[J]. 中南民族大学学报: 自然科学版, 2022, 41(2): 222-227.

[34] Wang Yu-xi, Yuan Han, Zhu Zong-xiao, et al. Feature analysis of electron beam spot image by fusion of Top-hat and Canny operator[J]. Journal of South-Central University for Nationalities (Natural Science Edition), 2022, 41(2): 222-227.

[35] 吴孟礼, 陈跃斌, 吴海锋, 抵御SSDF攻击的维纳滤波器检测算法研究[J]. 计算机工程, 2020, 46(11): 187-193.

[36] Wu Meng-li, Chen Yue-bin, Wu Hai-feng, et al. Research on wiener filter detection algorithm for resisting SSDF attacks[J]. Computer Engineering, 2020, 46(11): 187-193.

基金资助

国家自然科学基金项目(62062061)