基于滤波器剪枝的多尺度压缩感知图像重构

Multi-scale Compressed Sensing Image Reconstruction Based on Filter Pruning

摘要

为了解决低采样率下单尺度采样的压缩感知重构图像纹理细节模糊问题，同时达到使重构网络轻量化的目的，提出了一种基于滤波器剪枝的多尺度压缩感知图像重构网络.采样阶段，通过卷积来模拟图像的线性分解，融合输入图像和不同尺度的分解特征后完成多尺度采样，得到压缩感知测量值.重构阶段，设计了一种基于坐标注意力的多尺度空洞残差模块，将位置信息嵌入通道注意力中，增强网络特征学习的能力.同时通过计算特征图的熵来判断滤波器的重要性，剪除重要性较低的滤波器，达到压缩模型的目的 .在DIV2K、Set5、BSDS68和Urban100等数据集上进行训练及测试.实验结果表明，所提算法在峰值信噪比（Peak Signalto-Noise Ratio, PSNR）、结构相似性（Structural Similarity, SSIM）和图像视觉效果上均有提升.其中，采样率为4%，测试集为Set14时，与CSNet+和FSOINet相比，所提算法将重构图像的PSNR分别提高了4.17 dB和2.39 dB，纹理细节更加清晰.在重构效果略微降低的前提下，得到更轻量化的模型，提升了重构速度.

Abstract

To address the issue of texture detail blurring in single-scale sampled compressed sensing image reconstruction at low sampling rates and achieve a lightweight reconstruction network， this paper proposes a filter pruning based multi-scale compressed sensing image reconstruction network. In the sampling phase， the image is linearly decomposed by convolution， and then fused with the input image and different scale decomposition features to obtain the compressed sensing measurements. In the reconstruction phase， a coordinate attention based multi-scale dilated residual module is designed， which incorporates positional information into channel attention to enhance the feature learning ability of the network. Moreover， by calculating the entropy of the feature map to judge the importance of the filters， the less important filters is pruned to achieve the purpose of compressing the model. Training and testing are carried out on datasets such as DIV2K， Set5， BSDS68 and Urban100. The experimental results show that the algorithm proposed improves the Peak Signal-to-Noise Ratio （PSNR）， Structural Similarity（SSIM）， and image visual effects. For instance， with a sampling rate of 4% and a test set of Set14， the proposed algorithm improves the PSNR of the reconstructed image by 4.17 dB and 2.39 dB， respectively， compared with CSNet⁺ and FSOINet， resulting in clearer texture details. Under the premise of slightly reducing the reconstruction effect， a lighter model was obtained， which improved the reconstruction speed.

Graphical abstract

关键词

压缩感知 / 图像重构 / 多尺度融合 / 坐标注意力 / 滤波器剪枝

压缩感知（Compressed Sensing， CS）理论^［1-2］表明，当信号在某个域中是可压缩或稀疏时，通过采样矩阵对信号进行压缩采样，得到CS测量值，最后通过非线性优化问题的求解重构出原始信号^［3］.压缩感知在对信号采样的同时完成压缩，大大减少了信号采样端的资源浪费^［4］，提高了传输效率，在快速压缩成像^［5］、无线传感器通信^［6］、成像技术^［7］等领域得到成功应用.

早期的研究者假设原始图像信号具有l_{\mathrm{p}}范数\left(\mathrm{0}\le p\le \mathrm{1}\right)稀疏性，提出了一些迭代算法，例如：匹配追踪算法^［8］、迭代硬阈值算法^［9］、梯度投影算法^［10］等.然而这些重构算法的计算复杂度高，重构时间长，低采样率下的重构质量差.

由于深度学习有极强的学习能力和极快的运行速度，近年来被广泛应用于压缩感知图像重构领域.Mousavi等^［11］提出堆叠式去噪自动编码器（SDA），首次将压缩感知与深度学习结合，通过捕获图像信号不同元素之间的统计相关性，将SDA应用于CS重构.很多基于卷积神经网络（Convolutional Neural Network， CNN）的CS图像重构网络被提出，与传统的CS重构算法相比具有明显的优势^［12-13］.Kulkarni等^［14］提出了一种非迭代重建网络ReconNet，该网络使用固定的随机高斯矩阵获取图像采样数据，用卷积神经网络学习CS测量到原始图像的映射.Shi等^［15］提出一种基于卷积神经网络的图像CS框架CSNet，对其中的采样网络和重构网络进行了联合优化.在CSNet的基础上，Cui等^［16］提出了一种基于非局部神经网络的图像重构网络NL-CSNet，利用测量域和多尺度特征域中的非局部自相似先验信息，构造了两个非局部子网.上述网络能够有效提高重构图像的质量，但均使用单尺度采样，没有考虑图像的多尺度特征.另一个压缩感知图像重构的研究方向是结合传统的图像先验和深度学习方法，Zhang等^［17］提出了可解释性强且性能良好的结构化深层网络ISTA-Net.然而，由于其随机采样和逐块重构的方式，重构性能受到限制.随后，受优化启发的思想，Zhang等^［18］提出了端到端的深度重构网络OPINE-Net，由采样子网、初始化子网和重构子网组成，进行自适应采样和图像重构.为了能充分利用图像特征中的信息，Chen等^［19］设计了特征空间优化启发网络FSOINet，通过将近端梯度下降算法的两个步骤从像素空间映射到特征空间来实现图像重构.这些方法将迭代优化器展开到网络上，具有很好的可解释性.

尽管基于CNN的方法已经取得了相当大的改进，但现有的方法仍有许多缺点.基于CNN的方法引入了更大的规模和更多的网络参数，这是在资源受限和实时系统环境中开发的一个障碍^［20］.Denil等^［21］的研究表明，许多深度神经网络的参数具有显著的冗余性，只需要少量的参数就可以预测所有剩余的参数.在最好的情况下，可以预测网络95%以上的权值，而不降低模型准确度.因此，去除冗余参数进行模型压缩成了一种可行的解决方案.深度神经网络在使用阶段的主要资源可分为计算资源和存储资源.在使用过程中，大部分计算存在于卷积层和全连接层.然而，根据Yang等^［22］的工作，卷积层贡献了大约90%的计算量.因此，修剪全连接层不能有效地减少计算冗余.

因此，本文提出一种基于滤波器剪枝的多尺度压缩感知图像重构网络，主要创新如下.

1）采样阶段，提出多尺度融合采样，通过卷积模拟图像的线性分解，融合输入图像和不同尺度的分解特征后，进行多尺度采样得到压缩感知测量值，使采样子网络学习到更加丰富的多尺度特征.

2）重构阶段，提出一种基于坐标注意力的多尺度空洞残差模块，可提取到不同尺度的图像特征.引入坐标注意力，将精确的位置信息嵌入通道注意力中，对通道关系和长距离依赖进行编码，增强网络特征学习的能力.

3）为了降低模型的参数量和存储空间，对较复杂的深度特征提取模块进行了模型剪枝，通过计算输出特征图的熵来判别每一个滤波器的重要性，剪除掉重要性低的滤波器，达到压缩模型的目的.

1 相关工作

1.1 多尺度压缩感知

在原始图像和多级分解域中获取图像特征分别称为单尺度采样和多尺度采样.许多研究已经充分表明多尺度采样比单尺度采样更有优势^［23-27］，但是目前大多数压缩感知还是使用单尺度采样.通过研究发现，单尺度矩阵^［25］模拟了传统的多尺度采样，以捕获更多的低频分量，但会导致重构图像出现混叠伪影.Canh等^［23］为Kronecker CS开发了多尺度采样，通过小波、金字塔或多分辨率分解将图像分解成不同尺度的特征，并自适应地对每个尺度进行采样.Shi等^［26］提出了一种多尺度深度网络，该网络使用相同的深度重构网络从不同采样率的测量中恢复图像，这大大降低了存储需求.Wang等^［27］提出了一种基于多尺度采样的深度重构网络，该网络使用不同大小的卷积核对输入图像线性分解后，采样子网络捕获每个尺度上的特征得到压缩感知测量值，作为重构子网络的输入.研究发现，在压缩感知采样时，低频分量比高频分量更为重要^［24］.因此，利用多尺度信息能增强网络特征学习的能力，采样后得到包含更多特征的压缩感知测量值并提升最终图像的重构质量.

1.2 滤波器剪枝

Tu等^［28］研究表明，卷积神经网络中许多神经元的输出值非常低，可以在不损害整体性能的情况下对冗余的弱神经元进行修剪.模型压缩方法主要分为网络剪枝、参数量化、知识蒸馏、低秩分解和紧凑型网络设计等^［29］.网络剪枝分为非结构化剪枝和结构化剪枝.非结构化剪枝是将不重要的权值设置为0，从而实现高稀疏性，但是稀疏操作需要专门的硬件或者软件库来加快推理过程，因此限制了非结构化剪枝的应用^［30］.结构化剪枝则是根据一种评判机制来剪除不重要的滤波器，降低模型的参数量和计算量^［31］.Li等^［32］提出了一种基于l_{\mathrm{1}}范数准则判别滤波器的重要性的压缩方法，剔除重要性低的滤波器.He等^［33］提出一种渐进软滤波器剪枝方法来加速深层神经网络，从零开始训练并且完成修剪，剪枝后的模型的优化空间没有减少，使模型有足够的能力从训练数据中学习.Wang等^［34］提出一种根据特征图的熵来定义滤波器的重要性的卷积神经网络压缩方法，删除了当前层和对应下一层的滤波器，降低了模型的计算和存储成本.

2 本文方法

本文所提剪枝前的网络为多尺度融合的坐标注意力网络（Multi-scale Fusion Coordinate Attention Network， MFCANet），如图1所示，主要由多尺度融合采样子网络、初始重构子网络和深度重构子网络组成，如下所述.

2.1 多尺度融合采样和初始重构

传统的多尺度采样首先将图像分解为不同尺度的子图像，然后获取各个尺度上的测量值.由于每个尺度的图像具有不同程度的稀疏性，因此其测量数量是启发式分配^［35］的，限制了最终重构性能.为了扩大卷积核的感受野，同时降低模型训练的难度，本文使用大小为3×3，空洞值分别为1、2、3、4的卷积核来模拟线性分解，可得到不同尺度的分解特征，如式（1）所示：

x_l=C_{l}x（1）

式中：x表示原始图像；C_l\left(l\in \left\{l,\dots ,m\right\}\right)表示卷积核，m表示卷积核的总个数，本文取m=\mathrm{4}；x_l表示第l个图像分解特征.

对大小为n\times n的输入图像x线性分解得到四路不同尺度的特征，采用Concat方式将相邻两路的分解特征进行融合.因为连续采用空洞卷积时，一些像素不参与计算，将会产生网格化效果^［36］.所以通过3×3、5×5、7×7大小的卷积核进一步提取融合后的特征信息.最后将x和三路特征用Concat方式再融合，得到\lambda =\mathrm{4}个待采样的图像，在图1中多尺度融合采样阶段可见.单尺度采样时，采样率为\frac{M}{N}时，采样矩阵{\Phi }_{\mathrm{B}}可以得到n_B=\left[\frac{M}{N}{B}^{\mathrm{2}}\right]个CS测量值，其B=\mathrm{32}.为了保持与单尺度相同的采样率，本文采用全卷积来模拟压缩感知采样过程，选择大小为\frac{B}{\mathrm{2}}\times \frac{B}{\mathrm{2}}，步长为\frac{B}{\mathrm{2}}的卷积核进行不重叠采样.\frac{M}{N}=\mathrm{0.1}时，得到n_B=\left[\frac{M}{N}\lambda {\left(\frac{B}{\mathrm{2}}\right)}^{\mathrm{2}}\right]=\mathrm{102}个压缩感知测量值.由此，可以得到多尺度压缩感知测量值y，表示为：

y=N_{ms}\mathrm{*}{x}_c（2）

式中：\mathrm{*}表示卷积运算；N_{ms}表示大小为\frac{B}{\mathrm{2}}\times \frac{B}{\mathrm{2}}的n_B个卷积核；x_c表示Concat融合后的特征.

在采样率为0.01时，得到10个CS测量值，将每个测量值通过双线性插值^［37］的上采样方式进行可视化，如图2所示.与单尺度采样相比，所提的多尺度融合采样能提取到更丰富的特征用于重构.

在得到压缩感知测量值后，图像的分辨率和大小都被压缩，为了能准确地重构出图像信息，通过反卷积（Deconv）^［38］方式将维度提升到原始图像的大小，并生成初始重构图像.反卷积的卷积核大小为\frac{B}{\mathrm{2}}\times \frac{B}{\mathrm{2}}，步长为\frac{B}{\mathrm{2}}.反卷积操作首先将零添加到测量图像以将其维数扩展到原始图像的大小，然后将全卷积测量中的卷积核转置后对零填充测量图像进行卷积运算.反卷积相当于卷积的逆过程，反卷积可以用作上采样，将维数提高到原始图像大小，为后续深度重构做准备.

2.2 深度重构

本文深度重构子网络由浅层特征提取、深层特征提取和多尺度去噪模块（Multi-scale Denoising Module， MDM）三部分组成，如图1所示.

2.2.1 浅层特征提取

为了扩大卷积核的感受野，首先使用了大小为3×3，空洞值为3的128个卷积核对初始重构图像提取高维特征.然后使用3×3卷积来降低通道数.为了引导网络能向含有丰富特征的图像区域学习，引入坐标注意力（Coordinate Attention， CA）^［39］，如图3所示.最后通过3×3卷积层将注意力加权后的图像特征输出到深度特征提取部分.

在计算能力有限的情况下，计算资源分配给更重要的任务，同时解决信息超载的问题，视觉注意力机制已被证明可承担各种计算机视觉任务^［40］，如图像重建、语义分割和目标检测等，其能使网络定位到更感兴趣的图像特征.本文引入的坐标注意力包括坐标信息嵌入和坐标注意力生成，将位置信息嵌入通道注意中，不仅能捕获跨通道信息，还能捕获方向感知和位置敏感信息.

坐标信息嵌入部分如图3中I所示，对于输入P\left(i,j\right)，使用\left(H,\mathrm{1}\right)与\left(\mathrm{1},W\right)的池核将全局池化分别沿着水平\left(L\right)和竖直\left(V\right)坐标方向分解为一个一维特征编码对.

坐标注意力生成部分如图3中II所示，首先将坐标信息嵌入部分生成的两路特征图级联，然后发送到大小为1×1卷积的变换函数F_{\mathrm{1}}中，F_{\mathrm{1}}变换得到空间信息在水平方向和垂直方向上编码的中间特征图f\in R^{C/r\times \left(H+W\right)}，r为缩放系数，其用来控制通道数.然后从空间维度将f分解成两个独立的张量f^h\in R^{C/r\times H}和f^w\in R^{C/r\times W}.两个1×1卷积变换F_h和F_w分别用于将f^h和f^w变换为与输入特征具有相同通道数的张量，然后通过Sigmoid函数分别输出g^h和g^w用作注意力权重.最终的输出Q\left(i,j\right)为：

Q\left(i,j\right)=P\left(i,j\right)\times g^h\left(i\right)\times g^w\left(j\right)（3）

2.2.2 深层特征提取

为了提取不同感受野下的特征信息，本文提出了多尺度空洞残差块（Multi-scale Dilated Residuals Block， MDRB），也引入了坐标注意力机制，如图4所示.MDRB的数量为6，MDRB包含两部分：多尺度特征融合和局部残差学习.

1）多尺度特征融合：第一层由三条支路分别使用空洞值为1、2、3的3×3卷积来提取特征，空洞卷积在保持较大感受野的同时，能减少网络参数，降低计算复杂度.将三路不同尺度的特征进行融合，实现旁路之间的信息共享，从而能够检测到不同尺度上图像的特征.将融合后的特征通过坐标注意力加权后输入第二层卷积层中，完成和第一层同样的操作.同理，第三层再融合第二层输出的融合特征，最后使用1×1卷积进行降维.

2）局部残差学习：为了提升网络提取特征的效率，本文通过一个快捷连接对多尺度特征采用局部残差学习，可描述为：

X_n=S+X_{n-\mathrm{1}}（4）

式中：X_{n-\mathrm{1}}和X_n分别为MDRB的输入和输出；S表示输出的图像特征.

随着网络的不断加深，网络的空间表达能力逐渐下降，为了能充分利用不同层的特征，对每个MDRB也采用局部残差学习，可以融合不同层的特征，降低网络的计算复杂度，提高了网络训练时的收敛速度.

2.2.3 多尺度去噪模块

本文在初始重构和深度重构之间添加了一个长跳跃连接，能加快网络收敛速度，但是初始重构图像含有较多不同尺度的噪声，为此提出了多尺度去噪模块（Multi-scale Denoising Module， MDM），如图5所示.

首先通过3×3卷积对初始重构图像进行滤波，然后将通道按照顺序划分为三等分，不同卷积核用分层残差的形式连接，最后通过1×1卷积融合三路多尺度特征，整个模块做残差连接处理.分割和融合策略使得卷积能够更有效地处理特征^［38］，MDM内部及残差连接的具体操作可定义为：

X_k=X_{\mathrm{1}}+X_{\mathrm{2}}+X_{\mathrm{3}}（5）

Y_{\mathrm{1}}=X_{\mathrm{1}}\mathrm{*}\left(\mathrm{3}\times \mathrm{3}\right)（6）

Y_{\mathrm{2}}=\left(X_{\mathrm{2}}+Y_{\mathrm{1}}\right)\mathrm{*}\left(\mathrm{3}\times \mathrm{3}\right)（7）

Y_{\mathrm{3}}=\left(X_{\mathrm{3}}+Y_{\mathrm{2}}\right)\mathrm{*}\left(\mathrm{3}\times \mathrm{3}\right)（8）

X^{\text{'}}=X+Y（9）

式中：\mathrm{*}表示卷积运算；Y_{\mathrm{1}}，Y_{\mathrm{2}}，Y_{\mathrm{3}}分别得到与标准卷积3×3、5×5和7×7相同的感受野.

2.3 基于特征图熵准则的滤波器剪枝

为了能在资源有限的设备上部署MFCANet，采用滤波器生成的特征图的信息熵来作为修剪滤波器的依据.本文主要修剪比较复杂的MDRB模块，减少网络模型的参数量和重构时间.

2.3.1 剪枝准则

在信息论中，通常用信息熵来衡量信息的总量，计算公式如式（10）所示：

H\left(X\right)=-{\displaystyle \sum _{i=\mathrm{1}}^n}{p}_i\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{p}_i（10）

式中：X表示图像灰度值的离散随机变量，其概率分布可表示为：

P\left(X=x_i\right)=p_i,i=\mathrm{1,2},\cdots ,n（11）

如果X是一幅图像，随着H\left(X\right)值的增加，该图像包含更多的信息.本文通过式（12）和式（13）^［41］来计算图像的二维熵.

\begin{array}{l}{E}_{i,j}=-{\displaystyle \sum _{k=\mathrm{0}}^{\mathrm{255}}}{\displaystyle \sum _{c=\mathrm{0}}^{\mathrm{255}}}{p}_{k,c}\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}{p}_{k,c}\begin{array}{c},\end{array}\mathrm{1}\le i\le N_L,\\ \mathrm{1}\le j\le N_{i+\mathrm{1}}\end{array}（12）

p_{k,c}=\frac{{\displaystyle \sum _{s=\mathrm{1}}^{M_l}}{\displaystyle \sum _{t=\mathrm{1}}^{M_w}}\left(H_{i,j}[s][t]\mathrm{*}\left[\begin{array}{ccc}\mathrm{1}& \mathrm{1}& \mathrm{1}\\ \mathrm{1}& \mathrm{0}& \mathrm{1}\\ \mathrm{1}& \mathrm{1}& \mathrm{1}\end{array}\right]==\left(k,c\right)\right)}{M_l\times M_w}（13）

式中：采用3×3的均值滤波器计算中心像素邻域的均值.E_{i,j}表示第i层的第j个滤波器输出特征图的熵值；N_L表示卷积层总数；N_{i+\mathrm{1}}表示每一层的滤波器总数；M_l和M_w分别表示输出特征图的长度与宽度；p_{k,c}表示像素对\left(k,c\right)在特征图中出现的频数，像素对\left(k,c\right)表示中心像素为k，3×3邻域像素均值为c的区域.

2.3.2 剪枝过程

为了能够更直观地理解MDRB模块剪枝过程中各支路输出通道数的变化情况，如图6所示，图中剪枝后的输出通道数以颜色标出.

本文设定第i层的滤波器F^i=\left\{f_{\mathrm{1}}^i,f_{\mathrm{2}}^i,\cdots ,f_j^i\right\}，剪枝过程如下：首先将批量测试图像输入MFCANet中，由式（12）、式（13）计算得到第i层每个滤波器生成的特征图的熵，形成熵值的集合E^i：

E^i=\left\{e_{\mathrm{1}}^i,e_{\mathrm{2}}^i,\cdots ,e_j^i\right\}（14）

其次，按照升序对熵集进行重新排序，得到{\widehat{E}}^i：

{\widehat{E}}^i=\left\{e_{I_{\mathrm{1}}^i}^i,e_{I_{\mathrm{2}}^i}^i,\cdots ,e_{I_j^i}^i\right\}（15）

式中：I_j^i是E^i中的第j个最大熵值的索引.

再次，根据剪枝率确定需要剪除的特征图集合{\tilde{E}}^i：

{\tilde{E}}^i=\left\{e_{I_{\mathrm{1}}^i}^i,e_{I_{\mathrm{2}}^i}^i,\cdots ,e_{I_{j^{\text{'}}}^i}^i\right\}（16）

最后，根据需要剪除的特征图的索引得到重要性较低的滤波器集{\tilde{F}}^i：

{\tilde{F}}^i=\left\{f_{I_{\mathrm{1}}^i}^i,f_{I_{\mathrm{2}}^i}^i,\cdots ,f_{I_{j^{\text{'}}}^i}^i\right\}（17）

通过移除集合{\tilde{F}}^i，完成滤波器的修剪，达到压缩模型的目的.将MDRB模块进行剪枝后得到轻量化的MFCANet.

3 实验结果与分析

3.1 实验平台及训练

本文实验在深度学习框架Pytorch上完成.计算 机配备Intel（R） Xeon（R） CPU E5-2686 v4和Nvidia GeForce GTX 3060 GPU，网络框架运行在Windows10操作系统上.数据集使用了DIV2K^［42］的800张训练数据集和100张验证集，并且在Set5^［15］、Set11^［14］、Set14^［16］、BSDS68^［17］和Urban100^［19］等数据集^［4］上进行测试与对比实验.为了增加训练数据集的图像样本，采用常用的数据增强方法，如：随机裁剪256×256大小的图像、水平翻转、垂直翻转和旋转等.

模型训练时采用Adam优化器对模型参数进行优化，初始动量设置为0.9，每一次迭代的批次大小设置为4，权重衰减为\mathrm{1}\times {\mathrm{10}}^{-\mathrm{5}}，初始学习率为0.000 02，每50轮学习率降低2倍，训练轮数设置为200，激活函数采用PReLu.采用均方误差（Mean Square Error， MSE）作为损失函数，如式（18）所示：

L\left(\theta \right)=\mathrm{m}\mathrm{i}\mathrm{n}\frac{\mathrm{1}}{\mathrm{2}{\rm K}}{\sum }_{i=\mathrm{1}}^{{\rm K}}{‖f\left(x_i^{\text{'}},\theta \right)-x_i^{\text{'}}‖}_F^{\mathrm{2}}（18）

式中：{\rm K}表示训练图像的数量；x_i^{\text{'}}表示训练图像；f\left(x_i^{\text{'}},\theta \right)表示重构图像；\theta表示训练的参数.

3.2 评价指标

本文采用峰值噪声比（PSNR）、结构相似性（SSIM）及视觉效果来评价压缩感知重构图像的性能.PSNR是常用的客观评价指标，计算公式为：

\mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}=\mathrm{10}\mathrm{l}\mathrm{g}\left(\frac{\mathrm{255}\times \mathrm{255}}{L\left(\theta \right)}\right)（19）

SSIM用于评估图像重构的结构性能.SSIM在图像相似性评价指标上更先进，能够进一步反映出算法重构图像的质量.结构相似性的值越接近1，说明两幅图像越相似.对于输入图像X和重构图像Y，可以通过式（20）计算两个图像的结构相似性：

\mathrm{S}\mathrm{S}\mathrm{I}\mathrm{M}=\frac{\left(\mathrm{2}{\mu }_X{\mu }_Y+c_{\mathrm{1}}\right)\left(\mathrm{2}{\sigma }_{XY}+c_{\mathrm{2}}\right)}{\left({\mu }_X^{\mathrm{2}}+{\mu }_Y^{\mathrm{2}}+c_{\mathrm{1}}\right)\left({\sigma }_X^{\mathrm{2}}+{\sigma }_Y^{\mathrm{2}}+c_{\mathrm{2}}\right)}（20）

式中：{\mu }_X和{\mu }_Y分别表示图像X和Y的平均值；{\sigma }_X和{\sigma }_Y分别表示图像X和Y的标准差；{\sigma }_{XY}表示图像X和Y之间的协方差；c_{\mathrm{1}}和c_{\mathrm{2}}表示常数.

3.3 与现有重构算法的性能对比

本文选取1%、4%、10%和25%四种采样率进行实验，将所提算法与ReconNet^［14］、CSNet^+［15］、ISTA-Net^+［17］、OPINE-Net^+［18］、FSOINet^［19］、MDCS-Net^［27］和ISTA-Net^++［43］在PSNR、SSIM和视觉效果三个方面进行比较.

如表1所示，本文对比了不同采样率下各个算法重构图像的PSNR和SSIM平均值，以粗体标记了最佳结果，下画线标记了次最佳结果.在采样率为4%，测试集为Set14时，与ISTA-Net⁺、CSNet⁺、MDCS-Net、FSOINet相比，本文可将PSNR/SSIM平均值分别提高6.46 dB/0.282 8、4.17 dB/0.171 7、4.06 dB/0.168 3、2.39 dB/0.119 6.为了验证本文所提算法的泛化性能，还在BSDS68和Urban100数据集上进行了对比实验，结果显示本文所提算法的重构图像PSNR和SSIM均优于其他六种对比算法.

在Set11测试集部分图像下各种重构算法的PSNR（dB）对比结果如表2所示，其中，在1%低采样率下，图像为“Boats”“Monarch”和“Parrots”时，所提算法的重构图像PSNR较ISTA-Net⁺⁺分别提高了 1.41 dB、3.44 dB和3.42 dB.在10%较高采样率下，图像为“Barbara”“Fingerprint”和“Lena”时，所提算法的重构图像PSNR相较于FSOINet分别提高了7.53 dB、13.93 dB和4.62 dB.

本文对比了在1%、4%、10%和25%采样率下重构图像的视觉效果，如图7~图10所示.为了进行细节纹理的对比，图像子区域用红色矩形框标记并进行了放大.从图7~图10的视觉示例中可看出，MFCANet在视觉效果和PSNR/SSIM数值上均优于其他重构算法.在1%和4%低采样下，从图7和图8中看出，ISTA-Net⁺重构图像存在严重的块伪影问题，视觉效果较差，CSNet⁺、OPINE-Net⁺和MDCS-Net的重构图像较ISTA-Net⁺有了很大的提升，但在纹理结构及细节方面，其重构效果相较于所提算法表现较差.FSOINet重构的图像整体更加平滑和清晰，然而也缺失了部分复杂的纹理细节.从图9中可以看到，在较高采样率10%下，大部分重构图像整体都有很好的视觉效果，进一步从选取的局部来看，本文算法对复杂和细小的图像信息重构效果最好，纹理细节更加清晰可见.

3.4 MDRB模块数量及收敛情况

为了确定深度重构部分中MDRB模块的个数，在1%采样率下完成了如图11所示的实验.从图11中可观察到，MDRB的数量为6时，在验证集上的收敛最快且均方误差损失最小.若模块数量过少，无法提取到足够的特征；若模块数量过多，特征的表达能力下降，造成最终的重构图像质量下降.

3.5 剪枝前后对比

为了使所提图像重构网络能够更加轻量化，本文将结构复杂的深度重构提取特征模块进行了滤波器剪枝，剪枝前后结果对比如表3所示.

由表3可见，在1%和4%采样率下，MDRB的剪枝率达到50%时，模型参数量分别下降36.7%和34.2%.例如1%采样时，在Set11和BSDS68数据集上平均PSNR/SSIM分别降低了0.07 dB/0.015 4和0.12 dB/0.007 3，而平均重构时间分别减少了0.001 2 s和0.000 3 s，模型参数量减少，提升了重构速度.在10%采样率下，剪枝率为50%时，模型参数减少了30.1%，数据集Set11和BSDS68的平均PSNR提升了0.04 dB和0.06 dB，通过选择熵值高的特征图来保留重要的滤波器，使得高频特征更加集中，重构图像质量有所提高.当采样率为10%，剪枝率为56%时，模型参数量减少了33.8%，各数据集上平均重构时间分别减少0.001 8 s和0.000 3 s，平均PSNR/SSIM分别降低了0.22 dB/0.002 1和0.14 dB/0.002 0，更深度的剪枝能减少模型的参数量，但重构图像的质量也开始略微降低.

如图12所示，本文在10%采样率下设置了两组实验，分别为：MDRB剪枝后每路的输出通道变为8和MDRB最初每路输出通道为8，来验证滤波器剪枝的可行性.分析图12可得，与初始设置MDRB每路的输出通道数为8相比，依据特征图的熵完成MDRB每路输出通道数剪枝50%可将PSNR分别提高 0.12 dB、0.09 dB和0.13 dB，证明信息熵高的特征图更能聚合图像的高频特征，可提高重构图像的质量.

3.6 消融实验

为了探究不同采样方式以及各个模块之间的相互影响，本文在1%采样率下进行了不同模块的消融实验，如表4所示.

从（a）、（b）和（c）组分析可得，多尺度相较单尺度采样，最终的重构图像具有较高的PSNR和SSIM.在Set11上，（b）、（c）相比于（a），PSNR/SSIM分别提高了3.33 dB/0.130 7和3.40 dB/0.143 3.由此证明，多尺度融合采样能提取到更丰富的图像特征用于重构.由（c）、（d）可得，坐标注意力能定位更加准确和细节特征，使PSNR分别提高0.32 dB、0.37 dB和0.36 dB.多尺度去噪模块能有效去除初始重构图像中的噪声，从（c）、（e）可得，它使得最终重构图像PSNR分别提高0.02 dB、0.12 dB和0.11 dB.

如图13所示，本文对比了两种采样方式下所得的初始重构图像，从整体的图像视觉效果和矩形框所标出的区域可验证多尺度融合采样的有效性，在得到更丰富的压缩感知测量值后能有效提高图像的重构质量以及细节信息的重构效果.如图14所示，在1%采样率下CA模块对重构效果的影响，从所选图像中可观察到，坐标注意力的引入不仅能使重构图像整体视觉效果有所提升，而且在矩形框所标注的细节纹理区域也有较好的表现.由此表明，坐标注意力能定位到纹理结构丰富的区域，为重构过程提供更多的图像信息.

4 结 论

本文提出了一种基于滤波器剪枝的多尺度压缩感知图像重构网络，在提升图像重构质量的同时压缩网络模型.所提网络包括多尺度融合采样子网络、初始重构子网络和深度重构子网络三部分.采样网络利用多尺度空洞卷积对原始图像进行线性分解，然后融合相邻卷积层的特征，完成多尺度采样操作.初始重构采用反卷积将压缩感知测量值恢复到原始图像大小.深度重构中，在多尺度空洞残差块中引入坐标注意力，从水平和竖直两个方向用精确的位置信息对通道关系和长距离依赖进行编码，提取包含更多细节的图像特征.通过基于特征图熵准则剪枝多尺度空洞残差模块来压缩网络模型，使其参数量变少且重构速度加快.实验结果表明，在不同采样率下，本文提出的重构网络和其他重构算法相比，重构图像的质量提升较为明显，纹理细节也更加清晰，滤波器剪枝也使得网络模型更加轻量化.

参考文献

[1] DONOHO D L ．Compressed sensing［J］．IEEE Transactions on Information Theory，2006，52（4）：1289-1306．

[2] 王继良，周四望，金灿灿 ．基于对抗样本的深度学习图像压缩感知方法［J］．湖南大学学报（自然科学版），2022，49（4）：11-17．

[3] WANG J L， ZHOU S W， JIN C C. Method of deep learning image compressed sensing based on adversarial samples［J］. Journal of Hunan University （Natural Sciences）， 2022， 49（4）： 11-17．（in Chinese）

[4] 仲元红，周宇杰，张静，等 ．基于非局部先验的深度压缩感知图像重构网络［J］．电子与信息学报，2023，45（2）：654-663．

[5] ZHONG Y H， ZHOU Y J， ZHANG J，et al. Deep compressive sensing image reconstruction network based on non-local prior［J］. Journal of Electronics & Information Technology，2023， 45（2）：654-663．（in Chinese）

[6] 陈文俊，杨春玲 ．图像压缩感知的特征域优化及自注意力增强神经网络重构算法［J］．电子学报，2022，50（11）：2629-2637．

[7] CHEN W J， YANG C L ．Feature-space optimization-inspired and self-attention enhanced neural network reconstruction algorithm for image compressive sensing［J］．Acta Electronica Sinica，2022，50（11）： 2629-2637．（in Chinese）

[8] YUAN X， BRADY D J， KATSAGGELOS A K ．Snapshot compressive imaging：theory，algorithms，and applications［J］．IEEE Signal Processing Magazine，2021，38（2）：65-88．

[9] ROGERS C A， POPESCU D C ．Compressed sensing MIMO radar system for extended target detection［J］．IEEE Systems Journal，2021，15（1）：1381-1389．

[10] 王丽，王威，刘勃妮 ．高光谱图像的埃尔米特压缩感知重构算法［J］．激光与光电子学进展，2020，57（14）： 141032．

[11] WANG L， WANG W， LIU B N ．Hermitian compressed sensing reconstruction algorithm for hyperspectral images［J］. Laser & Optoelectronics Progress，2020，57（14）：141032．（in Chinese）

[12] TROPP J A， GILBERT A C ．Signal recovery from random measurements via orthogonal matching pursuit［J］. IEEE Transactions on Information Theory，2007，53（12）：4655-4666．

[13] BLUMENSATH T， DAVIES M E ．Iterative hard thresholding for compressed sensing［J］．Applied and Computational Harmonic Analysis，2009，27（3）：265-274．

[14] FIGUEIREDO M A T， NOWAK R D， WRIGHT S J ．Gradient projection for sparse reconstruction：application to compressed sensing and other inverse problems［J］．IEEE Journal of Selected Topics in Signal Processing，2007，1（4）：586-597．

[15] MOUSAVI A， PATEL A B， BARANIUK R G ．A deep learning approach to structured signal recovery［C］//2015 53rd Annual Allerton Conference on Communication，Control，and Computing （Allerton）．Monticello，IL，USA． IEEE，2015：1336-1343．

[16] 练秋生， 富利鹏， 陈书贞， 等 ．基于多尺度残差网络的压缩感知重构算法［J］．自动化学报， 2019，45（11）：2082-2091．

[17] LIAN Q S， FU L P， CHEN S Z，et al ．A compressed sensing algorithm based on multi-scale residual reconstruction network［J］. Acta Automatica Sinica，2019，45（11）：2082-2091．（in Chinese）

[18] ZHOU S W， HE Y， LIU Y H， et al ．Multi-channel deep networks for block-based image compressive sensing［J］. IEEE Transactions on Multimedia，2021，23：2627-2640．

[19] KULKARNI K， LOHIT S， TURAGA P，et al ．ReconNet：non-iterative reconstruction of images from compressively sensed measurements［C］//2016 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Las Vegas，NV，USA． IEEE，2016：449-458．

[20] SHI W Z， JIANG F， LIU S H，et al ．Image compressed sensing using convolutional neural network［J］．IEEE Transactions on Image Processing， 2020， 29：375-388.

[21] CUI W X， LIU S H， JIANG F，et al ．Image compressed sensing using non-local neural network［J］. IEEE Transactions on Multimedia，2023，25：816-830．

[22] ZHANG J， GHANEM B ．ISTA-net：interpretable optimization-inspired deep network for image compressive sensing［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition．Salt Lake City，UT，USA． IEEE，2018：1828-1837．

[23] ZHANG J， ZHAO C， GAO W ．Optimization-inspired compact deep compressive sensing［J］．IEEE Journal of Selected Topics in Signal Processing，2020，14（4）：765-774．

[24] CHEN W J， YANG C L， YANG X ．FSOINET：feature-space optimization-inspired network for image compressive sensing［C］//ICASSP 2022—2022 IEEE International Conference on Acoustics，Speech and Signal Processing （ICASSP）． Singapore，Singapore． IEEE，2022：2460-2464．

[25] WEI D Y， WANG Z W ．Multi-scale channel network based on filer pruning for image super-resolution［J］．Optik，2021，236：166641．

[26] DENIL M， SHAKIBI B， DINH L，et al ．Predicting parameters in deep learning［C］//Proceedings of the 26th International Conference on Neural Information Processing Systems-Volume 2．Lake Tahoe，Nevada． ACM，2013：2148-2156．

[27] YANG T J， CHEN Y H，SZE V ．Designing energy-efficient convolutional neural networks using energy-aware pruning［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）．Honolulu，HI，USA． IEEE，2017：6071-6079．

[28] CANH T N， DINH K Q， JEON B ．Decomposition-based multiscale compressed sensing［C］//2018 International Workshop on Advanced Image Technology （IWAIT）. Chiang Mai，Thailand． IEEE， 2018： 1-4．

[29] CANH T N， JEON B ．Multi-scale deep compressive sensing network［C］//2018 IEEE Visual Communications and Image Processing （VCIP）．Taichung，Taiwan，China． IEEE，2018：1-4．

[30] SHI W Z， JIANG F， ZHANG S P，et al ．Deep networks for compressed image sensing［C］//2017 IEEE International Conference on Multimedia and Expo （ICME）. Hong Kong， China． IEEE， 2017： 877-882．

[31] SHI W Z， JIANG F， LIU S H，et al ．Multi-scale deep networks for image compressed sensing［C］//2018 25th IEEE International Conference on Image Processing （ICIP）. Athens， Greece. IEEE，2018：46-50．

[32] WANG Z B， QIN Y L， ZHENG H，et al ．Multiscale deep network for compressive sensing image reconstruction［J］．Journal of Electronic Imaging，2022，31：013025．

[33] TU Y， WANG M Y， WANG S ．A data-driven deep neural network pruning approach towards efficient digital signal modulation recognition［C］//2019 IEEE Globecom Workshops （GC Wkshps）．Waikoloa，HI，USA． IEEE，2019：1-5．

[34] 魏钰轩，陈莹 ．基于自适应层信息熵的卷积神经网络压缩［J］．电子学报，2022，50（10）：2398-2408．

[35] WEI Y X， CHEN Y ．Convolutional neural network compression based on adaptive layer entropy［J］．Acta Electronica Sinica，2022，50（10）：2398-2408．（in Chinese）

[36] 王彩玲，王炯，蒋国平 ．基于双DDPG的全局自适应滤波器剪枝方法［J］．南京邮电大学学报（自然科学版），2021，41（5）：59-66．

[37] WANG C L， WANG J， JIANG G P ．Global adaptive filter pruning based on dual DDPG［J］．Journal of Nanjing University of Posts and Telecommunications （Natural Science Edition），2021，41（5）：59-66．（in Chinese）

[38] 林景栋， 吴欣怡， 柴毅， 等 ．卷积神经网络结构优化综述［J］．自动化学报，2020，46（1） ：24-37．

[39] LIN J D， WU X Y， CHAI Y，et al ．Structure optimization of convolutional neural networks：a survey［J］．Acta Automatica Sinica，2020，46（1）：24-37．（in Chinese）

[40] LI H， KADAV A， DURDANOVIC I， et al. Pruning filters for efficient convNets ［C］// Proceedings of the 5th International Conference on Learning Representations （ICLR）. Toulon， France， 2017：128-140.

[41] HE Y， DONG X Y， KANG G L，et al ．Asymptotic soft filter pruning for deep convolutional neural networks［J］. IEEE Transactions on Cybernetics，2020，50（8）：3594-3604．

[42] WANG J L， JIANG T， CUI Z Y，et al ．Filter pruning with a feature map entropy importance criterion for convolution neural networks compressing［J］. Neurocomputing，2021，461（C）：41-54．

[43] CANH T N， DINH K Q， JEON B ．Decomposition-based multiscale compressed sensing［C］//2018 International Workshop on Advanced Image Technology （IWAIT）. Chiang Mai，Thailand． IEEE，2018：1-4．

[44] HUAN H， LI P C， ZOU N，et al ．End-to-end super-resolution for remote-sensing images using an improved multi-scale residual network［J］．Remote Sensing，2021，13（4）：666．

[45] GAO C， ZHOU R G， LI X ．Quantum color image scaling based on bilinear interpolation［J］．Chinese Physics B，2023，32（5）：050303．

[46] WANG Z F， WANG Z H， ZENG C Y，et al ．High-quality image compressed sensing and reconstruction with multi-scale dilated convolutional neural network［J］．Circuits，Systems，and Signal Processing， 2023， 42（3）： 1593-1616．

[47] HOU Q B， ZHOU D Q， FENG J S ．Coordinate attention for efficient mobile network design［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）．Nashville，TN，USA． IEEE，2021：13708-13717．

[48] SRINIVASAN N. A computational perspective on visual attention ［J］. Current Science， 2013， 104（11）： 1560-1561.

[49] 吴立帅 ．深度神经网络中的结构化模型压缩算法研究与应用［D］．成都：电子科技大学，2020．

[50] WU L S ．Research and Application of Structured Model Compression Algorithm in Deep Neural Network［D］. Chengdu：University of Electronic Science and Technology of China，2020．（in Chinese）

[51] AGUSTSSON E， TIMOFTE R ．NTIRE 2017 challenge on single image super-resolution：dataset and study［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition Workshops （CVPRW）. Honolulu，HI，USA． IEEE，2017：1122-1131．

[52] YOU D， XIE J F， ZHANG J ．ISTA-NET：flexible deep unfolding network for compressive sensing［C］//2021 IEEE International Conference on Multimedia and Expo （ICME）．Shenzhen，China． IEEE，2021：1-6．

基金资助

国家自然科学基金资助项目（62161016,61661025）