基于零值域分解的深度图像压缩感知重建

Deep Image Compressive Sensing Reconstruction Based on Range‒Null Space Decomposition

摘要

图像压缩感知能从低采样观测中重建出高质量图像。将深度学习应用于图像压缩感知，可显著提高图像重建质量。然而，基于深度学习的图像压缩感知方法存在模型可解释性差、结构盲目设计而影响重建性能的问题。针对这些问题，提出了一种基于零值域分解的深度图像压缩感知方法（range‒null space decomposition based deep image compressive sensing network，RND‒Net）。该方法通过全局卷积采样的方式稀疏感知图像的特征信息，通过学习信号相关的采样矩阵，使采样值包含更丰富的图像特征，且相较一般的逐块采样方式，在全局层面上的采样可明显减少块状伪影；基于零值域分解的数学表示，将采样与重建过程转化为端到端深度学习模型，借助深度神经网络拟合所涉及的线性或非线性运算，相比传统方法缩短了模型推理时间，提升了图像重建能力。上述将数学先验知识有效融入数据驱动的方法称为协同驱动，既充分利用了数学先验知识，强化了模型的可解释性，使模型结构更易于设计，又发挥了以深度学习为代表的数据驱动方法的自主寻优能力，相比其他深度压缩感知方法更易于获得全局最优解。在多个测试集上的实验证明，RND‒Net与目前图像重建能力较好的算法相比显著提升了图像重建质量，减少了单幅图像重建时间。当采样率为0.1、测试集为BSDS68时，RND‒Net比AutoBCS在峰值信噪比（PSNR）上平均高1.02 dB。在测试集Set14上，RND‒Net对于混合驱动的GPX‒ADMM‒Net的平均PSNR和结构相似性指数（SSIM）增益分别为1.15 dB和0.051 8；重建单幅图像时，RND‒Net比GPX‒ADMM‒Net快约0.104 9 s。

Abstract

Image compressive sensing (ICS) reconstructs high-quality images from low-sampling observations. Applying deep learning to ICS significantly improves image reconstruction quality. However, deep learning-based ICS methods suffer from poor model interpretability and blind structural design, which degrade reconstruction performance. Therefore, a Range-Null Space Decomposition(RND)-based Deep Image Compressive Sensing Network is proposed, referred to as RND‒Net. This method sparsely senses image feature information through global convolutional sampling. Learning signal-related sampling matrices enables the sampling values to contain richer image features. Compared to common block-wise sampling methods, the global-level sampling approach remarkably reduces block artifacts. In addition, based on the mathematical representation of RND, the sampling and reconstruction processes are transformed into an end-to-end deep learning model. With the deep neural network fitting linear or nonlinear operations involved, model reasoning time is reduced, and image reconstruction ability is improved compared to traditional algorithms. This method, which effectively integrates mathematical prior knowledge into data-driven approaches, is called a collaborative driving method. It fully utilizes mathematical prior knowledge, strengthens model interpretability, simplifies model structure design, and uses the autonomous optimization capabilities of data-driven methods represented by deep learning. Compared to other deep compressive sensing methods, it more easily reaches the global optimal solution. Experiments on multiple test sets demonstrate that RND‒Net significantly improves image reconstruction quality and reduces the time required to reconstruct a single image compared to state-of-the-art algorithms. When the sampling rate is 0.1, and the test set is BSDS68, the average PSNR of RND‒Net is about 1.02 dB higher than that of AutoBCS. On Set14, the average PSNR and SSIM gains of RND‒Net over hybrid-driven GPX‒ADMM‒Net are 1.15 dB and 0.051 8, respectively. In addition, RND‒Net is about 0.104 9 s faster than GPX‒ADMM‒Net when reconstructing a single image.

Graphical abstract

关键词

图像压缩感知 / 深度学习 / 图像重建 / 零值域分解 / 协同驱动

Key words

image compressive sensing / deep learning / image reconstruction / range-null space decomposition / driving collaboratively

本刊网刊

在信号的采集和传输过程中，如何以最少的资源对信号进行采样并在接收端高质量地重建是值得研究的问题。经典的香农‒奈奎斯特采样定律^[1]表明，当采样频率不低于信号带宽的两倍时，能够无失真地重建出原信号。这一理论作为指导信号采样和通信的准则，时至今日都发挥着巨大的作用。然而，在某些应用场景下，如医学磁共振成像（MRI）^[2]，过长的采样时间对病患而言是不现实的；又如在简陋的野外环境布设传感器进行信息采集^[3]，很大程度上无法满足采样设备性能优越的要求，因此，需要探索既能适当降低采样频率，又对信号的重建质量不造成明显影响的方法。压缩感知（CS）^[4]的提出有力促进了上述问题的解决。该理论实现了在低采样率下从稀疏投影信号中完成原信号的高概率重建，而无需依赖高精度设备进行长时间采样，现已在磁共振成像^[5]等领域中落地并日趋完善。

图像压缩感知（ICS）是压缩感知体系中的重要研究问题。ICS的一般模型需明确采样矩阵\mathit{A}、稀疏变换\mathit{\Psi }及非线性重建方法等要素。传统上，采样矩阵\mathit{A}应使被采样图像得到充分采样，以便之后的重建，一般采用高斯随机矩阵（GRM）、随机伯努利矩阵等，然而，这些采样矩阵都是信号无关的，由其得到的采样值缺乏能够高质量恢复原始图像的充分的特征信息^[3]。稀疏变换\mathit{\Psi }的作用是使输入图像 x 的像素矩阵稀疏化，且越彻底的稀疏越有助于图像的恢复重建^[6]，传统的有多假设法（MH）^[7]、全变分法（TVAL3）^[8]等。此后，Zhang等^[9]提出了组稀疏（GSR）方法，在图像重建精度上取得了一定提升，但上述方法的重建速度慢是不容忽视的问题。在重建层面，经典方法有匹配追踪（MP）^[10]、迭代收缩阈值算法（ISTA）^[11]等。这些方法能够充分利用图像先验知识，在像素空间对每一像素点都进行比较精确地重建，不过，存在由反复迭代引起的计算开销大、单幅图像重建速度慢等问题。

近几年，深度学习发展迅速，在机器视觉、自然语言处理乃至超原子逆向设计^[12]等领域得到了广泛的应用。在这一趋势下，一些学者尝试将深度学习用于ICS。最早基于深度学习建立求解模型的是堆叠去噪自编码器（SDA）^[13]，它通过全连接的方式构造了去噪自编码器（DA），完成了信号的降维和恢复。紧随其后，Kulkarni等^[14]提出了ReconNet，引入卷积神经网络（CNN）参与运算，使图像重建质量较SDA有了大幅提高。这两种方法均采用了传统算法中常见的逐块采样和重建的方式。最近，有更多的纯深度学习方法被证实有效，如：Shi等^[3]提出的CSNet设计了从采样、初始重建直至深度重建的全流程框架，提出了卷积采样、合并层、全图深度重建等设想并付诸实施，最终得到的图像重建质量相当理想，成为深度压缩感知（DCS）^[15]的代表模型。曾春艳等^[16]设计了融合注意力机制的多尺度重建网络并将其作为生成器，将超分辨生成对抗网络（SRGAN）作为对抗网络，构造生成对抗网络模型进行端到端训练，以增强图像重建性能。不过，该模型并不与CS的一般求解过程一一对应，这成为制约其继续发展的瓶颈。以上介绍的各类方法在继承深度学习能处理海量数据的优势之余，也无可避免地使重建模型等同为一个“黑盒”，很难令人清楚理解其实现采样和重建的数学机理是什么，可解释性较差。

对于上述亟待解决的问题，有研究者开始探求将深度学习和优化理论结合，给予深度学习框架更多可解释性的新方法。Yang等^[2]论述的ADMM‒CSNet的前身ADMM‒Net^[17]开创了解决CS问题的模型和数据混合驱动的全新思路。ADMM‒Net将非线性变换层中的稀疏函数视作卷积运算，并创造性地将分段线性函数作为非线性收缩函数，这些步骤将深度学习方法融入了传统的交替方向乘子法（ADMM）的变量求解，弥补了单纯应用深度学习方法欠缺可解释性的不足。遗憾的是，ADMM‒Net仅适用于特定的医学MRI场景，这限制了其使用范围^[17]。ADMM‒CSNet将数据集扩大至自然图像，有效解决了该问题。不过，ADMM‒CSNet的采样矩阵是在ICS任务中并不常用的随机编码衍射算子或沃尔什‒哈德玛算子，这两种采样算子的构建均有一定难度，在普通的ICS中不易推广。若将采样过程也置于端到端训练和学习中，很大可能会取得比现在更好的结果。此外，该方案虽然达到了无需对矩阵求逆的目的，但算法较复杂，推导过程繁琐，且不易与神经网络模型相结合。此外，非局部自相似性作为一种图像先验知识，在部分工作中得到了应用。仲元红等^[18]利用半二次分裂法将压缩感知的一般问题分解为3个子问题，并在求解过程中充分发挥神经网络高效的数据拟合和计算能力，同时在解某一子问题时引入非局部先验参与运算，进一步强化模型提取特征的能力。陈文俊等^[19]在特征域中构建神经网络模型，在使用近端梯度下降方法求解的同时灵活运用自注意力模块，以捕获特征向量间的非局部自相似性，从而改善重建图像的视觉效果。然而，该类算法多采用将CNN直接替换某些迭代过程的策略，未与原算法各步骤紧密结合，不利于模型性能稳步提高。

本文将深度学习方法和数学先验知识或优化理论融合为一体，既凭借神经网络模型优越的特征提取和重建性能增强了后者的数据拟合、变量寻优的能力，使其模型求解过程高效进行，又弥补了一般深度学习方法的可解释性不足，更克服了多数纯深度学习方法未充分利用图像先验知识、已有混合驱动算法仅对旧有网络模块进行简单机械地组合的缺点，本文称其为模型和数据协同驱动方法。根据协同驱动的思路，在零值域分解（RND）^[20‒21]的启发下，将深度学习方法与零值域分解结合，集成数学先验知识和数据驱动方法在ICS方向的优势，构建基于零值域分解的深度图像压缩感知模型（range‒null space decomposition based deep image compressive sensing network，RND‒Net）。该模型用全局卷积采样的方式学习与信号相关的采样矩阵，相较许多工作使用的逐块卷积采样方式可增大模型感受野，从而获取包含丰富信息的采样值；之后，通过端到端的方式将零值域分解的步骤网络化，设计了级联残差块及多级长短跳跃连接的网络模型以得到零域提取项，且将采样信息经捕捉某一尺度特征后加以多次复用，有助于发挥采样值所蕴含信息的更大作用，并通过线性卷积运算获取图像的低频与高频信息（即值域和零域），将二者融合后得到最终重建图像。

1 相关理论

1.1 压缩感知数学模型

压缩感知理论^[22]致力于解决在低采样频率的条件下尽可能保证重建精度的问题。该理论经严格的数学推导，证明了当采样信号在某一域内足够稀疏时，可以近乎无失真地将原信号重建出来。此外，采样时为保留更多的有效信息，利于后续的重建，也应满足一定的条件，即采样矩阵符合约束等距（RIP）性质^[23]。压缩感知对应的数学模型（不考虑噪声）可表示为：

\widehat{\mathit{x}}=\underset{\mathit{x}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\frac{\mathrm{1}}{\mathrm{2}}{‖\mathit{A}\mathit{x}-\mathit{y}‖}_{\mathrm{2}}^{\mathrm{2}}+\lambda {‖{\mathit{\Psi }}^{-\mathrm{1}}\mathit{x}‖}_{\mathrm{0}}（1）

式中， x 为输入信号， y 为采样后信号，\widehat{\mathit{x}}为重建信号，\mathit{A}为采样矩阵，{\mathit{\Psi }}^{-\mathrm{1}}为稀疏变换\mathit{\Psi }的逆变换，λ为惩罚参数，{‖\cdot ‖}_{\mathrm{0}}为L0范数，{‖\cdot ‖}_{\mathrm{2}}为L2范数。

1.2 零值域分解方法

对于图像信号\mathit{x}\in {\mathbb{R}}^{N\times \mathrm{1}}（N为图像信号\mathit{x}的维数），作一恒等变形^[20‒21]：

\mathit{x}\equiv {\mathit{\Phi }}^{†}\mathit{\Phi }\mathit{x}+\left(\mathit{I}-{\mathit{\Phi }}^{†}\mathit{\Phi }\right)\mathit{x}（2）

式中：\mathit{\Phi }为符合某特定性质的矩阵，\mathit{\Phi }\in {\mathbb{R}}^{M\times N}，在图像压缩感知问题中可视为采样矩阵，也可用其他能起到降维作用的算子充当，M为采样后信号维度；\mathit{I}为单位矩阵；{\mathit{\Phi }}^{†}为\mathit{\Phi }的伪逆矩阵，{\mathit{\Phi }}^{†}\in {\mathbb{R}}^{N\times M}，且满足{\mathit{\Phi }}^{†}\mathit{\Phi }=\mathit{I}。当\mathit{\Phi }符合对应的条件时，若对式（2）的等号左右两边同时左乘\mathit{\Phi }，可得：

\mathit{\Phi }\mathit{x}=\mathit{\Phi }\mathit{x}+\left(\mathit{\Phi }-\mathit{\Phi }{\mathit{\Phi }}^{†}\mathit{\Phi }\right)\mathit{x}=\mathit{\Phi }\mathit{x}+\mathrm{0}（3）

式（3）表明，原信号 x 被\mathit{\Phi }退化的过程等价于式（2）的右边第1项与\mathit{\Phi }相乘，而第2项在退化过程中不起作用。因此，一般将式（2）的右边第1项{\mathit{\Phi }}^{†}\mathit{\Phi }\mathit{x}称为\mathit{\Phi }的值域项，将第2项\left(\mathit{I}-{\mathit{\Phi }}^{†}\mathit{\Phi }\right)\mathit{x}视为\mathit{\Phi }的零域项。

零值域分解通过数学变换将原始图像 x 划分为两部分，符合图像逆问题所遵循的数据一致性及真实性准则，理论上可得到视觉效果和数值指标均较好的重建图像。图像逆问题应符合的数据一致性和真实性条件分别为^[20]：

\mathit{y}=\mathit{\Phi }\mathit{x}（4）

\widehat{\mathit{x}}\sim p\left(\mathit{x}\right)（5）

式（5）中，p\left(\mathit{x}\right)为原始图像 x 所在的数据分布。式（4）指出，某原始图像 x 与\mathit{\Phi }运算后必可得到退化图像 y；反之，一个已退化图像 y 只可与唯一的原始图像 x 对应。真实性约束反映于式（5）中，即重建后的图像\widehat{\mathit{x}}须与原图像 x 服从相同的数据分布p\left(\mathit{x}\right)。

零值域分解后得到的值域部分满足数据一致性的要求，即：

\mathit{\Phi }{\mathit{\Phi }}^{†}\mathit{\Phi }\mathit{x}=\mathit{\Phi }\mathit{x}=\mathit{y}（6）

若零域部分的 x 与原图像符合一致的数据分布，即满足真实性的条件，则图像能够以高概率获得重建。

2 基于零值域分解的深度图像压缩感知模型

2.1 模型总体说明

RND‒Net包括全局卷积采样模块（GCSM）、零域提取项生成模块（XRNet）和零值域分解执行模块（ERM）共3部分，如图1所示。图1中，M₁、M₂和M₃分别为ERM的3个步骤，{\mathit{x}}_{\mathrm{r}}为零域提取项，“‒”为减法运算。

GCSM与XRNet基于CNN实现，ERM将零值域分解方法融入深度学习网络中，使二者相互促进，提升重建效果。概括而言，GCSM利用CNN所具备的下采样功能，基于卷积采样^[3,24]的思路，通过专门设计的小尺寸卷积块与原始图像进行连续卷积运算，模拟传统CS过程中采样矩阵所发挥的作用，最终达到稀疏采样的目的。该模块着眼于全局观点对图像采样，较之CSNet^[3]所使用的卷积核尺寸为32×32的单卷积层感受野更大，所需计算量更小，也可在任意采样率下实现采样。XRNet通过多级残差连接提取图像高级特征，并对采样值的某尺度特征多次复用以强化特征细节，得到的零域提取项在整体上已包含原始图像的特征信息。ERM按照本文所提出的协同驱动的思路构造，如图1的M₁、M₂和M₃所示，将零值域分解过程中的\mathit{\Phi }和{\mathit{\Phi }}^{†}用具有特定卷积核尺寸的卷积层替代，依照分解后的值域和零域两部分进行网络结构的设计，采用跳跃连接实现零域部分中相减的运算，既可与数学推导过程相照应，又能发挥跳跃连接结构的有助于平坦最小化和避免非凸爆炸的优势，增强网络寻优能力。在整体网络的端到端重建后，对建立的损失函数进行多次迭代优化，最终可得到精度较好的重建图像。

RND‒Net对应的数学模型为：

\widehat{\mathit{x}}={\mathrm{M}}_{\mathrm{1}}\left(\mathit{y}\right)+\left({\mathit{x}}_{\mathrm{r}}-{\mathrm{M}}_{\mathrm{3}}\left({\mathrm{M}}_{\mathrm{2}}\left({\mathit{x}}_{\mathrm{r}}\right)\right)\right)（7）

\mathit{y}=\mathrm{G}\mathrm{C}\mathrm{S}\mathrm{M}\left(\mathit{x}\right)（8）

{\mathit{x}}_{\mathrm{r}}=\mathrm{X}\mathrm{R}\mathrm{N}\mathrm{e}\mathrm{t}\left(\mathit{y}\right)（9）

2.2 具体模块分析

2.2.1 GCSM

将线性采样过程\mathit{y}=\mathit{A}\mathit{x}用特定维度的卷积层实现，模块如图2所示（图2中具体数据对应于采样率为0.10时的情况，下同）。

一般的CS过程所使用的逐块采样是先将大小为H\times W\times c的原始图像矩阵划分为不重叠的图像块，其尺寸为B\times B\times c，为与多数工作保持一致，B取32，而本文研究的重点是灰度图像，故通道数c取1；之后，传统CS的采样方式是利用某一“扁平”的采样矩阵 A^[25]与图像块对应的像素矩阵相乘，因矩阵行列维度相差悬殊，故能实现降维的效果，即：

{\mathit{y}}_i={\mathit{A}}_{M\times N}{\mathit{x}}_i（10）

式中：{\mathit{x}}_i\in {\mathbb{R}}^{N\times \mathrm{1}}，{\mathit{y}}_i\in {\mathbb{R}}^{M\times \mathrm{1}}，i为图像块索引，i\in \left\{\mathrm{1,2},\cdots ,\frac{\mathrm{1}}{\mathrm{1}}\right.\left.\frac{HW}{B^{\mathrm{2}}}\right\}；N=c{B}^{\mathrm{2}}；M=\mu N=\mu c{B}^{\mathrm{2}}且M\ll N，\mu为采样率，\mu =\frac{M}{N}。分析上述矩阵相乘过程可以发现，采样后得到的输出值{\mathit{y}}_i的每一个元素值由 A 的对应行向量与{\mathit{x}}_i逐元素相乘再求和后得到，若将 A 的每一行视作一个滤波器并用CNN模拟，则构造M个滤波器（卷积核）即可完成对图像块的采样^[3]。经典的CSNet^[3]的采样模块即使用上述逐块采样方式。不过，逐块采样所使用的卷积核尺寸过大且仅经过单层卷积层处理，使采样模块的计算复杂度较大，同时不利于获取高级特征信息。若将单卷积层改为多卷积网络，适度增加网络深度，既能完成采样过程，又可在增大模型感受野的同时获得原图像的高级特征，有利于对特征信息进行重建。事实上，逐块卷积采样所用的大尺寸卷积核可替换为多个小尺寸卷积核级联，实现与其等同的效果。

逐块卷积采样模块和全局卷积采样模块对比如图2所示，以大小为96×96的原始图像矩阵为例，当子图像块尺寸和卷积步长均为32时，逐块卷积采样将其划分为3×3个子图像块，即n=\frac{H\times W}{s\times s}=\frac{\mathrm{96}}{\mathrm{32}}\times \frac{\mathrm{96}}{\mathrm{32}}=\mathrm{3}\times \mathrm{3}，n为图像块数量，s为子图像块尺寸，该式中的\frac{\mathrm{96}}{\mathrm{32}}等效于\frac{\mathrm{96}}{\mathrm{2}\times \mathrm{2}\times \mathrm{2}\times \mathrm{2}\times \mathrm{2}}。若将卷积核尺寸为32×32的单卷积层替换为5个包含小尺寸卷积核且步长为2的卷积层相级联，每个卷积层的通道数为图像块被采样后的维度，这一操作等同于逐块采样中的卷积步骤。为计算简便，可将级联卷积层中的卷积核尺寸设置为2×2。

上述采样模块可被称为全局卷积采样模块。相较于逐块卷积采样，该方式基于图像整体进行采样，既通过多卷积层充分提取了图像的高级特征，又类似于逐块采样但对任意采样率均适用。就采样效率和灵活性而言，全局卷积采样比逐块卷积采样效果更好。

2.2.2 XRNet

零域提取项为式（2）的等号右边第2项中的\mathit{x}，为便于区分用{\mathit{x}}_{\mathrm{r}}表示，即：

\mathit{x}\equiv {\mathit{\Phi }}^{†}\mathit{\Phi }\mathit{x}+\left(\mathit{I}-{\mathit{\Phi }}^{†}\mathit{\Phi }\right){\mathit{x}}_{\mathrm{r}}（11）

{\mathit{x}}_{\mathrm{r}}可由其他网络模型产生，该生成图像可能存在边缘细节不够完整、分辨率有待提高的问题，通过对{\mathit{x}}_{\mathrm{r}}施以零域变换处理，可获得其本身的高频信息^[21]，但人眼对该信息不太敏感，而式（11）中的{\mathit{\Phi }}^{†}\mathit{\Phi }\mathit{x}能将原始图像的低频信息提取出来，同高频信息融合后，可得到含有完整信息的图像。从上述原理分析，该图像的重建效果较好。

XRNet从采样值中提取信息并完成特征重建，生成模块如图3所示。

该模块的主要特点是，采样值首先在尺寸为1×1的卷积的作用下得到在像素空间实现逐像素重建后的特征图像，但此时图像的特征信息还不完善，需要继续在主干网络中进行深度特征重建。主干网络级联多个残差块以完成高级特征的捕捉，通过多级短跳跃或长跳跃连接的方式使中间特征信息得以增强，同时对采样值进行某一尺度的特征再提取，在模块的末端与主干网络得到的特征图进行拼接，再经过一个卷积层实现特征增强和通道数调整后输出最终的特征图，即为零域提取项{\mathit{x}}_{\mathrm{r}}。Shi等^[3]提出的模型结构中，堆叠多个模块有助于使输出的特征图在数据流层层传递中补充丢失的特征，对阶段性输出结果不断优化，使最终获得的零域提取项居于最好的状态。经实验论证，考察重建性能与计算资源分配的平衡关系，XRNet的堆叠数m取8时，模型的性能最好。

2.2.3 ERM

ERM主要完成零值域分解的后续步骤，即依次执行生成值域部分（GR）、由零域提取项{\mathit{x}}_{\mathrm{r}}产生零域部分（GN），以及将零值域部分融合为最终重建图像并输出（ANR），如图4所示。

生成值域部分可视为采样的逆过程，等价于上采样，鉴于值域部分应尽可能复原全部像素点信息，故可将卷积核尺寸设定为\mathrm{1}\times \mathrm{1}\times M，数量确定为c{B}^{\mathrm{2}}，如图4中的M₁部分所示。与XRNet相同，尺寸为1×1的卷积层与全连接层作用类似，都是对单个像素点进行加权求和，然而，前者输出的特征图通道数与卷积核个数相等，以张量的形式存储输出结果，不会破坏图像的空间结构，而后者对单幅特征图的输出仅为一个数值，且参数更多。此外，值域部分的生成过程需使输出图像的维度与原始输入图像的维度相同，恰好可以利用尺寸为1×1的卷积层能够升维的能力，取得比全连接更好的效果。式（11）显示，{\mathit{x}}_{\mathrm{r}}需经\mathit{\Phi }及{\mathit{\Phi }}^{†}运算，因此，先将{\mathit{x}}_{\mathrm{r}}的维度整形为特定的输入维度，而后在\mathit{\Phi }的作用下{\mathit{x}}_{\mathrm{r}}降维至某一隐空间，再被{\mathit{\Phi }}^{†}恢复为原始维度，该过程类似于自编码器。{\mathit{x}}_{\mathrm{r}}与经像素重组（Pixel shuffle）层^[26]上采样后所得的{\mathit{\Phi }}^{†}\mathit{\Phi }{\mathit{x}}_{\mathrm{r}}相减，可得到原输入图像的内在高频信息，即零域部分。在此过程中，使用全局卷积采样模块和单卷积层分别模拟\mathit{\Phi }和{\mathit{\Phi }}^{†}，可有效实现上述目的，如图4中的M₂、M₃部分。之后，将所得到的被Pixel shuffle层调整维度后的值域部分和零域部分相加，输出结果即为最终重建图像。值得说明的是，由于\mathit{\Phi }及{\mathit{\Phi }}^{†}发挥线性算子作用，故对应的卷积层不使用激活函数，保持卷积运算的线性性质；其他部分卷积层后使用的激活函数为ReLU函数。

2.3 损失函数

RND‒Net的损失值l体现了输出重建图像与原始输入图像之间的误差值，力争使二者的距离达到最小，则建立的均方误差（MSE）损失可表示为：

l=\frac{\mathrm{1}}{K}{{\displaystyle \sum _{k=\mathrm{1}}^K}‖\mathit{𝒯}\left({\mathit{x}}_k,{\theta }_{\mathit{𝒯}}\right)-{\mathit{x}}_k‖}_{\mathrm{F}}^{\mathrm{2}}（12）

式中：\mathit{𝒯}\left(·\right)为整体网络模型；{\mathit{x}}_k为输入图像；{\theta }_{\mathit{𝒯}}为\mathit{𝒯}\left(·\right)涉及的需训练的参数；K为训练集的图像数量；{‖\cdot ‖}_{\mathrm{F}}为弗罗贝尼乌斯范数，用于在矩阵层面上求取其所有元素的平方和，与向量层面的L2范数作用相近。

3 实验结果与分析

3.1 数据集

本文所用数据集为图像压缩感知领域中的通用数据集，均为自然图像。训练集使用BSDS500数据集^[27]中的200张训练图像和200张测试图像，共计400张图像。测试集为多数CS工作均使用的公共测试集，即Set5^[28]、Set14^[29]和BSDS68^[27]。本文提出的模型在所有测试集上均验证了效果，并与前人工作进行了对比，以增强模型性能的信服力。Set5内含的测试图像（均转换为灰度图像）如图5所示。

3.2 实验数据处理、各类超参数设置与训练细节说明

对于训练图像和测试图像，将其从RGB3通道颜色空间转换至YCbCr亮度空间^[15]，并只将Y分量作为实验模型的输入值。同时，为提高输入数据的随机性，强化模型的泛化能力，可对训练集进行处理^[3]，即，先将训练图像裁剪为96×96的子图像块，而后进行随机水平翻转，该操作使训练数据的类型更加多样化，在一定程度上促进了数据在馈入模型时的不确定性，有助于模型的训练。此外，对于除BSDS68外的测试集图像，需将其矩阵尺寸重新调整为256×256，而由于前述测试集的图像尺寸大小不一，应被裁剪为长宽均能被2整除的图像，方可与训练好的模型相匹配，如将BSDS68的图像矩阵尺寸由原来的321×481调整为320×480。

训练时，设定批大小（batch size）、完整训练次数（epoch）分别为4、500；使用Adam优化器训练模型，控制指数衰减率的动量因子{\beta }_{\mathrm{1}}、衰减权重{\beta }_{\mathrm{2}}分别为0.9、0.999，初始学习率设置为0.001，且从第60个epoch开始，每隔30个epoch将当前学习率降为原来的0.75倍。CS过程的采样率（SR）分别取0.01、0.05、0.10、0.20、0.30、0.40与0.50，可通过改变采样模块的卷积核尺寸而灵活调整。零域提取项生成模块XRNet中的残差块数量设为4。其他参数初始化设置同文献[15]一致。

程序基于Python（版本为3.7）编写，依赖于行业内成熟的开源深度学习框架Pytorch（版本为1.5.0）搭建神经网络并执行训练过程，选用的CUDA版本为10.2。所使用的服务器平台的操作系统为Windows 10，CPU型号为Intel(R) Xeon(R) Silver 4114，主频为2.20 GHz，GPU版本为NVIDIA GeForce RTX 2080 Ti，显存大小为11.0 GB，内存大小为128 GB。

3.3 与现有图像压缩感知方法比较

3.3.1 传统CS方法

RND‒Net与CS领域中的传统算法如MH^[7]、TVAL3^[8]、GSR^[9]进行对比，分别在客观标准和主观标准两个层面加以详细比较，前者包括峰值信噪比（PSNR）、结构相似性指数（SSIM）、重建单幅图像（尺寸为256×256）耗费的时间等评价指标，后者可通过对图像的直接观察得出，从而分析各方法的优劣。

1）重建性能指标比较

表1与2分别记录了上述方法在Set5与Set14测试集上的图像重建效果，各采样率下最高的性能指标用*标明，次高的数据用**标明（下同）。

由表1、2可知，RND‒Net较之传统优化算法性能更佳。

在测试集Set5上，RND‒Net比传统方法中效果最优的GSR在指标PSNR上平均高1.28 dB，在指标SSIM上平均高0.021 7。与TVAL3相比，RND‒Net在测试集Set14上的PSNR和SSIM指标平均值分别超出3.59 dB和0.086 1。

表3对比了采样率为0.10时，RND‒Net与3个传统CS算法重建尺寸为256像素×256像素的单幅图像所需的时间。

由于传统优化算法只使用CPU训练和测试图像，故重建单幅图像耗费时间巨大，如GSR需要逾230 s才能重建1幅完整图像（表3）。这是由这些算法的高计算复杂度或其他受限的性能决定的。RND‒Net作为一种深度学习方法，不需要进行繁杂的迭代运算以求得最优解，加之其部署于GPU上训练，使模型执行速度显著加快，所以重建图像的时间很少，仅需要0.040 1 s（表3）。

2）图像视觉质量比较

采样率为0.10时，不同算法在Set5中的“Baby”图像的测试效果如图6所示。与MH、TVAL3和GSR等传统CS工作比较，RND‒Net重建出的图像整体效果较好，从重建图像红框中的眼角局部放大图来看，纹理细节比其他方法更为完整，图像边缘更加平滑，背景清晰，无明显块状伪影。

3.3.2 DCS方法

1）重建性能指标比较

RND‒Net与其他基于深度学习的图像压缩感知方法也进行了一系列的对比分析，包括SGCSNet^[30]、ISTA‒Net+^[31]、ReconNet^[14]和NL‒CSNet^[32]。这些DCS算法的计算开销较小，且与传统算法相比，图像重建质量有较大程度的提升。这几种方法与RND‒Net在Set5上的对比情况见表4。与在深度展开方法中表现优异的ISTA‒Net+相比，在Set5测试集上RND‒Net的平均PSNR提升了3.36 dB，平均SSIM提升了0.049 0。由表4可知，发现当采样率为0.01至0.30时，在Set5上，NL‒CSNet的性能指标仅次于本文提出的RND‒Net，后者较前者在Set5上的PSNR平均值提升1.72 dB，SSIM平均值提升0.013 8。

表5和6分别为RND‒Net同ReconNet^[14]、LPDNet^[33]、GPX‒ADMM‒Net^[34]、COAST^[35]、ISTA‒Net+^[31]、SCS‒GNet^[36]、CSNet+^[3]、AutoBCS^[37]、SGCSNet^[30]、H‒PnP^[38]和P‒DCI^[39]等前人工作在BSDS68、Set14测试集上的性能表现。由表5可得：RND‒Net超过了目前图像重建能力最强的AutoBCS算法，在BSDS68测试集上的平均PSNR值比后者高0.26 dB，并比DCS方法中的代表算法CSNet+的PSNR和SSIM平均值分别高出0.62 dB、0.005 0。在低采样率（如0.10）下，RND‒Net比次优的CSNet+在PSNR和SSIM上分别高0.57 dB、0.022 4，比AutoBCS在PSNR上高1.02 dB。GPX‒ADMM‒Net是近年深度展开ADMM算法的优秀模型，其在理论推导、网络构造和损失函数设计方面有较大的新意。RND‒Net与之相比，性能有明显提升。在BSDS68上，RND‒Net的PSNR比GPX‒ADMM‒Net的平均提高2.84 dB；而在Set14上，RND‒Net对于GPX‒ADMM‒Net的平均PSNR和SSIM增益为1.15 dB和0.051 8。

当采样率为0.10时，RND‒Net与其他DCS方法重建尺寸为256像素×256像素的单幅图像的耗时见表7。由表7可知，RND‒Net重建图像速度明显快于ADMM‒CSNet、GPX‒ADMM‒Net、CASNet^[40]、NL‒CSNet*^[32]和ISTA‒Net+。

综合分析表1~7，RND‒Net与多数传统优化算法或DCS算法相比，在不同数据集和采样率下均能较快地重建出图像，且图像性能保持在一个较高的水平。

2）图像视觉质量比较

在采样率为0.20时，对于Set14中的“PPT3”图像，RND‒Net与其他方法的重建视觉效果对比如图7所示。

由图7可知，由RND‒Net得到的重建图像从肉眼上看在清晰度方面高于ISTA‒Net+，图像质量优于其他算法。结合表7统计的重建单幅图像时间加以分析，对于重建视觉效果相近的两幅图像，RND‒Net的生成速度最快，总体而言，在所比较的DCS算法中居于领先地位。

当采样率为0.50时，RND‒Net与其他DCS方法在给定的BSDS68图像上的重建效果对比情况如图8所示。该图证明了RND‒Net重建图像纹理细节和边缘特征的能力。从屋顶尖部的放大效果来看，RND‒Net重建出的图像边缘更尖锐，与天空背景的界限更分明。

3.3.3 其他实验说明

1）重建图像与原始图像的均方误差情况

当测试集为Set5时，不同采样率下RND‒Net输出的重建图像与原始输入图像的均方误差结果如图9所示。

图9表明，原始图像与经RND‒Net后获得的重建图像的均方误差值（MSE）在各采样率下均呈现逐步降低的趋势且能快速收敛。尽管当采样率为0.30时，实验初期的数值有所波动，但基本处于正常范围内，最终可实现较好的收敛，并稳定在较低的水平（MSE为0.25）。

2）XRNet的级联个数对实验结果的影响

XRNet的堆叠数m对实验结果有一定影响，其与PSNR的关系如图10所示。

如图10所示：在采样率为0.10时，随着m从6递增，对于Set5生成的重建图像的PSNR随之上升；而当m高于8时，重建图像的PSNR不再继续提高，反而从最高点的31.24 dB逐步降低为31.21 dB；当m=\mathrm{14}时达到较低的31.17 dB。类似地，若采样率为0.01，在m=\mathrm{8}时，PSNR达到最大值23.66 dB；而当m低于或高于8时，PSNR均有不同程度的降低。究其原因，可能是m的增大加强了模块的数据拟合能力，但若m继续增加，即级联更多的XRNet时，会导致过拟合现象的发生，这使得网络模型不能很好地捕获测试集图像的特征信息，一定程度上削弱了重建图像的能力。据此，实验中设置m为8。

3）全局卷积采样模块与逐块卷积采样模块对实验结果的影响

全局卷积采样模块能够充分捕获特征信息，有助于在重建阶段将采样值恢复为原始图像。当采样率为0.10时，其与使用逐块卷积采样模块的模型在图像重建能力上的比较如图11所示。

由图11数值或视觉效果比较可知，使用全局卷积采样模块进行采样与使用逐块卷积采样相比，提升了重建图像的精度，图像的纹理细节更加完整，块状伪影进一步弱化，可观性更好。

使用全局卷积采样模块和逐块卷积采样模块的模型在训练时的图像重建结果如图12所示。

由图12可知，使用全局卷积采样作为采样方式时，在整个训练过程中的图像重建能力基本均高于逐块卷积采样方式，尽管使用全局卷积采样的模型在训练初期的PSNR值有一定波动，但比使用逐块卷积采样的模型能更快实现收敛，且比较稳定。

4 结 论

基于深度学习的图像压缩感知方法相较于传统算法图像重建速度更快，在低采样率时性能指标较好。零值域分解是一种解决图像逆问题的数学理论，将之与深度学习模型结合，在增强模型可解释性的同时提高了图像重建性能，符合协同驱动的基本思路。该模型基于全局观点进行卷积采样，所得到的采样值比常用的逐块卷积采样方式包含更多的特征信息，有利于对图像进行重建；使用网络结构处理生成值域部分、退化算子运算、生成零域部分等过程，并设计了较新的神经网络模型来生成零域提取项。实验结果证明，提出的RND‒Net在评价图像重建质量的主客观标准上优于目前较先进的工作。该方法为发挥模型驱动与数据驱动在图像压缩感知领域的协同作用提供了新方案，促进了图像压缩感知朝着高性能、低消耗方向继续发展。当然，实验效果仍可继续改善，未来将着眼于添加必要的图像先验知识于网络模型中，不断寻求最好的训练超参数，推动研究进程取得新突破。

参考文献

[1] Shannon C E.Communication in the presence of noise[J].Proceedings of the IRE,1949,37(1):10‒21. doi:10.1109/jrproc.1949.232969

[2] Yang Yan, Sun Jian, Li Huibin,et al.ADMM-CSNet:A deep learning approach for image compressive sensing[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2020,42(3):521‒538. doi:10.1109/tpami.2018.2883941

[3] Shi Wuzhen, Jiang Feng, Liu Shaohui,et al.Image compr-essed sensing using convolutional neural network[J].IEEE Transactions on Image Processing,2019,29:375‒388. doi:10.1109/tip.2019.2928136

[4] Donoho D L.Compressed sensing[J].IEEE Transactions on Information Theory,2006,52(4):1289‒1306. doi:10.1109/tit.2006.871582

[5] Wen Bihan, Ravishankar S, Pfister L,et al.Transform learning for magnetic resonance image reconstruction:From mo-del-based learning to building neural networks[J].IEEE Si-gnal Processing Magazine,2020,37(1):41‒53. doi:10.1109/msp.2019.2951469

[6] Zhu Lu, Song Chao, Liu Yuanyuan,et al.Microwave radiation image reconstruction method based on the mixed sp-arse basis dictionary learning[J].Journal of Electronics & Information Technology,2016,38(11):2724‒2730.

[7] 朱路,宋超,刘媛媛,等.基于混合稀疏基字典学习的微波辐射图像重构方法[J].电子与信息学报,2016,38(11):2724‒2730.

[8] Chen Chen, Tramel E W, Fowler J E.Compressed-sensing re-covery of images and video using multihypothesis predictions[C]//Proceedings of the 2011 Conference Record of the Forty Fifth Asilomar Conference on Signals,Systems and Computers(ASILOMAR).Pacific Grove:IEEE,2011:1193‒1198. doi:10.1109/acssc.2011.6190204

[9] Wang Zhangyang, Liu Ding, Chang Shiyu,et al .D 3:Deep dual-domain based fast restoration of JPEG-compressed images[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:2764‒2772. doi:10.1109/cvpr.2016.302

[10] Zhang Jian, Zhao Debin, Gao Wen.Group-based sparse representation for image restoration[J].IEEE Transactions on Image Processing,2014,23(8):3336‒3351. doi:10.1109/tip.2014.2323127

[11] Mallat S G, Zhang Zhifeng.Matching pursuits with time-frequency dictionaries[J].IEEE Transactions on Signal Pr-ocessing,1993,41(12):3397‒3415. doi:10.1109/78.258082

[12] Beck A, Teboulle M.A fast iterative shrinkage-thresholding algorithm for linear inverse problems[J].SIAM Journal on Imaging Sciences,2009,2(1):183‒202. doi:10.1137/080716542

[13] Yu Rui, Liu Yuanyuan, Zhu Lu.Inverse design of high deg-ree of freedom meta-atoms based on machine learning and genetic algorithm methods[J].Optics Express,2022,30(20):35776‒35791. doi:10.1364/oe.472280

[14] Mousavi A, Patel A B, Baraniuk R G.A deep learning approach to structured signal recovery[C]//Proceedings of the 2015 53rd Annual Allerton Conference on Communication,Control,and Computing(Allerton).Monticello:IEEE,2015:1336‒1343. doi:10.1109/allerton.2015.7447163

[15] Kulkarni K, Lohit S, Turaga P,et al.ReconNet:Non-iterative reconstruction of images from compressively sensed measurements[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition(CVPR).Las Vegas:IEEE,2016:449‒458. doi:10.1109/cvpr.2016.55

[16] Fan Zien, Lian Feng, Quan Jiani.Global sensing and measurements reuse for image compressed sensing[C]//Proce-edings of the 2022 IEEE/CVF Conference on Computer Vi-sion and Pattern Recognition(CVPR).New Orleans:IEEE,2022:8944‒8953. doi:10.1109/cvpr52688.2022.00875

[17] Zeng Chunyan, Yan Kang, Wang Zhifeng,et al.Multi-scale generative adversarial network for image compressed sen-sing and reconstruction[J].Journal of Jilin University(Engineering and Technology Edition),2023,53(10):2923‒2931.

[18] 曾春艳,严康,王志锋,等.多尺度生成对抗网络下图像压缩感知重建[J].吉林大学学报(工学版),2023,53(10):2923‒2931.

[19] Yang Yan, Sun Jian, Li Hhuibin,et al.Deep ADMM-Net for compressive sensing MRI[J].Advances in Neural Information Processing Systems,2016,29:1‒9.

[20] Zhong Yuanhong, Zhou Yujie, Zhang Jing,et al.Deep compressive sensing image reconstruction network based on non-local prior[J].Journal of Electronics & Information Technology,2023,45(2):654‒663.

[21] 仲元红,周宇杰,张静,等.基于非局部先验的深度压缩感知图像重构网络[J].电子与信息学报,2023,45(2):654‒663.

[22] Chen Wenjun, Yang Chunling.Feature-space optimization-inspired and self-attention enhanced neural network reconstruction algorithm for image compressive sensing[J].Acta Electronica Sinica,2022,50(11):2629‒2637. doi:10.12263/DZXB.20220155

[23] 陈文俊,杨春玲.图像压缩感知的特征域优化及自注意力增强神经网络重构算法[J].电子学报,2022,50(11):2629‒2637. doi:10.12263/DZXB.20220155

[24] Wang Yinhuai, Hu Yujie, Yu Jiwen,et al.GAN prior based null-space learning for consistent super-resolution[EB/OL].(2022‒11‒24)[2023‒03‒23].doi:10.1609/aaai.v37i3.25372

[25] Wang Yinhuai, Yu Jiwen, Zhang Jian.Zero-shot image restoration using denoising diffusion null-space model[EB/OL].(2022‒12‒01)[2023‒03‒23].

[26] Candes E J, Wakin M B.An introduction to compressive sampling[J].IEEE Signal Processing Magazine,2008,25(2):21‒30. doi:10.1109/msp.2007.914731

[27] Candes E J, Tao T.Decoding by linear programming[J].IEEE Transactions on Information Theory,2005,51(12):4203‒4215. doi:10.1109/tit.2005.858979

[28] Xie Yahong, Wang Hailin, Wang Jianjun.CMCS-net:Image compressed sensing with convolutional measurement via DCNN[J].IET Image Processing,2020,14(15):3839‒3850. doi:10.1049/iet-ipr.2020.0834

[29] Chen Zan, Guo Wenlong, Feng Yuanjing,et al.Deep-learned regularization and proximal operator for image compressive sensing[J].IEEE Transactions on Image Processing,2021,30:7112‒7126. doi:10.1109/tip.2021.3088611

[30] Zhang Jian, Zhao Chen, Gao Wen.Optimization-inspired co-mpact deep compressive sensing[J].IEEE Journal of Selec-ted Topics in Signal Processing,2020,14(4):765‒774. doi:10.1109/jstsp.2020.2977507

[31] Arbeláez P, Maire M, Fowlkes C,et al.Contour detection and hierarchical image segmentation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(5):898‒916. doi:10.1109/tpami.2010.161

[32] Bevilacqua M, Roumy A, Guillemot C,et al.Low-complexity single-image super-resolution based on nonnegative neighbor embedding[C]//Proceedings of the British Machine Vision Conference 2012.Surrey:British Machine Vision Association,2012:1‒10. doi:10.5244/c.26.135

[33] Zeyde R, Elad M, Protter M.On single image scale-up using sparse-representations[C]//Curves and Surfaces.Berlin:Springer Berlin Heidelberg,2012:711‒730. doi:10.1007/978-3-642-27413-8_47

[34] Peng Yang, Tan Hanlin, Liu Yu,et al.Structure prior guided deep network for compressive sensing image reconstruction from big data[C]//Proceedings of the 2020 6th International Conference on Big Data and Information Analytics (BigDIA).Shenzhen:IEEE,2020:270‒277. doi:10.1109/bigdia51454.2020.00050

[35] Zhang Jian, Ghanem B.ISTA-net:Interpretable optimization-inspired deep network for image compressive sensing[C]//Proceedings of the 2018 IEEE/CVF Conference on Comp-uter Vision and Pattern Recognition.Salt Lake City:IEEE,2018:1828‒1837. doi:10.1109/cvpr.2018.00196

[36] Cui Wenxue, Liu Shaohui, Jiang Feng,et al.Image compres-sed sensing using non-local neural network[J].IEEE Transactions on Multimedia,2021,25:816‒830.

[37] Zhang Chaolong, Liu Yuanyuan, Shang Fanhua,et al.A novel learned primal-dual network for image compressive sensing[J].IEEE Access,2021,9:26041‒26050. doi:10.1109/access.2021.3057621

[38] Hu S W, Lin Gangxuan, Lu C S.GPX-ADMM-net:Interpretable deep neural network for image compressive sensing[J].IEEE Access,2021,9:158695‒158709. doi:10.1109/access.2021.3130973

[39] You Di, Zhang Jian, Xie Jingfen,et al.COAST:Controllable arbitrary-sampling network for compressive sensing[J].IEEE Transactions on Image Processing,2021,30:6066‒6080. doi:10.1109/tip.2021.3091834

[40] Zhong Yuanhong, Zhang Chenxu, Ren Fan,et al.Scalable image compressed sensing with generator networks[J].IEEE Transactions on Computational Imaging,2022,8:1025‒1037. doi:10.1109/tci.2022.3224281

[41] Gan Hongping, Gao Yang, Liu Chunyi,et al.AutoBCS:Block-based image compressive sensing with data-driven acquisition and noniterative reconstruction[J].IEEE Transactions on Cybernetics,2023,53(4):2558‒2571. doi:10.1109/tcyb.2021.3127657

[42] Zha Zhiyuan, Wen Bihan, Yuan Xin,et al.Triply compleme-ntary priors for image restoration[J].IEEE Transactions on Image Processing,2021,30:5819‒5834. doi:10.1109/tip.2021.3086049

[43] Canh T N, Jeon B.Multi-scale deep compressive imaging[J].IEEE Transactions on Computational Imaging,2020,7:86‒97. doi:10.1109/tci.2020.3034433

[44] Chen Bin, Zhang Jian.Content-aware scalable deep compressed sensing[J].IEEE Transactions on Image Processing,2022,31:5412‒5426. doi:10.1109/tip.2022.3195319

基金资助

国家自然科学基金项目(61963016)

国家自然科学基金项目(61967007)

江西省重点研发计划重点项目(20201BBF61012)