基于推扫式的动态互补压缩成像方法

查长军 ,  陶开星 ,  刘悦 ,  赵茂俞 ,  董海燕

吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (04) : 1436 -1442.

PDF (2201KB)
吉林大学学报(工学版) ›› 2025, Vol. 55 ›› Issue (04) : 1436 -1442. DOI: 10.13229/j.cnki.jdxbgxb.20241379
通信与控制工程

基于推扫式的动态互补压缩成像方法

作者信息 +

Dynamic complementary compressive imaging method based on push-sweep mode

Author information +
文章历史 +
PDF (2253K)

摘要

传统的单像素压缩成像系统在获取测量值时,要求目标与成像系统保持相对静止状态;否则,重构出的图像存在模糊或完全失真。针对这一问题,本文提出了一种基于推扫式的动态互补压缩成像方法。该方法利用单列数字微镜器件来调制前景图像,采用2个独立的单像素传感器分别获取数字微镜装置反射的两路光信号,按列获取前景目标图像的压缩测量值,并给出动态压缩成像的恢复模型;然后,基于该模型,采用传统的算法重构出目标图像。与传统的重构结果不同的是,每条光路能够同时重构出2个目标图像。为提高重构图像质量,本文给出了一种基于多通道图像融合的质量增强方法。实验仿真与结果分析表明:本文提出的动态互补压缩成像系统不仅能有效地重构出前景图像,而且系统移动速度在一定范围内变化时,并不影响输出的图像质量,具有良好的鲁棒性。

Abstract

When a traditional single-pixel compressive imaging system obtains measurement values, if the relative placement of the foreground target and imaging system is not static, the reconstructed image is blurred or completely distorted. To solve this problem, a dynamic complementary compressive imaging method based on a complementary mode is proposed. In this method, a single-column digital micro-mirror device is used to modulate the foreground image, two independent single-pixel sensors are used to obtain two optical signals reflected by the digital micro-mirror device, and the compressive measurement values of the foreground target image are obtained column by column, using the recovery mode of the dynamic compressive imaging is obtained;then based on this recovery mode, the traditional algorithm reconstructs the target image. In contrast to the results of traditional reconstruction, the results of each optical channel can be used to reconstruct two target images simultaneously. To improve the quality of the reconstruct image, this paper presents a quality enhancement method based on multi-channel image fusion. The results of simulation experiments show that the proposed dynamic complementary compressive imaging system not only can effectively reconstruct the foreground image, but the quality of the output image is not affected when the moving speed of the system changes within a certain range, demonstrating the good robustness of the system.

Graphical abstract

关键词

压缩感知 / 动态压缩成像 / 图像质量增强 / 叠加平均算法

Key words

compressive sensing / dynamic compressive imaging / image quality enhancement / overlapping average algorithm

引用本文

引用格式 ▾
查长军,陶开星,刘悦,赵茂俞,董海燕. 基于推扫式的动态互补压缩成像方法[J]. 吉林大学学报(工学版), 2025, 55(04): 1436-1442 DOI:10.13229/j.cnki.jdxbgxb.20241379

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

压缩感知(Compressive sensing,CS)理论是利用信号的结构性和低秩性以低于奈奎斯特速率的速率对完整的连续信号进行采样和重构1-3,它突破了传统采样过程的限制。压缩成像(Compressive imaging,CI)是压缩传感理论中的一个重要课题4,通过少量测量获得高分辨率图像。这种成像系统不仅降低了对采样设备的要求,还减轻了数据存储和传输的负担,提高了资源利用率。由于这些优点,压缩感知在医学成像、光学雷达成像和无线通信领域得到了广泛的研究5-7

目前,压缩成像的研究大多局限于静态系统,其中最具代表性的研究成果是单像素相机89。该相机利用数字微镜装置(Digital micro-mirror device,DMD)和单个传感器实现了前景目标的压缩与采样。然而,该方法也存在明显不足,即在完成压缩采样前,目标与相机之间必须保持相对静态或运动变化很小;否则,重构出的目标图像质量较差。

为了实现动态目标的压缩采样,现有研究更多的是利用视频帧之间的相关性,结合不同应用场景,建立不同的重构模型。譬如:Phillips等10和Kravets等11采用连续视频帧之间的运动估计来恢复低帧速率的高质量重建图像;Tong等12结合红外玫瑰扫描系统特点,分析了不同系统运动场景下相邻目标图像与场景的关系,基于这些关系建立了动态压缩成像模型;Jiao等13利用目标运动类型的先验知识,通过建立目标运动模型,解决了动态压缩采样问题;刘金华等14针对动态磁共振图像重构的伪影问题,提出了一种基于低秩和稀疏分解的重建模型;杨春玲等15利用静态与动态域先验知识,提出了一种基于静态与动态域先验增强的两阶段视频压缩感知重构网络。尽管这些方案在一定程度上解决了一些动态压缩成像问题,但仍是针对多帧图像进行处理;对于动态压缩成像中单帧图像的运动估计和图像质量增强的研究目前较少,尤其是亚像素偏移的动态成像系统鲜有报道。

本文结合已有研究成果,提出了一种基于互补的动态成像系统。与现有的动态成像系统不同的是,该系统采用线性阵列DMD,按列获取前景图像的压缩测量值,并结合目标图像多通道重构的特点,给出了一种基于多通道图像融合的质量增强方法。

1 压缩感知基本理论

假设一个实值、长度为N的一维稀疏信号xRΝ,可以表示成一组稀疏基ΩRN×N的线性组合:

x=Ωθ

若向量θRN中仅有K(KN)个非零值,则称θxK稀疏表示11617。对于稀疏信号重构问题,在已知测量矩阵ΦRM×N(MN)和该矩阵下的线性测量向量yRM时,可以通过计算最小化问题估计θ11617,即:

θ=argminθ1s.t.y=ΦΩθ

通过满足最小l1范数的系数向量θ即可重构出原始信号,即:

x=Ωθ

在实际中,考虑到各种误差的影响,式(2)可以改写为:

θ=argminθ1,s.t.y-ΦΩθ2ε

式中:ε为允许误差1718

2 动态互补压缩成像

2.1 成像系统方案

动态互补压缩成像系统原理框图如图1所示。该系统由压缩采样、重构及图像融合3部分组成。系统的压缩采样部分主要由成像透镜、聚光镜1和聚光镜2、单列DMD、检测器1和检测器2组成。通过推扫模式获取前景图像的压缩测量值。根据文献[1920]可知,由于存在0和1两种状态,因此存在两路被调制光,其中任意一路均可重构出前景图像。为输出高质量重构图像,系统充分利用各光路信息,对所有重构图像进行融合。

2.2 动态成像恢复模型

假设前景图像为Χ=x1,x2,,xNRN×N,现利用测量矩阵ΦRM×N(MN),对图像Χ的第i列向量xi=x1,ix2,i    xN,iTRN进行压缩采样。根据DMD的工作原理,DMD中的每个微镜均具有0和1两种工作状态;当目标场景通过成像透镜入射到DMD上时,处于状态1的微镜会将调制后的光线反射至光路1方向;而另一部分光线则通过处于状态0的微镜反射至光路2方向。

为了便于分析,以光路1为例进行说明。在静态压缩成像系统中,光路1的第i列向量压缩测量值可以表示为yi=Φxi,即:

yi=y1,iyM,i=Φxi=ϕ11ϕ1NϕM1ϕMNx1,ixN,i=ϕ1ϕMxi

式中:yiRM(MN)ϕm=ϕm1ϕm2ϕmN

RN(1mM)

在动态成像系统中,如图2所示,由于测量矩阵Φ的每一行ϕm并未对前景图像的同一列进行采样,每次采样均存在一定的偏差,从而导致重构的目标图像质量较差。为解决这一问题,需要对传统的恢复模型进行改进。

假设DMD微镜大小为a×a,前景图像在DMD上的平均移动速度为v,系统的采样频率为f,则每次抽样时,前景图像相对于DMD的移动距离为:

s=v/f

定义相对位移比p为:

p=s/a

若前景图像相邻两列x1x2RN,在获取向量x1的压缩测量值y1=y1,1y2,1    yM,1TRM时,根据式(5),第1个值y1,1可以表示为:

y1,1=ϕ1x1

当获取第M个测量值时,单列DMD与第1列像素之间的相对位移为:

sM=(M-1)s

此时,获取的压缩测量值包含向量x1和向量x2两部分,其表达式为:

yM,1=ϕMa-sMax1+ϕMsMax2=ϕM1-M-1px1+ϕMM-1px2=1-M-1pM-1pϕM00ϕMx1x2

通过收集所有的测量值,得到的测量值向量为:

y1=y1,1yM,1=Ψx1x2

式中:ΨRM×2N

Ψ=10φ100φ11-(M-1)p(M-1)pφΜ00φΜ

因此,可以进一步推导出前景图像第i列的测量值yi为:

yi=Ψxixi+1

结合式(2)式(13),可以构建出动态压缩成像恢复模型为:

θ=argminθ1,s.t.yi=ΨΩθyi=Ψxixi+1

式中:Ψ为新的测量矩阵。

式(14)表明,新的恢复模型与传统压缩感知恢复模型相似,其中Ψ可视为新的测量矩阵,因此可以采用正交匹配追踪等传统重构算法1721来恢复目标图像。此外,相邻的两个列向量可以同时重构。若将所有列向量按序组合,则可得到上下2幅目标图像,如图3所示。

对于光路2,其过程与上述描述相同。与光路1不同的是,光路2的测量矩阵Φ-中每个元素的取值与矩阵Φ正好相反,即:

Φ-=JMXN-Φ

式中:JMXN为维数是M×N的全1矩阵。

2.3 参数分析

式(10)表明,当目标图像存在相对位移时,每个测量值均包含2个相邻的目标图像向量;参数Mp的取值直接影响这些向量在测量值中所占的比例,进而影响重构图像的质量。其结果可分为以下3种情况:

(1)当1-M-1p=M-1p时,即:

p=12M-1

向量x1x2在测量值yM,1中所占比例相同,因此重构图像的上、下两部分质量几乎相同。

(2)当1-M-1p>M-1p时,即:

p<12M-1

向量x1在测量值yM,1中所占比例较大,因此重建图像的上半部分质量优于下半部分。

(3)当1-M-1p<M-1p时,即:

p>12M-1

向量x2在测量值yM,1中所占比例较大,因此重建图像的下半部分质量优于上半部分。

3 多通道图像融合

上述分析表明,每条光路均可重构2幅目标图像。为充分利用各光路的图像信息,采用叠加平均算法22对所有图像进行融合,以提高输出图像的信噪比SNR。该过程如图4所示。

假设光路1重构图像的上半部分为γ1,下半部为γ2;光路2的上半部分为γ3,下半部分为γ4。由于γ1γ2之间存在一个像素的位移,且γ3γ4之间同样存在一个像素的位移,因此在使用叠加平均算法之前,需对重构图像进行预处理与对齐操作。将γ1的列向量x1插入γ2中,并将γ2的列向量xN插入γ1中。此外,γ3γ4亦采用相同方式进行处理,如图5所示。

若预处理后的每个信号分别为g1(m,n)g2(m,n)g3(m,n)g4(m,n),其可进一步表示为:

g1(m,n)=f1(m,n)+e1(m,n)g2(m,n)=f2(m,n)+e2(m,n)g3(m,n)=f3(m,n)+e3(m,n)g4(m,n)=f4(m,n)+e4(m,n)

式中:fi(m,n)原始图像为1i4ei(m,n)信随机白噪声为随机白噪声1i4。对式(19)进行叠加平均后,得到的融合图像如下:

g(m,n)=14i=14gi(m,n)=14i=14fi(m,n)+14i=14ei(m,n)

由于fi(m,n)为重复性的信号,即:

f1(m,n)=f2(m,n)=f3(m,n)=f4(m,n)

根据叠加平均算法的原理,在这种情况下,输出图像g(m,n)的信噪比达到最大值,即:

g(m,n)=14i=14gi(m,n)=fi(m,n)+14i=14ei(m,n)

4 实验仿真与结果分析

为评估动态成像恢复模型及其参数对重构图像质量的影响,进行了仿真实验,结果如图6所示。当M一定时,随着p的增大,测量值中包含的下一列向量信息增多,动态成像系统中所有光路重构的图像上半部分质量会变差,而下半部分则相反。当使用传统成像恢复模型重建目标图像时,随着参数p的增大,重建图像质量持续下降。图7通过重构图像的峰值信噪比(Peak signal-to-noise ratio,PSNR)进一步验证了上述结果。

实验结果表明:本文提出的动态成像系统能够有效恢复目标图像,而且当成像系统的运动速度在一定范围内变化时,始终能够获得质量较好的目标图像,这降低了对系统运动速度的限制,更具实用性。

为评估图像增强效果,本文采用PSNR来衡量图像融合前后的性能,结果如图8所示,融合图像的PSNR显著高于未融合图像。此外,即使相对位移比p发生较大变化,融合图像的PSNR也几乎保持不变。实验结果进一步表明,系统运动速度的动态变化不会影响融合图像的质量,且采用融合方案的成像系统具有更好的鲁棒性。

在满足式(16)的前提下,本文进一步分析了参数M对输出图像的影响,并与传统成像系统的结果进行了性能对比,其结果如表1所示。结果表明,当测量次数M一定时,各光路图像与传统成像系统的PSNR几乎相等;随着测量次数M的增加,PSNR也随之提高;但是,融合后的图像质量明显优于融合前,且PSNR至少提高了2 dB。

5 结束语

本文针对传统压缩成像系统存在的问题及DMD的工作特性,提出了一种基于推扫式的动态互补压缩成像系统。与传统成像系统相比,该系统充分利用了DMD的双路调制光学信息,并采用叠加平均算法对多幅图像进行融合,以提高输出图像质量。仿真结果表明,该系统不仅实现了动态压缩成像,还克服了运动速度动态变化对输出图像质量的影响,具有良好的鲁棒性。

参考文献

[1]

Donoho D L. Compressed sensing[J]. IEEE Transactions on Information Theory, 2006, 52(4):1289-1306.

[2]

Haupt J, Nowak R. Compressive Sampling for Signal Detection[C]∥IEEE International Conference on Acoustics, Speech and Signal Processing, Honolulu, USA, 2007: 1509-1512.

[3]

Candes E J, Wakin M B. An introduction to compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2):21-30.

[4]

Duarte M F, Davenport M A, Takhar D, et al. Single-pixel imaging via compressive sampling[J]. IEEE Signal Processing Magazine, 2008, 25(2): 83-91.

[5]

Wang L, Li W, Huang Z, et al. A Nautilus bionic multi-information fusion compressed-sensing acoustic imaging device[J]. Cell Reports Physical Science, 2023, 4(12): 1-21.

[6]

Shimobaba T, Endo Y, Nishitsuji T, et al. Computational ghost imaging using deep learning[J]. Optics Communications, 2018, 413: 147-151.

[7]

Liu S, Hu X, Lin W Z, et al. Terahertz compressed sensing imaging based on line array detection[J]. Optics and Lasers in Engineering, 2023,168:No.107685.

[8]

Zhao Z, Yu Z, Qi H, et al. Redundant compressed single-pixel hyperspectral imaging system[J]. Optics Communications, 2023, 546: No.129797.

[9]

Zhu X T, Li Y, Zhang Z B, et al. Adaptive real-time single-pixel imaging[J]. Optics Letters, 2024, 49(4): 1065-1068.

[10]

Phillips D B, Sun M J, Taylor J M, et al. Adaptive foveated single-pixel imaging with dynamic supersampling[J]. Science Advances, 2017, 3(4):No.1601782.

[11]

Kravets V, Stern A. Video compressive sensing using russian dolls ordering of hadamard basis for multi-scale sampling of a scene in motion using a single pixel camera[J]. Computational Imaging III:International Society for Optics and Photonics, 2018:No.2304594.

[12]

Tong Q, JiangY, Wang H, et al. Image reconstruction of dynamic infrared single-pixel imaging system[J]. Optics Communications, 2018, 410: 35-39.

[13]

Jiao S M. Motion estimation and quality enhancement for a single image in dynamic single-pixel imaging[J]. Optics Express, 2019, 27(9): 12841-12854.

[14]

刘金华, 吴佳韵, 饶云波, 融合小波框架和低秩的动态磁共振图像重建新思路[J]. 电子测量与仪器学, 2024, 38(7): 55-63.

[15]

Liu Jin-hua, Wu Jia-yun, Rao Yun-bo, et al. New method for dynamic magnetic resonance image reconstruction combining wavelet frame and low-rank[J]. Journal of Electronic Measurement and Instrumentation, 2024, 38(7): 55-63.

[16]

杨春玲, 梁梓文. 静态与动态域先验增强的两阶段视频压缩感知重构网络[J]. 电子与信息学报, 2024, 46(11): 4247-4258.

[17]

Yang Chun-ling, Liang Zi-wen. Static and dynamic-domain prior enhancement two-stage video compressed sensing reconstruction network[J]. Journal of Electronics and Information Technology, 2024, 46(11): 4247-4258.

[18]

Quach K G, Duong C N, Luu K, et al. Non-convex online robust PCA: Enhance sparsity via ℓp-norm minimization[J]. Computer Vision and Image Understanding, 2017, 158:126-140.

[19]

陈平平, 陈家辉, 王宣达, Dice系数前向预测的快速正交正则回溯匹配追踪算法[J]. 电子与信息学报, 2024, 46(4): 1488-1498.

[20]

Chen Ping-ping, Chen Jia-hui, Wang Xuan-da, et al. Regular backtracking fast orthogonal matching pursuit algorithm based on dice coefficient forward prediction[J]. Journal of Electronics and Information Technology, 2024, 46(4): 1488-1498.

[21]

Needell D, Vershynin R. Signal recovery from incomplete and inaccurate measurements via regularized orthogonal matching pursuit[J]. Journal of Selected Topics in Signal Processing, 2010, 4(2): 310-316.

[22]

Li Y H, Wang X D, Wang Z, et al. Modeling and image motion analysis of parallel complementary compressive sensing imaging system[J]. Optics Communications, 2018,423:100-110.

[23]

Yu W, Liu X, Yao X, et al. Complementary compressive imaging for the telescopic system[J]. Scientific Reports, 2015, 4(1):1-6.

[24]

王玺, 梁文凯, 杨虹, 权重化QR分解的正交匹配追踪算法硬件实现[J]. 电子学报, 2024, 52(5):1534-1542.

[25]

Wang Xi, Liang Wen-kai, Yang Hong, et al. Hardware implementation of orthogonal matching pursuit algorithm for weighted QR decomposition[J]. Acta Electronica Sinica, 2024, 52(5): 1534-1542.

[26]

Shuo Z. The LabView implement of synchronization overlapping average algorithm to suppress noise[J]. Journal of North China Electric Power University, 2009, 36(4): 73-76.

基金资助

安徽省高校科学研究重点项目(22020723039)

安徽省高校协同创新项目(GXXT-2022-016)

合肥市自然科学基金项目(2022025)

AI Summary AI Mindmap
PDF (2201KB)

280

访问

0

被引

详细

导航
相关文章

AI思维导图

/