复杂运动场景下的视频图像湍流抑制

景元萍 ,  胡银记 ,  芦碧波

信阳师范大学学报(自然科学版) ›› 2025, Vol. 38 ›› Issue (02) : 167 -173.

PDF (1107KB)
信阳师范大学学报(自然科学版) ›› 2025, Vol. 38 ›› Issue (02) : 167 -173. DOI: 10.3969/j.issn.2097-583X.2025.02.007
计算机算法与应用

复杂运动场景下的视频图像湍流抑制

作者信息 +

Turbulence mitigation method for complex dynamic scene videos

Author information +
文章历史 +
PDF (1133K)

摘要

针对大多数湍流抑制算法在复杂运动场景下复原效果无法满足需求的现状,提出了一种可适用于运动场景与运动目标的快速高清视频湍流抑制技术。首先,采用基于灰度投影的多级搜索匹配方法完成场景的快速配准;然后,结合结构一致性与清晰度判断,完成运动目标与背景自适应融合,实现湍流扭曲的去除与运动区域的保持;最后,采用基于梯度高斯分布先验的空域复原方法,将复杂的频域复原问题转化为简单的空域滤波,提升图像清晰度的同时,降低计算复杂度。实验结果表明:无论是定量指标还是直接视觉感知结果,均较同类方法具有显著的优势,并且计算复杂度低,具有良好的嵌入式应用前景。

Abstract

Aiming at the current situation where most of turbulence suppression algorithms cannot meet the restoration requirements in complex motion scenes, a fast high⁃definition video turbulence suppression technology applicable to motion scenes and moving targets was proposed. Firstly, a multi⁃level search matching method based on grayscale projection was used to achieve fast scene registration. Then, by combining structural consistency and clarity judgment, the adaptive fusion of moving targets and backgrounds was achieved, achieving the removal of turbulence distortion and the preservation of moving regions. Finally, a spatial domain restoration method based on gradient Gaussian distribution prior was adopted to transform complex frequency domain restoration problems into simple spatial filtering, improving image clarity while reducing computational complexity. Experimental results showed that both quantitative indicators and direct visual perception results had significant advantages over similar methods, and had low computational complexity, making them promising for embedded applications.

Graphical abstract

关键词

大气湍流 / 运动场景 / 图像复原 / 视频图像 / 湍流抑制

Key words

atmospheric turbulence / complex dynamic scene / image restoration / scene videos / turbulence mitigation

引用本文

引用格式 ▾
景元萍,胡银记,芦碧波. 复杂运动场景下的视频图像湍流抑制[J]. 信阳师范大学学报(自然科学版), 2025, 38(02): 167-173 DOI:10.3969/j.issn.2097-583X.2025.02.007

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

远距离成像时,受大气湍流影响,空气介质折射率发生随机改变,导致光传播到探测器后所成图像存在扭曲和模糊,严重影响了成像质量以及后续的高级别视觉任务。湍流退化图像复原在视频监控、航空航天等多个领域均展开了广泛的研究1-3

针对大气湍流导致的图像退化问题,现有的图像处理方式主要分为三大类:第一类是基于幸运区域选择与融合的方法4-5,通过选取每幅短曝光图像中的清晰区域(Luck Region)进行融合来消除大气湍流的影响。其优点是计算简单易于实现,缺点是需要多帧短时曝光图像,不适于长曝光视频处理。第二类是基于深度学习的方法6,通过数据驱动来建立端到端的深度学习网络,实现由退化图像到清晰图像的映射。其优点是可以模拟复杂的退化过程,缺点是实际应用中很难获取成对的退化图像用于网络训练,短期内工程落地难度较大。第三类是基于多帧图像融合的复原方法7,通过多帧配准融合以及图像复原,消除湍流造成的扭曲与模糊。这类方法工程化应用最多,优点是静止场景复原效果较好,缺点是对于动平台、动目标环境,需要复杂的非刚性配准过程,计算复杂度高,且效果不理想。

因此,基于多帧图像融合的湍流抑制方法在复杂运动场景中最大的挑战在于:如何对既包含成像平台移动,又包含湍流扰动和目标运动的复合运动的场景进行配准与融合。针对该问题,一些研究人员通过背景建模来检测图像中的运动区域,并对背景与运动区域采用不同的融合策略来提高复原效果8-9。还有一部分研究人员通过设计非刚性运动估计与配准算法,实现对不同运动量级的检测与补偿10-11。除此之外,由于大气湍流的随机性,使得准确描述和测定点扩散函数成为湍流抑制技术的另一个难点。在不能得到点扩散函数的情况下,一部分学者通过对图像和点扩散函数添加物理或先验知识约束解决图像复原问题的不适定性,后经单/多帧循环迭代求解,估计点扩散函数并获取重建结果12-16

这些方法整体计算过程都比较复杂,有些需要复杂的配准过程、有些需要反复迭代、有些则需要复杂的帧间约束等,并不适合在嵌入式平台中实现。本文从实际应用需求出发,针对复杂运动场景应用需求,开展高清视频快速湍流抑制方法研究,主要创新点包括:

1.针对运动场景应用需求,提出一种基于灰度投影的快速分级匹配算法,可有效防止湍流扭曲对场景配准的干扰,完成运动场景的快速配准。

2.针对动目标应用需求,提出一种基于结构一致性与清晰度的自适应融合方法,通过结构一致性将运动目标与背景进行分离,结合局部清晰度评价参数,计算自适应融合权重,可有效消除湍流引起的几何畸变,防止运动目标拖尾,配准后模糊核具有线性位移不变性,为后续复原重建提供基础。

3.针对快速视频复原需求,提出一种基于梯度高斯分布先验的空域复原方法,通过光学与环境参数构建湍流光学传递函数,结合梯度高斯分布正则化约束,将复杂的频域复原转化为简单的空域滤波,使复原过程更适合于并行化设计与实现。

1 湍流退化模型

大气湍流是一种无序的、非确定性的流体运动,受风速剪切、空气对流以及气温、压强等参数变化,大气折射率随时间和空间随机变化。光在大气介质中传播时,受空气折射率的随机变化,光波振幅和相位随机起伏,导致波前不再是平面而是曲面。对于成像系统而言,湍流导致光线无法聚焦,造成图像几何扭曲与模糊,影响成像质量与探测距离1

1.1 光学传递函数

湍流造成的相位随机起伏会通过光学传递函数对最后的成像质量产生影响。湍流介质中的光学传递函数由两部分构成1

H(f)=Hatmφ(f)Hdif(f),

式中:Hatmφ(f)为大气介质中的传递函数,Hdif(f)为光学系统传递函数。通常设计好的光学系统,其传递函数是确定的,所以大气湍流导致的扭曲与空间可变模糊核主要由传递函数Hatmφ(f)产生。

当传感器的曝光时间较长时,此时的大气传递函数是时域的平均,具体可以表示为:

HLE(f)=E[Hatmφ(f)]=exp(-3.44λdf/r05 /3),

式中:f为空间频率,d为光学系统的焦距,λ为波长,r0为大气相干长度。波前相位φ的空间可变性会导致Hatmφ(f)的空间差异,而长曝光图像是对Hatmφ(f)在一段时间内的平均,所以最终的大气传递函数HLE(f)是空间不变的。

大气湍流是一种非均匀的随机介质,大气折射率的随机起伏造成了波前的瞬时畸变,为了冻结大气湍流引起的瞬时畸变,消除时间的平均效应,通常可以使用0.001~0.010 s甚至更短的曝光时间。大气短曝光的光学传递函数可以表示为:

HSE(f)=E[Hatmφ(f)]=exp(-3.44λd|f|/r05/3(1-αλd|f|/D1/3)),

式中:D为光学系统孔径;α所表示的控制因子在近场传播短曝光中,相位效应占据主导因素,当α=0时,式(3)退化为长曝光传递函数。对于短曝光图像,图像的清晰度要明显优于长曝光图像,如果可以消除瞬时畸变的影响,就可以取得较好的复原结果。

1.2 图像退化模型

引起湍流的物理原因是空气折射率的波动,导致波动的原因非常多且不易测量,但是可以将湍流畸变近似为模糊与畸变两个退化的叠加,退化过程如图1所示。

图1中的模糊退化函数主要由光学系统退化Hdiff)和大气传递退化Hatmf)两部分构成。使用退化函数hijt)将两个模糊退化过程进行合并,同时考虑到湍流诱导的时变几何畸变D以及系统噪声nijt),可以将湍流退化模型简化为:

g(i,j,t)=D[x(i,j,t)*h(i,j,t),t]+n(i,j,t),

式中:D为湍流诱导的时变几何畸变,h为光学系统及传输路径导致的模糊畸变,g为观测到的退化图像,x为原始视频。当D(x)=x(即无几何畸变)时,上述的模型可以简化为通用的图像退化模型:

g(i,j)=x(i,j)*h(i,j)+n(i,j)

此时观测的图像近似为真实图像x(i,j)与线性位移不变模糊h(i,j)的二维卷积,n(i,j)为加性噪声。

根据湍流图像的退化过程,可以将图像复原分解为以下两个步骤:1.消除几何畸变,构建位移不变模糊图像;2.通过线性位移不变模糊核,完成图像复原重建。

2 视频图像去湍流算法设计

2.1 算法总体设计

基于图像退化模型,形成算法总体设计思路如图2所示。首先,针对可能存在平台运动的场景,通过快速场景配准来消除帧间差异,为后续消除几何畸变提供基础。其次,在场景配准的基础上,通过运动区域检出,筛选场景中的运动目标。然后,采用不同的权重对运动目标和背景进行自适应融合,消除几何畸变,构建位移不变模糊核图像。最后,通过求解空域图像复原核h-1(i,j),完成图像去模糊复原。

2.2 快速场景配准技术

现有的场景配准方法大多采用特征点配准,然而湍流场景中,特征点受随机几何畸变的影响,不同点对之间无法构建统一的单应性求解矩阵。为了降低随机扰动的影响,在灰度投影的基础上,通过多级搜索匹配完成场景间的快速配准。

以当前帧为参考图像,相邻帧图像为待配准图像,将当前图像It 与待配准图像It-ii[1,,n]分别向水平和竖直方向上进行灰度投影,计算两者在水平和竖直方向上灰度投影向量间的相关度,具体计算方法为:

R(Vt,Vt-i)=cov(Vt,Vt-i)σ(Vt)σ(Vt-i),

式中:VtVt-i分别是当前图像和待配准图像沿水平或竖直方向的投影向量。固定当前帧的投影Vt,分别设定粗搜索步长与精搜索步长,按照设定的搜索步长移动待配准帧的灰度投影Vt-i,并求解两者之间的相关系数。通过灰度投影,降低了随机扰动对全局位移估计的影响,结合粗细两级搜索,可以快速锁定相关峰值位置,显著降低相关运算的次数,实现场景快速配准。

2.3 基于结构一致性与清晰度的自适应融合

图像配准解决了由于成像平台移动造成的全局差异,帧间对齐后还有湍流导致的随机扭曲和局部目标运动产生局部差异。其中,随机几何扭曲由于它的不确定性,可以通过多帧融合来进行抑制,而局部运动目标则通过结构一致性检测来获取运动区域,并生成运动区域融合系数。结合场景运动速度信息,形成自适应融合方案,以避免多帧图像融合后运动目标拖尾现象的产生。

I(r,t)Ωd表示中心为r=(i,j)d维图像块,Ȋref(r,t)Ωd代表当前帧的图像块,定义结构一致性参数如下:

δG(Δt)=I(r+Δr,t-Δt)-Ȋref(r,t)2,Δt[0,,n],

式中:Δr为上一步计算的配准参数,通过计算帧间图像块与当前帧的差异,来评价局部结构的一致性。

除此之外,对于短曝光图像,相邻帧可以视作冻结了不同条件下的瞬时畸变,受幸运区域思想启发,单幅图像可能存在不受湍流影响的区域。因此,在结构一致性的基础上,引入区域清晰度评价参数如下:

δS(Δt)=GI(r+Δr,t+Δt)2,

式中:G为拉普拉斯算子。使用结构一致性参数与清晰度参数计算融合权重:

ωr,t(Δt)=exp(α·δG(Δt)+β·δS(Δt)),

式中:αβ为权重参数,其中结构一致性权重对局部运动区域会赋以较小的权重,以当前帧为主;而清晰度权重则是对受湍流影响较小的区域,赋以较大的权重,以提高图像的清晰度,融合图像表示为:

Ȋ(r,t)=Δt[0,,n]ωr,tΔt)I(r+Δr,t-Δt)Δt[0,,n]ωr,tΔt)

2.4 基于梯度高斯分布先验的空域复原

大量的研究表明,图像的梯度在大概率情况下,无论是水平还是垂直梯度都近似服从重尾分布,即图像的梯度大都分布近似,且大都分布在 0 或 0 附近17。模拟重尾分布的函数有高斯(L2范数)、拉普拉斯(L0范数)以及超拉普拉斯(Lαα∈[0,1])。为了降低图像去模糊复原的计算复杂度,采用高斯分布构建凸能量泛函复原模型:

minII*K-B2+λI2,

式中:·2表示L2范数,第一项为保真项,用于控制复原图像I继承融合后图像B的真实信息;K为点扩散函数,其频域表达形式可以根据湍流中的光学传递函数来计算;假设梯度呈现高斯分布,第二项为正则约束项,λ为正则约束的权重。根据帕塞瓦尔定理可以得到上式的解析形式解:

F(I)=F¯(K)F¯(K)*F(K)+αF2(Δ)·F(B),

式中:FF¯分别表示傅里叶变换及其共轭,考虑到频域复数运算会增加嵌入式开发的计算复杂度,将频域的点乘转换为时域卷积如下:

I=frestoreB,frestore=F-1F¯(K)F¯(K)*F(K)+αF2(Δ),

式中:F-1为傅里叶反变换,Δ为梯度算子的频谱变换,最终通过求解复原滤波器frestore,将频域复原问题转化到时域,在降低计算复杂度的同时,为嵌入式软件的并行化设计提供可行性。

3 仿真实验与分析

3.1 图像质量评价指标

湍流退化图像通常难以获取高质量对照图像,在对算法进行定量评价时,采用无参考评价指标Tenengrad梯度18来定量评价复原图像的清晰度。除此之外,对于视频序列图像,湍流影响的直接效果是随机扰动,因此本文提出帧间变换保真度指标(inter⁃frame transformation fidelity,ITF),用于衡量相邻帧间图像的稳定性,具体定义如下:

ITF=1Ni=1NPSNR(i,i-1),

式中:PSNR(i,i-1)表示当前图像相对于前一帧图像的峰值信噪比。两幅图像越接近,峰值信噪比越高,而湍流图像随机扰动造成了帧间峰值信噪比的降低,因此ITF指标可以有效表征图像序列的稳定性,ITF越高表示序列越稳定,湍流抑制效果越好。

3.2 仿真结果及分析

算法仿真环境为Intel Xeon W‑2135 CPU@3.7 GHz,采用Matlab 2020b软件进行湍流抑制算法以及图像质量评价算法编写。

3.2.1 定量评价结果

由于ITF是通过计算帧间的PSNR来衡量视频的稳定性,故使用静态场景来计算该评价参数,随机选取一组静态场景计算结果如图3所示。其中,图3(a)是湍流视频中选取的第45帧,图3(b)是湍流抑制后的第45帧,图3(c)是湍流抑制前后的帧间差异。由图3可知,湍流抑制后,图像帧间稳定性显著提升。

使用Tenengrad梯度对湍流抑制前后图像的清晰度进行评价。其中,SS表示静态场景,DT表示运动目标,DS表示运动场景。评价中采用视频序列,每个视频序列包含500帧图像。每个序列的计算结果使用均值±标准方差表示,具体如表1所示。由表1可知,湍流抑制可以显著提升图像的清晰度,对提高成像质量与成像距离具有重要的意义。

3.2.2 定性评价结果

为了验证本文算法对湍流退化图像的复原效果,分别选取静态场景、运动场景、运动目标以及复杂运动场景等对算法进行测试,对比算法为文献[1]中提出的适用于动态场景的湍流抑制方法,试验结果如图4图6所示。

图4是针对静态场景的仿真结果,从左至右分别是湍流图像、文献[1]的处理结果以及本文的仿真结果,可以看到湍流抑制后,两种方法均可以有效地提高图像的成像质量。第二行为第一行红色框选区域对应的放大结果。可以发现,虽然文献[1]可以有效地提升重建细节,但是重建后的细节与真实的细节仍然存在一定的差异,而本文方法可以较好地还原原始的结构信息。

图5是针对静止场景中存在运动目标的仿真结果,从左至右分别是连续的图像序列,从上到下分别是湍流图像、文献[1]处理结果以及本文处理结果。虽然文献[1]提出的算法可以适用于静止和运动场景,但是局部运动目标还是有较为明显的拖尾现象,其对于右侧的建筑物目标,两种方法均可以提升清晰度。

大多数的湍流抑制算法都是针对相对静止的场景,对于包含运动目标的运动场景而设计的比较算法较少,由于未找到合适的比较算法,故只对本文的处理结果进行展示。图6是复杂运动场景的湍流抑制结果,可以看到湍流抑制在提升图像分辨率的同时,当前图片中的运动区域得到了较好地保留。

3.2.3 计算复杂度评价

本文算法设计的出发点是为了嵌入式平台开发,所以对算法的时效性进行了测量,算法仿真环境为Intel Xeon W⁃2135 CPU@3.7 GHz,分别测试了两种不同尺寸的视频序列,平均计算时间如表2所示,针对运动场景,本文算法在CPU上的计算时间在毫秒级别,相对对比算法处理速度显著提升。算法在具体实施过程中,指数运算通过查找表进行加速,主要模块都是乘加运算,满足在嵌入式平台中实现的需求。

4 结论

提出了一种可适用于运动场景与运动目标的快速高清视频湍流抑制方法。首先,通过基于灰度投影的多级搜索匹配方法,实现运动场景的快速配准。其次,采用基于结构一致性与清晰度的自适应融合方法,完成背景与运动区域的自适应融合,在消除湍流造成图像扭曲的同时,保证运动区域无拖尾现象。最后,通过梯度高斯分布先验构建图像复原目标函数,将复杂的频域复原问题转化为简单的空域滤波,显著降低了计算复杂度。实验证实,无论是定量指标、视觉感知,还是计算效率,均较同类方法具有显著的优势,具备嵌入式平台实现可行性,具有较好的应用前景。

参考文献

[1]

MAO ZhiyuanCHIMITT NCHAN S H. Image reconstruction of static and dynamic scenes through anisoplanatic turbulence[J]. IEEE Transactions on Computational Imaging20206(10): 1415⁃1428.

[2]

周海蓉, 田雨, 饶长辉. 稀疏先验型的大气湍流退化图像盲复原[J]. 光电工程202047(7): 1⁃9.

[3]

ZHOU HairongTIAN YuRAO Changhui. Blind restoration of atmospheric turbulence degraded images by sparse prior model[J]. Opto⁃Electronic Engineering202047(7): 1⁃9.

[4]

ARCHER G EBOS J PROGGEMANN M C. Comparison of bispectrum,multiframe blind deconvolution and hybrid bispectrum multiframe blind deconvolution image reconstruction techniques for anisoplanatic, long horizontal-path imaging[J]. Optical Engineering201453(4): 043109.

[5]

FRIED D L. Probability of getting a lucky short⁃exposure image through turbulence[J]. Journal of the Optical Society of America197868(12): 1651⁃1658.

[6]

鲁啸天, 杨天鸣, 金伟其, . 水面波动和水体湍流退化图像的复原方法[J]. 应用光学201738(1): 42⁃55.

[7]

LU XiaotianYANG TianmingJIN Weiqiet al. Correction methods for water fluctuation and underwater turbulence degraded imaging[J]. Journal of Applied Optics201738(1): 42⁃55.

[8]

LAU C PCASTILLO C DCHELLAPPA R. ATFace⁃GAN: Single face semantic aware image restoration and recognition from atmospheric turbulence[J]. IEEE Transactions on Biometrics, Behavior, and Identity Science20213(2): 240⁃251.

[9]

ZHU XiangMILANFAR P. Removing atmospheric turbulence via space‑invariant deconvolution[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201335(1): 157⁃170.

[10]

HALDER K KTAHTALI MANAVATTI S G. Geometric correction of atmospheric turbulence⁃degraded video containing moving objects[J]. Optics Express201523(4): 5091⁃5101.

[11]

OREIFEJ OLI XinSHAH M. Simultaneous video stabilization and moving object detection in turbulence[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201335(2): 450⁃462.

[12]

ANANTRASIRICHAI NACHIM AKINGSBURY N Get al. Atmospheric turbulence mitigation using complex wavelet‑based fusion[J]. IEEE Transactions on Image Processing: A Publication of the IEEE Signal Processing Society201322(6): 2398⁃2408.

[13]

NIEUWENHUIZEN RDIJK JSCHUTTE K. Dynamic turbulence mitigation for long‑range imaging in the presence of large moving objects[J]. EURASIP Journal on Image and Video Processing20192(2): 1⁃22.

[14]

邵慧, 汪建业, 徐鹏, . 基于时域特性的多帧湍流退化图像复原算法[J]. 激光与光电子学进展201350(12): 47‑55.

[15]

SHAO HuiWANG JianyeXU Penget al. Multiframe turbulence‑degraded image restoration method based on temporal signature[J]. Laser & Optoelectronics Progress201350(12): 47‑55.

[16]

邵慧, 汪建业, 王亮, . 基于循环迭代的多帧湍流退化图像复原算法[J]. 激光与光电子学进展201451(7): 41‑48.

[17]

SHAO HuiWANG JianyeWANG Lianget al. Multiframe turbulence⁃degraded image restoration algorithm based on circulate iteration[J]. Laser & Optoelectronics Progress201451(7): 41⁃48.

[18]

朱瑞飞, 魏群, 王超, . 基于随机点扩散函数的多帧湍流退化图像自适应复原方法[J]. 中国光学20158(3): 368⁃377.

[19]

ZHU RuifeiWEI QunWANG Chaoet al. Adaptive restoration method of multi⁃frame turbulence⁃degraded images based on stochastic point spread function[J]. Chinese Optics20158(3): 368⁃377.

[20]

HARDIE R CRUCCI M ADAPORE A Jet al. Block matching and Wiener filtering approach to optical turbulence mitigation and its application to simulated and real imagery with quantitative error analysis[J]. Optical Engineering201756(7): 071503.

[21]

CHO SLEE S. Fast motion deblurring[J]. ACM Transactions on Graphics200928(5): 1⁃8.

[22]

PAN JinshanHU ZheSU Zhixunet al. L0⁃regularized intensity and gradient prior for deblurring text images and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence201739(2): 342⁃355.

[23]

严锦雯, 贾星伟, 隋国荣, . 图像清晰度评价函数的研究[J]. 光学仪器201941(4): 54⁃58.

[24]

YAN JinwenJIA XingweiSUI Guoronget al. Study on image definition evaluation function[J]. Optical Instruments201941(4): 54⁃58.

基金资助

国家自然科学基金项目(42272178)

航空科学基金项目(2022Z015013002)

2022年度河南省重点研发与推广专项(科技攻关)项目(222102210131)

AI Summary AI Mindmap
PDF (1107KB)

508

访问

0

被引

详细

导航
相关文章

AI思维导图

/