基于物理先验引导的记忆增强视频去雾算法

Memory Enhancement Video Dehazing Algorithm Based on Physics⁃Prior Guidance

摘要

针对现有的深度学习视频去雾算法无法有效地从长序列视频中学习一致性先验特征， 导致了恢复视频时雾霾残留和连续性差的问题， 本文提出了一种物理先验引导的记忆增强视频去雾算法。首先， 设计了物理先验记忆保存模块， 该模块采用密集连接和残差结构来保留空间显著信息， 融合多层次特征以增强物理雾霾先验， 并将增强后的物理雾霾先验编码为长期记忆。其次， 针对传统记忆机制的局限性， 对记忆存储读取机制进行了改进， 将先验特征记忆解耦为键记忆特征（Key Memory）和值记忆特征（Value Memory）， 并设计了记忆增强物理先验引导模块。该模块通过计算当前帧的关键先验特征与键记忆矩阵的相似性， 动态指导注意力机制从值记忆中提取关联特征增强当前帧先验特征， 从而生成一致性更好且全局推理能力更强的先验特征。最后， 在多范围时序对齐网络框架（Multi-Range Temporal Alignment Network with Physical Prior， MAP-Net）嵌入物理先验记忆保存模块和记忆增强物理先验引导模块来实现整体算法。实验结果表明， 与次优算法相比， 本文所提算法在HazeWorld和REVIDE数据集上的峰值信噪比（PSNR）分别提升了0.71 dB和0.14 dB， 结构相似性（SSIM）分别提升了0.006 1和0.006 7。本文所提方法不仅有效消除了颜色失真和残余雾霾， 提高了视觉真实感， 而且在NVIDIA Tesla P100 GPU上实现了11 帧/s的实时处理。

Abstract

To address the limitations of existing deep learning-based video dehazing algorithms in effectively learning consistent prior features from long video sequences， which leads to residual haze and poor continuity in restored videos， this paper proposed a physics-prior guided memory-enhanced video dehazing algorithm. Firstly， a physics prior memory preservation module was designed. This module employed dense connections and residual structures to preserve spatial salient information， fused multi-scale features to enhance the modeling of physical haze priors， and encoded the enhanced priors into long-term memory. Secondly， to overcome the limitations of traditional memory mechanisms， we innovatively reformed the memory storage approach by decoupling the prior feature memory into key memory features and value memory features. Additionally， we designed a memory-enhanced physics-prior guidance module. This module dynamically guided the attention mechanism to extract correlated features from the value memory by calculating the similarity between the current frame’s key prior features and the key memory matrix， thereby enhancing the prior features of the current frame. This process generated prior features with better spatiotemporal consistency and stronger global reasoning capabilities. Finally， the proposed framework， termed Multi-Range Temporal Alignment Network with Physical Prior （MAP-Net）， integrated the physics prior memory preservation module and the memory-enhanced physics prior guidance module. The experimental results show that compared with the suboptimal algorithm， the peak signal-to-noise ratio （PSNR） of the proposed algorithm improves by 0.71 dB and 0.14 dB， and the structural similarity （SSIM） improves by 0.006 1 and 0.006 7 on HazeWorld and REVIDE datasets， respectively. The proposed method not only eliminates the color distortion and the residual haze effectively to improve the visual realism， but also achieves 11 frame/s real-time processing on the NVIDIA Tesla P100 GPU.

Graphical abstract

关键词

视频去雾 / 物理先验 / 记忆增强 / 图像处理 / 神经网络 / 深度学习

Key words

video dehazing / physics-prior / memory enhancement / image process / neural network / deep learning

0 引　言

随着智慧交通、 智能安防等领域的迅速发展， 视频作为一种重要的信息载体， 其应用日益广泛。然而， 在实际应用中， 视频拍摄环境往往受到浓雾、 雾霾等天气条件的影响， 导致视频的质量和可用性下降。因此， 视频去雾研究受到了广泛关注。

近年来， 研究者们提出了多种方法以减少雾霾残留并增强视频去雾结果的连续性 。例如， Zhou等^［1］通过引入反馈结构和注意力机制的残差块， 利用中间层特征相关性提升了去雾效果； Galshetwar等^［2］结合多感受野和空间注意力模块， 显著改善了视频去雾性能； Han等^［3］通过多尺度注意力和空洞卷积来融合时空特征以提升去雾效果； Wu等^［4］结合了视差注意力和运动对齐机制进行立体视频去雾； Xu等^［5］通过结合物理先验知识和场景时序信息进行去雾。一些基于物理先验的视频去雾算法则利用图像的物理特性， 在后处理阶段优化视频去雾效果^［6‐8］。

尽管上述方法在一定程度上提升了视频去雾的效果， 但这些方法仍然存在一些问题： 1） 一些深度学习视频去雾算法忽视了物理先验的重要性， 限制了去雾效果； 2） 由于雾气在图像中分布不均， 不同区域的浓度和影响各异， 传统的注意力机制在增强先验特征时可能会破坏原始图像的空间结构特征， 从而导致去雾效果不佳； 3） 这些方法在处理时间特征时， 通常假设各相邻帧的重要性相同或遵循固定的计算模式， 这忽视了帧间差异和环境（如雾气）的动态变化， 可能导致时间依赖性的损失和帧间关系的过度简化， 进而限制了模型的表达能力。

为解决上述算法存在的问题， 本文提出了一种基于物理先验引导的记忆增强视频去雾算法。该算法是通过在多范围时序对齐网络框架^［5］（Multi-Range Temporal Alignment Network with Physical Prior， MAP-Net）内嵌入本文设计的物理先验记忆保存模块和记忆增强物理先验引导模块来实现。其中， 物理先验记忆保存模块采用密集连接和残差结构来保留原始特征空间结构， 增强先验特征， 并将增强后的先验特征编码至长期记忆中。针对传统记忆机制的局限性， 对记忆存储读取机制进行了改进， 将先验特征解耦为键记忆特征（Key Memory）和值记忆特征（Value Memory）， 并设计了记忆增强物理先验引导模块。该模块通过计算当前帧的关键先验特征与键记忆矩阵的相似性， 动态指导注意力机制从值记忆中提取关联特征增强当前帧先验特征， 从而实现远距离历史帧信息对当前帧先验特征的有效增强。这种设计显著提升了物理先验特征的全局推理能力， 优化了时间特征的利用， 使得场景恢复更准确， 视频连续性更好。

1 相关工作

1.1 基于先验的视频去雾方法

基于先验的视频去雾方法通常基于大气散射模型（如大气单次散射模型）， 依赖大量的数据统计得出的先验或者假设来估计图像参数（如透射率图和大气光）， 从而恢复清晰的图^［6‐8］。这些方法主要集中在后处理阶段， 通过更准确地预测物理先验并抑制伪影， 从而增强还原质量^［6‐8］， 但受到物理模型精度、 先验知识的表现力以及参数估计误差的限制， 泛化能力不足。同时， 这些方法通常通过堆叠相邻帧或特征来提高去雾视频的时间连贯性， 但在长视频中却难以实现全局物理先验的推理。

1.2 基于深度学习的视频去雾方法

随着深度学习的兴起， 诸多基于卷积神经网络的方法相继问世。Dong等^［9］提出的 MSBDN通过多尺度特征增强机制， 结合编码器-解码器结构， 有效处理了不同尺度的特征， 从而提升了去雾效果和细节表现。FFA-Net^［10］的端到端去雾网络将通道注意力和像素注意力用于去雾， 并在合成数据集上取得了较好的去雾效果。大多数现有的去雾方法中使用传统的卷积来提取特征， 忽略了物理先验知识。然而， 普通深度学习网络是在没有任何约束的情况下搜索广阔的解决方案空间， 这在某种程度上可能会限制表达能力。最近， Xu等^［5］通过先验解码器和场景解码器实现了特征解耦， 从而将先验信息嵌入到模型中， 该方法取得了一定的效果。最近， 研究者们将注意力机制引入了视频去雾算法中， 以更有效地学习相关特征。比如DEA-Net^［11］利用先验知识指导模型更好地恢复图像细节。但是， 在先验特征的学习过程中， 因为雾霾物理先验特征（如透射率图和大气光）对图像的每个部分并非均匀分布， 所以传统的注意力机制可能会扰乱原始特征的空间结构， 导致先验信息的部分丧失， 使得先验特征的有效利用变得更加困难。

2 本文方法

2.1 改进思想

针对现有深度学习视频去雾算法中忽视物理先验的重要性， 以及传统注意力机制在处理非均匀分布雾气时可能会破坏原始先验特征空间结构的问题， 受残差注意力去雾思想^［12］的启发， 本文设计了一种物理先验记忆保存模块， 该模块能够保持先验特征的原有空间结构， 融合不同尺度的特征以增强先验特征的表征能力， 并将其编码至长期记忆中。针对现有方法在长序列动态场景中难以学习到全局一致性先验导致伪影连续性差的问题， Xu等^［5］通过在视频去雾领域引入记忆存取机制， 实现先验特征在长序列视频中的全局推理。但是， 该方法假设所有输入帧对当前帧的贡献是等价的， 忽略了不同帧之间潜在的重要性差异， 限制了模型效果。因此， 本文通过对MAP-Net^［5］记忆增强机制进行改进， 提出了记忆增强物理先验引导模块。该模块通过动态指导注意力机制， 实现了对当前帧先验特征的记忆增强， 强化了先验信息的全局推理能力和一致性。最后， 通过在MAP-Net框架^［5］内嵌入物理先验记忆保存模块和记忆增强物理先验引导模块来实现整体算法。

2.2 网络整体结构

图 1 展示了本文所提网络的整体结构。该算法使用ConvNeXt^［5］主干网络作为特征编码器以提取多尺度输入特征。首先， 输入特征通过物理先验记忆保存模块获得增强后的先验特征并将其压缩成先验记忆令牌保存到本地作为长期记忆。然后， 记忆增强物理先验引导模块通过计算当前帧先验特征与长期记忆的相似性权重， 指导注意力机制利用历史帧的记忆信息增强当前帧的先验特征， 并生成先验引导的场景特征。最后， 将这些特征输入到多尺度场景辐射恢复模块^［5］（Multi-Scale Scene Radiance Recovery， MSR）， 对连续帧的时间特征进行对齐和聚合， 实现视频去雾效果。在此过程中， 先验解码器和场景解码器协同工作， 根据物理模型实现特征解耦。具体而言， 先验解码器通过预测透射率和大气光来学习与先验相关的特征， 并使用大气散射模型重构输入的雾霾图像， 场景解码器则生成场景辐射。最后， 采用残差预测来生成去雾结果。

2.3 物理先验记忆保存模块

2.3.1 模块结构

物理先验记忆保存模块具体结构如图 2 所示。初始的先验特征\tilde{P}\in {\mathbf{R}}^{H\times W\times C}通过编码器和主干网络学习得到， 包含传输图和大气光等先验信息， 其中H\mathrm{、}W和C分别代表特征的高度、 宽度和通道数。为了保存长序列视频不同时间点的物理先验信息并减少内存占用， 受残差注意力去雾思想启发^［12］， 本文基于记忆保存与读取机制， 设计了一种密集残差特征融合结构， 用于将先验信息编码为记忆进行高效保存。具体而言， 该结构采用了3×3卷积核和4层深的主干分支， 以及3×3卷积核和2层深的掩膜分支。掩膜分支信息通过加法融合的形式对主干分支信息进行增强， 并通过密集连接融合多层次特征。具体的结构选择及其性能评估详见2.3.2节。这一设计在保持先验特征原有空间结构的基础上增强了特征的表征能力， 同时输出当前帧的关键先验特征key\in {\mathbf{R}}^{N\times D\times C}， 其中， N，D用来控制特征对齐。当前帧的关键先验特征经过两个池化层处理， 得到先验压缩记忆令牌p\in {\mathbf{R}}^{D\times C}， 其中D代表令牌长度。先验压缩记忆令牌被保存到本地的记忆矩阵中。

2.3.2 结构选择策略

为了评估不同模块结构对模型去雾效果的影响， 本文进行了系统性实验， 结果如图 3 所示。

实验选择了多种卷积核尺寸（1×1、 2×2、 3×3、 4×4、 5×5）和网络深度（1~5层）， 图3（b）中的网络深度为1~3层， 因为在4层及以上时， 信息损失严重， 模型表现显著下降， 所以未继续增加深度， 图中通过整体网络结构相似性指标比较了模块在各配置下的表现。结果显示， 3×3卷积核与4层深的主干分支及3×3卷积核与2层深的掩膜分支组合， 不仅保持了高性能， 还显著增强了先验特征的学习效果。此配置避免了因网络过浅导致的编码不足或过深引起的先验特征丢失的问题。

2.4 记忆增强物理先验引导模块

记忆增强物理先验引导模块的具体结构如图 4 所示。通过两个物理先验记忆保存模块保存视频历史帧多个先验压缩记忆令牌来独立构建\mathit{K}和\mathit{V}记忆矩阵， 可以从先验记忆矩阵中获得特征\mathit{K}\in {\mathbf{R}}^{ND\times C}和\mathit{V}\in {\mathbf{R}}^{ND\times C}， 其中N是表示先验记忆令牌数量的超参数。该模块以此方式实现保存长距离视频帧的雾霾先验信息。为了利用记忆增强当前帧的先验特征， 首先， 计算当前帧的关键记忆特征key和\mathit{K}先验记忆矩阵之间的相似性权重\mathit{S}， 具体表示为

\mathit{S}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{key\cdot {\mathit{K}}^{\mathrm{T}}}{\sqrt[]{c_{\mathrm{1}}}}\right)，（1）

式中： 参数c_{\mathrm{1}}作为归一化因子用于对齐key和\mathit{K}的维度。

通过比较当前帧与记忆之间的相似性得到相似性矩阵。这些相似性权重随后引导注意力机制对当前先验特征进行增强， 具体表示为

P=Attention\left(\mathit{Q}，\mathit{V}，\mathit{S}\right)，（2）

P=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{V}}^T}{\sqrt[]{c\mathrm{2}}}\right)\mathit{S}，（3）

式中： 查询向量\mathit{Q}通过将初始先验特征\tilde{P}\in {\mathbf{R}}^{H\times W\times C}展开得到， 参数c\mathrm{2}作为归一化因子用于对齐\mathit{Q}和\mathit{K}的维度。最终， 获得记忆增强后的先验特征P， 以增强后的先验特征与初始场景特征\tilde{J}拼接作为输入， 通过多层卷积层生成由先验引导的场景特征J。因此， 先验有效地引导了场景恢复过程。

2.5 损失函数

总体损失函数L是输出损失L_{\mathrm{o}\mathrm{u}\mathrm{t}}、 物理模型解耦损失L_{\mathrm{p}\mathrm{h}\mathrm{y}}和流动损失L_{\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}的总和， 即

L=L_{\mathrm{o}\mathrm{u}\mathrm{t}}+{\lambda }_{\mathrm{p}\mathrm{h}\mathrm{y}}{L}_{\mathrm{p}\mathrm{h}\mathrm{y}}+{\lambda }_{\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}，（4）

L_{\mathrm{p}\mathrm{h}\mathrm{y}}={\displaystyle \sum _{s=\mathrm{0}}^{\mathrm{3}}}{\mathrm{2}}^{s-\mathrm{3}}{L}_{\mathrm{1}}\left({\widehat{I}}_s，I_s\right)+L_{\mathrm{1}}\left({\widehat{I}}_s，I_s\right)k，（5）

式中： {\lambda }_{\mathrm{p}\mathrm{h}\mathrm{y}}和{\lambda }_{\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}为加权超参数。输出损失L_{\mathrm{o}\mathrm{u}\mathrm{t}}=L_{\mathrm{1}}({\widehat{I}}_s，I_s)用于监督去雾结果与真实值J之间的一致性。物理模型解耦损失旨在让先验解码器和场景解码器在U-Net的每个尺度s上基于物理模型学习各分量， 通过预测{\widehat{A}}_s和{\widehat{J}}_s， 并基于方程

{\widehat{I}}_s={\widehat{J}}_s{\widehat{t}}_s+{\widehat{A}}_s\left(\mathrm{1}-{\widehat{t}}_s\right)，（6）

重构了输入{\widehat{I}}_s。此外， 本文使用无监督流动损失来规范学习到的时空流^［5］。

3 实验结果

3.1 数据集及实验细节

本文使用户外数据集HazeWorld^［5］和室内数据集REVIDE^［13］进行评估。HazeWorld包含3 588个用于训练的视频和1 496个用于测试的视频， REVIDE包含42个训练视频和6个测试视频。这些数据集为验证本文提出方法的有效性提供支持。

本文的模型使用AdamW优化器和多项式学习率调度器进行训练， 初始学习率设置为\mathrm{2}\times {\mathrm{10}}^{-\mathrm{4}}， 总训练迭代次数为60 000次， 批量大小设置为6， 输入视频帧的图像块大小为256×256。

为了评估本文所提方法的性能， 使用了峰值信噪比（PSNR）和结构相似性（SSIM）两个指标对去雾性能进行定量分析。同时， 与几种主流的去雾方法进行了比较， 包括DehazerFormer^［14］、 CG-IDN^［13］、 LKD-Net^［15］、 MAP-Net^［5］和DEA-Net^［11］。为确保评估的公平性， 本文统一将视频帧裁剪为256×256的图像块， 以验证本文方法的有效性。

3.2 结果对比

表 1 和表 2 展示了本文方法与现有方法的定量对比结果。在HazeWorld^［5］数据集测试中， 本文所提方法的峰值信噪比（PSNR）和结构相似性（SSIM）分别为27.74 dB和0.942 1， 相较次优方案分别提升了0.71 dB和0.006 1； 在REVIDE^［13］数据集上，本文所提方法的PSNR和SSIM分别为24.32 dB和0.908 9， 较次优算法分别提升了0.14 dB和0.006 7。通过两组基准测试的横向对比， 证明本文所提方法在视频去雾任务中具有显著的性能优势。

图 5 和图 6 展示了定性对比结果， 直观表明本文方法在视频帧去雾方面显著优于现有方法。相比之下， 其他方法常出现颜色失真、 区域暗化或残余雾霾问题， 而本文方法成功解决了这些缺陷， 更准确地恢复了原始清晰的帧。因此， 本文方法在视觉性能和颜色准确性方面均优于当前主流方法。

此外， MAP-Net^［5］的计算复杂度较高， 难以满足实际应用要求， 本文所提出的方法对MAP-Net框架进行了改进， 通过设计物理先验记忆保存模块， 对原有记忆保存机制进行优化， 成功降低了计算复杂度。实验结果表明， 该方法在单张NVIDIA Tesla P100 GPU上可实现11帧/s的实时处理速度， 已基本达到实际应用的要求。

3.3 消融实验

本文通过消融实验系统验证了所提模块对视频去雾性能的提升作用。由于所提方法是在MAP-Net框架^［5］基础上进行的改进， 因此直接采用MAP-Net作为基础模型， 本文分阶段评估了两个核心模块的贡献： 首先仅使用物理先验记忆保存模块替换原MAP-Net框架的记忆压缩保存操作（方法1）， 随后仅使用记忆增强物理先验引导模块替换原MAP-Net框架的记忆读取增强操作（方法2）， 最终将物理先验记忆保存模块和记忆增强物理先验引导模块嵌入MAP-Net框架， 替换MAP-Net框架原有的记忆保存和读取机制（所提方法）。

实验结果如表 3 和图 7 所示， 方法1通过密集连接与残差结构的特征融合机制， 在保持空间结构的同时强化了先验特征的表征能力， 使PSNR和SSIM指标较基础模型分别提升了0.58 dB和0.011。方法2则通过动态相似性权重计算， 引导注意力机制有效整合历史记忆信息， 显著增强了先验推理的一致性， 同样实现了性能提升。

当双模块协同作用时， 本文所提方法在去雾效果上使PSNR和SSIM指标较基础模型分别提升了1.09 dB和0.023， 更在颜色失真抑制和雾霾残留控制方面表现卓越。这种协同效应通过优化时间特征处理， 实现了先验信息的高效利用， 显著提升了视频恢复的时空连续性与场景准确性， 验证了模块设计在视频去雾任务中的关键作用。

4 结　论

本文提出的视频去雾方法在利用物理先验和保持帧间时间一致性方面取得了显著进展。通过整合物理先验记忆保存模块和记忆增强引导模块， 增强了先验信息的全局推理能力， 提升了去雾帧的连贯性和真实感。大量实验表明， 该方法在避免颜色失真和雾霾残留方面优于主流方法。

参考文献

[1] ZHOU Y， CHEN Z， LI P， et al. FSAD-Net： feedback spatial attention dehazing network［J］. IEEE Transactions on Neural Networks and Learning Systems， 2022， 34（10）： 7719-7733.

[2] GALSHETWAR V M， SAINI P， CHAUDHARY S， et al. Cross-stage recurrent feature sharing network for video dehazing［J］. Expert Systems with Applications， 2024， 241： 122592.

[3] HAN C， ZHANG K， BREKHNA B. Video dehazing network based on multiscale attention［J］. IEEE Access， 2023， 11： 94479-94485.

[4] WU C， HE G， ZHAO W， et al. PMCN： Parallax-motion collaboration network for stereo video dehazing［J］. Knowledge-Based Systems， 2024， 305： 112681.

[5] XU J， HU X， ZHU L， et al. Video dehazing via a multi-range temporal alignment network with physical prior［DB/OL］.（2023-05-17）［2025-01-15］.

[6] DONG J， PAN J. Physics-based feature dehazing networks［C］//16th European Conference on Computer Vision （ECCV 2020）. Glasgow， UK： Springer International Publishing， 2020： 188-204.

[7] YUAN F， ZHOU Y， XIA X， et al. A confidence prior for image dehazing［J］. Pattern Recognition， 2021， 119： 108076.

[8] 宁贝， 杨明.基于多尺度引导滤波的实时视频去雾算法［J］.中北大学学报（自然科学版）， 2024， 45（4）： 439-447.

[9] NING Bei， YANG Ming. Realtime video defogging algorithm based on multi-scale guided filtering ［J］. Journal of North University of China （Natural Science Edition）， 2024， 45（4）： 439-447.（in Chinese）

[10] DONG H， PAN J， XIANG L， et al. Multi-scale boosted dehazing network with dense feature fusion［C］//2000 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）， 2020： 2154-2164.

[11] QIN X， WANG Z， BAI Y， et al. FFA-net： feature fusion attention network for single image dehazing［DB/OL］. （2019-10-05）［2025-01-15］.

[12] CHEN Z， HE Z， LU Z M. DEA-net： Single image dehazing based on detail-enhanced convolution and content-guided attention［J］. IEEE Transactions on Image Processing， 2024， 33： 1002-1015.

[13] 杨振舰， 尚佳美， 张众维， 等. 基于残差注意力机制的图像去雾算法［J］. 西北工业大学学报， 2021， 39（4）： 901-908.

[14] YANG Zhenjian， SHANG Jiamei， ZHANG Zhongwei， et al. A new end-to-end image dehazing algorithm based on residual attention mechanism［J］. Journal of Northwestern Polytechnical University， 2021， 39（4）： 901-908.（in Chinese）

[15] ZHANG X， DONG H， PAN J， et al. Learning to restore hazy video： A new real-world dataset and a new method［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition（CVPR）， 2021： 9235-9244.

[16] SONG Y， HE Z， QIAN H， et al. Vision transformers for single image dehazing［J］. IEEE Transactions on Image Processing， 2023， 32： 1927-1941.

[17] LUO P， XIAO G， GAO X， et al. LKD-Net： Large kernel convolution network for single image dehazing［C］//2023 IEEE International Conference on Multimedia and Expo （ICME）， 2023： 1601-1606.

基金资助

山西省揭榜挂帅重大专项(202101010101018)

国家自然科学基金项目(62302466)

山西省基础研究计划项目(202303021212188)