基于物理先验引导的记忆增强视频去雾算法

摘要

针对现有的深度学习视频去雾算法无法有效地从长序列视频中学习一致性先验特征，导致了恢复视频时雾霾残留和连续性差的问题，本文提出了一种物理先验引导的记忆增强视频去雾算法。首先，设计了物理先验记忆保存模块，该模块采用密集连接和残差结构来保留空间显著信息，融合多层次特征以增强物理雾霾先验，并将增强后的物理雾霾先验编码为长期记忆。其次，针对传统记忆机制的局限性，对记忆存储读取机制进行了改进，将先验特征记忆解耦为键记忆特征(Key Memory)和值记忆特征(Value Memory)，并设计了记忆增强物理先验引导模块。该模块通过计算当前帧的关键先验特征与键记忆矩阵的相似性，动态指导注意力机制从值记忆中提取关联特征增强当前帧先验特征，从而生成一致性更好且全局推理能力更强的先验特征。最后，在多范围时序对齐网络框架(Multi-Range Temporal Alignment Network with Physical Prior, MAP-Net)嵌入物理先验记忆保存模块和记忆增强物理先验引导模块来实现整体算法。实验结果表明，与次优算法相比，本文所提算法在HazeWorld和REVIDE数据集上的峰值信噪比(PSNR)分别提升了0.71 dB和0.14 dB，结构相似性(SSIM)分别提升了0.006 1和0.006 7。本文所提方法不仅有效消除了颜色失真和残余雾霾，提高了视觉真实感，而且在NVIDIA Tesla P100 GPU上实现了11帧/s的实时处理。

关键词

视频去雾 / 物理先验 / 记忆增强 / 图像处理 / 神经网络 / 深度学习