基于多尺度回顾蒸馏的单幅图像去雾算法

摘要

基于深度学习的图像去雾模型常常设计并堆叠高效的特征提取模块，导致模型复杂、推理慢。知识蒸馏通过将教师网络的知识转移到高效的学生网络，能在不影响模型效果的同时，提高模型的效率，受到广泛关注。但现有的基于知识蒸馏的去雾模型大多集中在教师网络和学生网络之间同一层级的知识转移，知识转移过程中未考虑到特征的转移是否充分，导致特征蒸馏不完全，去雾效果不佳。为缓解以上问题，提出多尺度回顾蒸馏网络(mult-scale review distillation network, MRDN),将教师网络知识充分转移到学生网络的不同层级中。首先为了保证学生和教师网络挖掘图像隐含特征和重建信息的能力，分别设计了混合注意力模块(hybrid attention block, HAB)和混合注意力模块组(hybrid attention block groups, HABs);然后利用注意力融合模块(attention fusion block, AFB)对知识进行回顾，即融合学生网络的当前层级和深层级特征，生成用于蒸馏的中间特征；最后为了准确转移知识，利用层级内容损失模块(hierarchical content loss block, HCLB)对中间特征和教师网络对应的层级特征进行多尺度金字塔特征提取，计算出各层级的损失。实验结果表明，MRDN在真实雾图上的去雾效果更好，且在SOTS数据集上的PSNR和SSIM指标方面超过最好的对比模型(EPDN)分别9.2%、7.8%。

关键词

图像去雾 / 知识蒸馏 / 多尺度回顾 / 注意力融合 / 分级内容损失