融合全局和局部特征的多阶段渐进图像去雨网络

摘要

针对雨纹大小的多样性，设计了一个融合全局和局部特征的多阶段渐进图像去雨网络MSPGLN (Multi-stage Progressive Global-Local Network for Image Deraining)旨在实现高效的图像去雨任务.首先，提出了一个多级渐进网络结构，其分为两个阶段，能够逐渐去除不同特征的雨纹.在第1阶段中，使用较大的感受野来关注较大的的雨纹结构，将原本较小或中等的雨纹被完全去除，而原本较大的雨纹可能仍有残留；在第2阶段中，使用较小的感受野聚焦较小的雨纹结构，以进一步提高去雨图像的清晰度和视觉效果.其次，设计了多尺度补丁模块来捕捉雨纹的不规则几何特征和位置信息，表达更灵活和可变的感受野大小.同时，依据降雨区域之间存在局部相关的特点，构建了一种双分支结构分别提取并融合全局和局部信息.此外，提出了一种多头代理注意力模块，通过捕获多个不同的特征来获取更丰富的信息.大量的实验结果表明，该图像去雨网络模块以低成本取得了先进的效果.

关键词

图像去雨 / 多级渐进网络结构 / 全局和局部特征 / 多头代理注意力模块

基金资助

国家自然科学基金项目(61703278)资助