多尺度特征融合的双阶段Transformer去雨网络

摘要

图像去雨研究旨在提升图像质量，强化视觉感知.现有去雨算法由于通常采用单阶段实现，在去除雨纹干扰的同时会造成无雨背景的信息缺失，导致无法兼顾去雨效果和图像清晰度.为此，本文提出了一种基于Transformer的多尺度、双阶段U型去雨网络，将去雨任务通过两个分别侧重于雨纹提取和细节修复的子网络逐步完成.第1阶段，引入反投射技术提出了一种特征融合模块，通过迭代逐渐融合不同尺度下的特征信息以弥补U型结构造成的信息缺失.同时，基于Boosting算法提出了一种增强连接的特征提取模块，以增强细节特征，提高输出信噪比.第2阶段，提出了一种细节增强注意力模块对粗糙去雨图像进行细节修复以生成轮廓清晰的无雨图像.实验结果表明，本文提出的算法在合成和真实数据集上都取得了出色的去雨效果，在Rain100H、SPA-data等数据集上相比近期其他优秀去雨算法均有一定程度的指标提升.

关键词

图像去雨 / Transformer / 多阶段网络 / 多尺度特征融合

基金资助

国家自然科学基金项目(62066047,61966037)资助