SPTJNet:用于图像去除雨条纹的稀疏Transformer和联合注意力轻量化网络

摘要

下雨天气会严重影响图像的清晰度，导致图像视觉质量下降.图像去雨技术能有效去除雨条纹的干扰，提升图像的清晰度和细节表现.然而，现有方法大多依赖卷积或单一注意力机制，限制了其在捕捉全局感受野和处理复杂雨条纹方面的能力，导致图像模糊和细节丢失.此外，单一注意力机制增加了模型的复杂度和计算成本，限制了实际应用效率.为此，本文提出了一种基于稀疏Transformer和联合注意力的轻量化图像去雨网络(SParse Transformer and Joint attention Network, SPTJNet).该网络设计了稀疏Transformer模块(SParse Transformer module, SPT),在提升性能的同时减少计算冗余，提高推理效率.并设计了联合注意力模块(Joint Attention Module, JAM),由通道注意力的压缩激励单元(Squeeze-and-Excitation, SE)和高效局部注意力单元(Efficient Local Attention Unit, ELAU)组成，能增强对复杂场景的处理能力.实验表明，SPTJNet在去雨任务中表现出色.

关键词

图像去雨 / 稀疏Transformer / 联合注意力 / 通道注意力 / 高效局部注意力