基于ViT-CNN特征增强的图像超分辨率

摘要

卷积神经网络（CNN）可以提取图像的局部相关特征，视觉Transformer(ViT)则侧重于捕获图像的远距离依赖关系，二者有效结合能够改进图像的重构质量.研究了一种基于ViT-CNN特征增强的图像超分辨率（SR）网络.具体来说，网络包含了基于ViT的SR分支与基于CNN的梯度分支，SR分支主要用于提取图像特征域中的全局相关性，而梯度分支则专注于图像梯度域中的局部依赖关系.通过对两种信息的融合与渐进增强，获得高倍放大的重构图像.此外，在网络的学习阶段引入了梯度损失及渐进训练策略，有效降低了网络的训练难度并增强了训练的稳定性.在多个公开数据集上的大量实验结果验证了所提方法在改善重构系统性能方面的有效性.

关键词

图像超分辨率 / 卷积神经网络 / 视觉Transformer / 特征融合