基于信息蒸馏和共享注意力网络的轻量级图像超分辨率重建方法

摘要

信息蒸馏是轻量级图像超分辨率重建网络中的重要技术，但现有方法通过简化信息提取与蒸馏过程来提升计算效率，易造成有效特征利用不足，并在蒸馏过程中引入噪声，从而限制网络性能.为此，提出一种基于信息蒸馏和共享注意力网络的轻量级图像超分辨率重建方法.首先，为降低模型复杂度并减少冗余计算，引入共享注意力机制并设计注意力共享蒸馏模块，通过共享注意力矩阵避免重复计算.其次，为增强特征表达能力，采用分层蒸馏特征提纯策略，构建大核通道信息提纯模块，实现对关键通道特征的筛选与增强.最后，为充分挖掘语义和上下文信息，设计实例归一化混合注意力模块，融合通道注意力与空间注意力机制，并结合实例归一化稳定特征分布，从而进一步强化特征表达能力.在Set5、Set14、BSD100和Urban100四个公开基准数据集上的对比实验与消融实验结果表明，所提方法在峰值信噪比和结构相似性指数等指标上均优于十三种主流轻量级图像重建方法.其中，在×4放大尺度下，模型参数量仅为752k,PSNR分别达到32.47、28.84、27.72和26.57.实验结果表明，该方法在保证轻量化设计的前提下显著提升了图像重建性能.

关键词

轻量级超分辨率重建 / Transformer / 注意力机制 / 信息蒸馏 / 共享注意力

基金资助

国家自然科学基金面上资助项目（62273155）; 山东省自然科学基金资助项目（ZR2021MF017,ZR2024QF022）; 山东省重点研发计划（软科学）资助项目（2023RKY01015）