基于双重注意力和分层感知表征的IQA方法

摘要

图像质量评价在图像处理领域有着广泛的应用．基于深度学习的方法以多通道特征的形式获取图像信息，但在特征下采样过程中会丢失局部空间细节，导致对于图像信息的表征能力不足．针对以上问题，本文基于人类视觉系统的分层感知机制，提出了一种全参考图像质量评价方法，采用Siamese结构的卷积神经网络实现非线性映射，从不同尺度和视觉复杂度表征图像信息，并通过双重注意力模拟人类在评价图像质量时对视觉注意力的调控过程．此方法在特征提取阶段引入空间注意力机制，对特征图的二维空间位置赋以权重，计算人在感知图像失真信息时对空间区域的注意力差别．在特征融合阶段利用分组通道注意力模块显式建模通道间的依赖关系，对感知差异特征进行自适应的校准，使网络关注对于图像质量评价影响大的通道特征．实验结果表明，该方法在LIVE、TID2013和CSIQ3个公开数据集上的斯皮尔曼相关系数分别达到0.975、0.938和0.963，在应对复杂失真类型图像时的性能提升显著，与人类主观评价的一致性良好．

关键词

图像质量评价 / 卷积神经网络 / 双重注意力机制 / 分层感知表征

基金资助

国家自然科学基金资助项目(62071326); 天津市科技计划资助项目(22JCYBJC00140)