基于Transformer与权重令牌引导的双分支无参考图像质量评价网络

摘要

无参考图像质量评价是计算机视觉的基础任务，旨在生成与人类感知一致的评估结果.然而，图像质量由内容和失真共同决定，其复杂交互关系增加了预测难度.本文提出了一种基于双分支结构的图像质量评价网络，分别提取内容与失真特征，并结合Transformer和权重令牌进行特征编解码，从而精准捕捉质量语义.具体而言，内容分支使用在ImageNet上训练的ResNet50提取多层次特征，失真分支则专门构建失真感知数据集并基于孪生网络训练失真特征提取器.此外，本文引入可变形通道注意力模块（DCA）采样空间和通道维度关键特征，实现特征高效整合.最后，利用带有权重令牌的Transformer捕获内容与失真特征间的全局交互关系，进而引导原始特征获取质量加权表示.实验结果表明，模型在6个公开数据集上的平均SRCC和PLCC值分别为0.908和0.919，优于主流方法 .

关键词

无参考图像质量评价 / 内容失真特征融合 / 预训练 / 双分支 / Transformer / 权重令牌

基金资助

国家重点研发计划项目（2023YFF0615800）; 四川省科技计划资助(2024ZHCG0191)