DeT+:基于Mamba的多模态融合色彩美学评价算法

摘要

图像色彩美学评价是评估图像是否符合用户色彩美学偏好的关键标准，在评估智能手机和相机性能方面起着重要作用.传统的图像色彩美学评价方法通常依赖于像素统计或色轮理论，仅能量化色彩特征，而基于深度学习的方法目前提取隐式的色彩特征进行最终分数回归，缺乏捕捉色彩与图像内容和语义互动的能力.为了解决这些问题，本文提出通过对比视觉-语言预训练模型获取的高级语义特征来增强传统的隐式色彩特征.除此之外，本文方法引入了Mamba视觉状态空间增强与融合模块，以获取更高质量的特征.此外，通过计算高级语义特征与特定主导色彩提示词之间的相似性，提取显式色彩特征，增强了模型对色彩使用的直观理解和评价能力.广泛的实验结果表明，本文方法在多个公开数据集上性能明显优于State-Of-The-Art方法(如EAT (ACMMM′23)、DeT (ICCV′23)),SRCC指标最高提升达3.3%.

关键词

图像色彩美学评价 / 图像美学评价 / 多模态融合 / Mamba

基金资助

国家自然科学基金项目(U2001209,62372117)资助