结合互注意力空间自适应和特征对集成判别的细粒度图像分类

摘要

细粒度图像具有类间差异小和类内区别大的特点，许多研究利用Vision Transformer挖掘关键区域特征来提升细粒度图像分类的精度，但其仍存在2个主要问题：首先，网络挖掘关键性分类线索时背景区域也考虑在内，给模型带来额外噪声干扰；其次，输入的图像局部嵌入特征之间欠缺空间联系，模型缺乏物体结构认知能力，导致提取的类别特征不准确。针对此问题，本文提出互注意力空间自适应和特征对集成判别2个模块。先通过互注意力空间自适应模块学习不同嵌入层的互注意力增强权重，用于选择更佳的判别性区域，通过图卷积网络自适应学习不同区域的邻接关系；再利用特征对集成判别模块考虑图像对之间的线索交互，减少细粒度图像间的混淆，在令牌特征增强策略下得出最终预测结果。本文方法在CUB-200-2011、Stanford Dogs和NABirds等3个基准数据集上测试准确率分别达到92.5%、93.3%和91.8%,优于现有许多先进方法。

关键词

细粒度图像分类 / 互注意力空间自适应 / 特征对集成判别 / 图卷积网络 / 令牌特征增强