基于标签相关性学习网络的多标签图像分类方法

摘要

【目的】针对多标签图像分类任务中的标签特征混乱和标签关系局限性问题，提出了一种基于标签相关性学习网络的多标签图像分类方法（MLLCLN）。【方法】采用掩码注意力方法和多头自注意力机制。在掩码注意力方法中，通过图像真实标签对应的状态词向量遮盖注意力机制产生的标签特征，使模型能获得更多上下文信息，一定程度上避免了注意力机制的注意力区域重叠的问题。设计了标签相关性学习网络，该网络是由多层多头注意力机制和图神经网络组成。多头自注意力机制能够基于标签特征学习局部标签关系，而图神经网络使用了现有的方法 MLGCN作为引导，使模型能同时考虑全局标签关系，缓解了由于标签关系局限性导致的模型出现虚假预测的问题。【结果】MLLCLN在公开数据集MSCOCO2014和VOC2007上的实验结果表明了其较好的性能，分类精度分别达到了84.4%和96.0%，为多标签图像分类提供了新思路。

关键词

多头自注意力机制 / 多标签图像分类 / 注意力机制 / 自适应权重 / 卷积神经网络

基金资助

国家自然科学基金资助项目（62072291）