基于注意力机制的语义对比学习算法

摘要

对比学习中不合适的数据增强会导致语义信息的失真，同一图像在不同类型的数据增强下语义信息有巨大的语义差距；此外，卷积神经网络（CNN）对纹理有强烈偏好，无法精准学习到下游任务所需的深层语义特征表示，针对以上问题，本文提出一种基于注意力的语义对比学习方法（Semantic attention contrastive learning method,SACL）。SACL首先利用卷积神经网络提取特征，然后注意力模块挖掘全局特征，获得更高级的语义特征，实现了对低级特征的补充和深层特征的语义融合。其次使用截然不同的数据增强方式构造正负样本对，将弱增强（几何增强）生成的正样本和强增强（纹理增强）生成的负样本进行对比，获得差异更为显著的图像输入。网格化增强视图增加了正样本的个数，加快网络收敛速度。在四个数据集上验证了所提出的语义对比学习算法的有效性，结果表明在ImageNet-100数据集上平均精度可以达到78.3%，可以有效提高模型的分类准确率。

关键词

对比学习 / 注意力机制 / 语义特征表示 / 数据增强 / 纹理 / 网格化

基金资助

河北省引进留学人员资助项目（C20200302）; 河北省教育教学改革研究与实践项目（2020GJJG007）