ZMG-ADS:基于零样本的多粒度产品表面异常检测与分割模型

摘要

现有的产品表面异常检测与分割方法通常依赖于特定数据集进行训练，其泛化能力受限.为缓解模型泛化性不足的问题，本文提出了一种基于零样本学习的多粒度产品表面异常检测与分割模型.该模型首先利用对比语言-图像预训练模型(Contrastive Language-Image Pre-training, CLIP)对图像-文本提示对进行异常特征提取，并引入多尺度跨模态注意力机制增强特征表达，获取粗粒度异常分割结果.随后，模型通过异常区域生成器识别异常区域，并以此为提示信息，引导分割一切模型(Segment Anything Model, SAM)进行细粒度异常分割.最终，通过融合粗细粒度的分割结果，生成最终异常分割结果.在MVTec AD和VisA数据集上的实验结果表明，本文模型在多个评估指标上优于对比模型，有效提升了检测精度和泛化能力.

关键词

零样本学习 / 异常检测 / 图像分割 / 多尺度特征融合 / 注意力机制