基于扩散变分自编码器的工业缺陷检测算法

Industrial Defect Detection Algorithm Based on Diffusion-Variational Autoencoder

摘要

基于重建的检测算法在工业产品自动化缺陷检测中得到了广泛的应用。但是，很多算法重建的图像依然保留了较多的缺陷特征，从而导致检测精度不高。受扩散模型能够建立起噪声和生成图片之间的联系启发，提出了一种基于扩散变分自编码器的工业产品缺陷检测算法。该算法将工业产品中的缺陷视为一种噪声，通过扩散模型的反向去噪过程重建正常图片。在训练阶段，首先利用预训练的基于矢量量化的变分自编码器（Vector Quantized Variational Autoencoder，VQ-VAE）提取工业产品图片的正常特征并添加噪声；然后，利用扩散模型在去噪的过程中消除缺陷特征并保留正常特征，以得到重建的正常图片；最后通过比较重建图片与对应的原始图片之间的差异来判断产品是否存在缺陷并定位缺陷区域。在测试阶段，将输入图片理解为已经添加噪声的图片进行缺陷检测。实验结果表明，该算法的检测精度较其他算法有明显提高。

Abstract

Reconstruction-based detection algorithms are extensively employed for automatic defect detection in industrial products. Nevertheless, they frequently struggle to effectively eliminate defect features from reconstructed images, resulting in diminished detection accuracy. This paper proposes an industrial product defect detection algorithm based on a diffusion-variational autoencoder to address this issue. The algorithm treats defects as noise and reconstructs typical images through the reverse denoising process of a diffusion model. During training, a pre-trained vector quantized variational autoencoder (VQ-VAE) is utilized to extract normal features and add noise to industrial product images. The diffusion model is then employed to eliminate defect features while preserving normal features during denoising, resulting in reconstructed normal images. Defects can be determined and localized by comparing the reconstructed images with original image. In the testing phase, input images are treated as noise-added for defect detection. Experimental results demonstrate a significant improvement in detection accuracy compared to other algorithms.

Graphical abstract

关键词

计算机视觉 / 缺陷检测 / 矢量量化的变分自编码器 / 扩散模型

Key words

computer vision / defect detection / vector quantized variational autoencoder (VQ-VAE) / diffusion model

0　 引 言

工业产品的缺陷检测是工业生产中的重要问题，以往依赖于费时费力的人工检测，如今已逐步利用基于计算机视觉技术的自动化检测来提高效率。然而工业场景下的缺陷样本难以获取，缺陷种类未知而繁多，且缺陷样本较正常样本差异较小，导致现有方法还不能很好地满足高精度的任务需求，因此在落地应用上还有很多问题需要解决^[1]。

工业产品的缺陷检测主要依靠无监督方法进行，包括基于特征嵌入的方法和基于重建的方法两类^[2]。基于特征嵌入的方法大多利用鲁棒的预训练模型进行特征提取，能够更好地获取图像的高层语义特征，有利于达到更高的图像级别检测精度。基于重建的方法虽然限制了图像级别的检测能力，但能通过像素级别的比较来辨别缺陷，并在此基础上进行图像级别的缺陷检测，往往有着更好的缺陷定位能力。因此有相当多的研究采用基于重建的方法，通过更好的重建方式同时提高图像级别和像素级别的检测精度。

基于重建的方法一般通过训练编码器和解码器来重建图片，并假设在生成的图片中只包含正常特征而不包含缺陷特征。这样，当重建图片与原始图片有较大差异时认为原始图片存在缺陷，并通过比较二者之间的差异来定位缺陷。但是，在重建的过程中只保留正常特征是一项非常困难的工作，很多算法会在重建时将缺陷特征也一并重建，导致最终的检测精度不高，特别是在缺陷区域很小的情况下。

为了提高检测精度，学者们提出了一些方法。文献[3]提出的RIAD算法基于图像修复的思路，先将输入图片的一部分进行遮盖，再通过训练网络来填补被遮盖的部分，通过遮盖操作能够很好地隐藏缺陷区域，从而防止缺陷的重建，但是当缺陷的区域跨度较大时，不能实现完全遮盖，仍会导致缺陷的重建。文献[4]提出的DRAEM算法利用额外的图像数据集进行缺陷特征的合成，以此获得额外的缺陷图片用于训练，该算法能够大幅提高模型重建正常图片的能力，然而这种方式下合成缺陷与真实缺陷的差异可能较大，导致重建结果依然保有缺陷区域。文献[5]提出的DSR算法在特征域上构建缺陷，使其与真实缺陷更加接近，然而在消除缺陷时采用简单的卷积神经网络进行下采样和上采样操作，忽略了特征的全局关联，导致一些情况下缺陷的重建。

针对上述问题，本文提出一种基于扩散变分自编码器的工业缺陷检测算法，首先采用预训练的基于矢量量化的变分自编码器（Vector Quantized Variational Autoencoder，VQ-VAE）提取图片特征，并在特征域构建缺陷，再利用扩散模型的去噪网络，充分获取正常特征与噪声之间的关联，以此消除缺陷并重建出正常图片，最后通过基于U-Net的比较网络检测缺陷。

1　 基础方法

1.1　VQ-VAE

矢量量化的变分自编码器（Vector Quantized Variational Autoencoder，VQ-VAE）^[6，7]能够将图片压缩到离散的特征空间。与一般的变分自编码器（Variational Autoencoder，VAE）不同的是，在编码器进行编码之后，要通过可训练的码本（codebook）进行特征的替换，将替换后得到的特征送入解码器进行解码，最终生成需要的图片。相比一般的VAE，它能够通过查找码本获取特征编码，使得编码的范围更加可控，最终生成更大、更清晰的图片。

VQ-VAE的训练方法如图1所示。输入图片I经过编码器E得到特征F，根据码本K寻找与F中每个特征最接近的特征逐一进行替换，得到替换后的量化特征Q，再经过解码器D得到重建图片I_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}。具体地，量化特征Q由（1）式得到：

Q_{i,j}=\underset{e_k\in K}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{i}\mathrm{n}}\left(‖F_{i,j}-e_k‖\right)（1）

其中，\left(i,j\right)为特征图坐标，e_k为码本K中的特征。VQ-VAE的训练损失函数L_{\mathrm{V}\mathrm{Q}\mathrm{⁃}\mathrm{V}\mathrm{A}\mathrm{E}}由三部分构成，具体公式如下：

L_{\mathrm{V}\mathrm{Q}\mathrm{⁃}\mathrm{V}\mathrm{A}\mathrm{E}}=L_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}+L_{\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{b}\mathrm{o}\mathrm{o}\mathrm{k}}+\beta L_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{m}\mathrm{i}\mathrm{t}}（2）

L_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}=L_{\mathrm{2}}\left(I,I_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}\right)（3）

L_{\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{b}\mathrm{o}\mathrm{o}\mathrm{k}}=L_{\mathrm{2}}\left(\mathrm{s}\mathrm{g}\left[F\right],Q\right)（4）

L_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{m}\mathrm{i}\mathrm{t}}=L_{\mathrm{2}}\left(F,\mathrm{s}\mathrm{g}\left[Q\right]\right)（5）

其中，L_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}为重建损失，用于训练编解码器；L_{\mathrm{c}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{b}\mathrm{o}\mathrm{o}\mathrm{k}}为码本损失，用于训练码本；L_{\mathrm{c}\mathrm{o}\mathrm{m}\mathrm{m}\mathrm{i}\mathrm{t}}为承诺损失，用于防止因码本训练过慢导致编码器输出偏离较远；\beta是权重超参数；L_{\mathrm{2}}表示欧氏距离；\mathrm{s}\mathrm{g}\left[\cdot \right]表示停止梯度计算，在反向传播时不传递梯度。

受到Zavrtanik等^[5]的启发，本文的算法通过预训练VQ-VAE模型得到一个通用的编码器及其码本，用于更好地提取工业产品图片的特征，为后面的解码步骤做准备，同时利用码本的可查找特性构建缺陷特征，引入先验知识，使得模型能够在测试阶段更准确地识别出缺陷。

1.2　扩散模型

扩散模型即去噪扩散概率模型（Denoising Diffusion Probabilistic Models，DDPM）^[8]，是近年兴起的生成式模型，它是经过训练的参数化马尔可夫链，可以在有限的步骤中将简单分布转化为更复杂的目标数据分布。在正向扩散过程中，逐步向原图像添加高斯噪声；在反向去噪过程中，逐步去除噪声得到清晰图像。在反向去噪过程中，由于每一步是基于链中前一步的全局信息，这使得扩散模型具有捕获全局信息的能力，与其他自回归模型相比更具有优势^[9]。

一般地，扩散模型正向过程定义如下：

q\left(x_t\left|x_{\mathrm{0}}\right.\right)=N\left(x_t\left|x_{\mathrm{0}}\right.\sqrt[]{{\overline{\alpha }}_t},\left(\mathrm{1}-{\overline{\alpha }}_t\right)I\right)（6）

x_t=x_{\mathrm{0}}\sqrt[]{{\overline{\alpha }}_t}+{\epsilon }_t\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t},{\epsilon }_t\sim N\left(\mathrm{0},I\right)（7）

其中，x_{\mathrm{0}}为输入图片，x_t为加了t时间步噪声的图片，{\alpha }_t为变量。记{\beta }_i为噪声变化时间表，{\beta }_i\in \left(\mathrm{0,1}\right)，通常设置为从0.000 1到0.01的线性值,令{\alpha }_i=\mathrm{1}-{\beta }_i，{\overline{\alpha }}_t={\displaystyle \prod _{i=\mathrm{0}}^t}{\alpha }_i，则有{\overline{\alpha }}_t={\displaystyle \prod _{i=\mathrm{0}}^t}{\alpha }_i={\displaystyle \prod _{i=\mathrm{0}}^t}(\mathrm{1}-{\beta }_i)。在反向去噪过程中训练一个类似于U-Net^[10]的网络{\epsilon }_{\theta }\left(x_t,t\right)，预测噪声\epsilon，损失函数L定义为：

L={\mathbb{E}}_{t\sim [\mathrm{1}-T],x_{\mathrm{0}}\sim q\left(x_{\mathrm{0}}\right),\epsilon \sim N\left(\mathrm{0},I\right)}\left[{‖\epsilon -{\epsilon }_{\theta }\left(x_t,t\right)‖}^{\mathrm{2}}\right]（8）

其中，t为不大于超参数T的随机整数，x_{\mathrm{0}}为满足特定分布q\left(x_{\mathrm{0}}\right)的随机初始样本，噪声\epsilon服从高斯分布N\left(\mathrm{0},I\right)。在推理阶段，由x_t和{\epsilon }_{\theta }\left(x_t,t\right)构建x_{t-\mathrm{1}}的过程如下：

x_{t-\mathrm{1}}=\frac{\mathrm{1}}{\sqrt[]{{\alpha }_t}}\left(x_t-\frac{\mathrm{1}-{\alpha }_t}{\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t}}{\epsilon }_{\mathrm{\theta }}\left(x_t,t\right)\right)+{\tilde{\beta }}_{t}z（9）

其中，z服从高斯分布N\left(\mathrm{0},I\right)，{\tilde{\beta }}_t=\frac{\mathrm{1}-{\overline{\alpha }}_{t-\mathrm{1}}}{\mathrm{1}-{\overline{\alpha }}_t}{\beta }_t。由此可以逐步构建出x_{\mathrm{0}}。

本文将工业产品图片中的缺陷区域视为噪声，在正向过程中通过进一步的添加噪声，将图片原有的缺陷特征进行掩盖，再通过反向的去噪过程将缺陷与噪声一同消除，以达到更好的缺陷消除效果，使得最终的重建图片具有更少的缺陷特征，从而使检测精度更高。

2　 本文方法

模型总体架构如图2所示，输入图片I经过编码及量化后进入两个解码器中，一个是通用的特征解码器D，一个则是专门用于当前目标的解码器D_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}，通过分割模块比较两个解码器输出的图片，从而得到预测掩码M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}，以此判断原图中是否存在缺陷，并定位缺陷区域。下面具体介绍每个模块的内容及损失函数的设置。

2.1　通用编解码器

通过在ImageNet^[11]上预训练VQ-VAE，得到通用编码器E、码本K和通用解码器D，这些部分在整个模型训练中参数固定。其中编码器E用于提取输入图片I的特征表示F，之后通过码本K查找F中所有特征的最邻近特征并进行替换，得到量化特征Q，方法同（1）式。量化特征Q经通用解码器D解码后可以得到一张近似于原图的图片，在后面用作分割模块的参照图，可以得到更好的分割效果。

2.2　缺陷生成模块

图2中的虚线流程为缺陷生成流程，缺陷生成模块G通过采样柏林噪声（Perlin noise）^[12]，得到图片I尺寸大小的缺陷掩码图M_{\mathrm{g}\mathrm{t}}，将M_{\mathrm{g}\mathrm{t}}下采样得到对应特征F尺寸大小的掩码图M，利用M和码本对Q中的特征进行替换，对于M中值为1的位置的特征，替换为码本中与之相距{\lambda }_s的特征，从而得到带有缺陷的特征Q_{\mathrm{a}}。产生缺陷特征能够引入缺陷的先验知识，有利于无监督条件下的训练，由于码本中的特征距离可以度量，因此可以利用这一特点选取较为接近但又不是最近的特征进行替换，这样得到的特征与正常特征存在微小差异，有助于判断现实中存在的缺陷样本，同时这种方法也没有利用额外的数据集生成缺陷，更加具有普适性。通过实验确定超参数{\lambda }_s取值0.05，即选取与原始特征最接近的5%特征进行替换。

2.3　利用扩散模型恢复缺陷的扩散解码器

本文提出利用扩散模型恢复缺陷的扩散解码器D_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}，具体结构如图3所示，其中输入x_{\mathrm{0}}为正常或具有缺陷的特征图Q_{\mathrm{a}}，通过正向扩散过程，得到加了t时间步噪声的特征图x_t，此时原有的缺陷被隐藏在添加的噪声之中，再通过训练一个去噪网络{\epsilon }_{\theta }\left(x_t,t\right)预测加入的噪声，最后经反向去噪过程恢复出一个正常的不具有缺陷的特征图F_{\mathrm{n}}。其中，去噪网络采用基于U-Net+注意力机制的模型。受到Zhang等^[13]和Mousakhan等^[14]的启发，在反向去噪过程中采用不同于传统扩散模型的方法。具体地，可以通过一步去噪的方法得到近似的去噪图{\widehat{x}}_{\mathrm{0}}，这样可以极大地缩短去噪的时间，其计算方法如(10)式所示。

{\widehat{x}}_{\mathrm{0}}=\frac{\mathrm{1}}{\sqrt[]{{\overline{\alpha }}_t}}\left(x_t-\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t}{\epsilon }_{\theta }\left(x_t,t\right)\right)（10）

另外，由于期望去噪网络最终得到的正常特征F_{\mathrm{n}}逼近于原始特征F，所以可以在已知F的情况下采用条件去噪的方法，以提高去噪的效果。具体地，记F为y_{\mathrm{0}}，给y_{\mathrm{0}}加上与x_{\mathrm{0}}相同的噪声得到y_t，则y_t与x_t内含有相同噪声，不同之处只在于其中包含的缺陷部分，通过比较两图之间的差异对网络预测的噪声进行修正，得到修正后的噪声\widehat{\epsilon }：

\widehat{\epsilon }={\epsilon }_{\theta }\left(x_t,t\right)-w\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t}\left(y_t-x_t\right)（11）

其中，w是控制条件去噪温度的超参数，w值越大，噪声\widehat{\epsilon }对y_{\mathrm{0}}依赖则越强。

综上所述，本文采用的去噪方法结合了一步去噪和条件去噪，可以在较短时间内获取较好的去噪结果，具体如（12）式：

{\widehat{x}}_{\mathrm{0}}=\frac{\mathrm{1}}{\sqrt[]{{\overline{\alpha }}_t}}\left(x_t-\sqrt[]{\mathrm{1}-{\overline{\alpha }}_t}\widehat{\epsilon }\right)（12）

最后，为了保持特征空间的一致性，对正常特征F_{\mathrm{n}}再进行一次量化，得到量化特征Q_{\mathrm{n}}，并训练一个解码器D_{\mathrm{d}}将此时已经变为正常的特征转化为图片I_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}，用于后续的分割模块。

2.4　分割模块

分割模块S采用基于U-Net的网络结构，将前面步骤得到的重建图片I_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}和I_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}在通道维度进行拼接并输入网络，输出为原图尺寸大小的预测掩码M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}}，如果为全0图，则表明原始输入图片中不含有缺陷；如果图中含有1，则表明原始输入图片中含有缺陷，掩码图中值为1的像素点对应的就是缺陷区域。

2.5　损失函数

在训练阶段，将Q和Q_{\mathrm{a}}以一定的概率送入两个解码器进行后续步骤，使模型能够充分学习图片的正常特征进行重建。损失函数L定义如（13）~（16）式：

L=L_{\mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}+{\lambda }_{\mathrm{1}}{L}_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}+{\lambda }_{\mathrm{2}}{L}_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}}（13）

L_{\mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}=L_{\mathrm{2}}\left(\epsilon ,{\epsilon }_{\theta }\left(x_t,t\right)\right)（14）

L_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}=L_{\mathrm{2}}\left(I,I_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}}\right)（15）

L_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}}=\gamma L_{\mathrm{F}\mathrm{o}\mathrm{c}\mathrm{a}\mathrm{l}}\left(M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}},M_{\mathrm{g}\mathrm{t}}\right)+\mathrm{S}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}{\mathrm{h}}_{L_{\mathrm{1}}}\left(M_{\mathrm{p}\mathrm{r}\mathrm{e}\mathrm{d}},M_{\mathrm{g}\mathrm{t}}\right)（16）

其中，L_{\mathrm{n}\mathrm{o}\mathrm{i}\mathrm{s}\mathrm{e}}是噪声损失，用于约束噪声预测网络；L_{\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{o}\mathrm{n}}是重建损失，用于约束扩散模型解码器，使其解码得到的图片更接近于正常的原始输入图片；L_{\mathrm{m}\mathrm{a}\mathrm{s}\mathrm{k}}是分割损失，用于约束分割模块，使其输出缺陷掩码图逼近真值。{\lambda }_{\mathrm{1}}、{\lambda }_{\mathrm{2}}、\gamma是超参数，用于平衡几个损失函数的数量级。特别地，分割损失采用Focal损失和平滑L_{\mathrm{1}}损失的结合。Focal损失用于平衡难易样本，使损失值受难样本影响更大，加强难样本的学习效果；平滑L_{\mathrm{1}}损失可以减轻对于离群值的过度敏感，综合了L_{\mathrm{1}}损失和L_{\mathrm{2}}损失的优点，使模型快速达到更好的训练效果。

测试阶段不包含缺陷生成的过程，其余步骤与训练阶段相同。其中，送入解码器的Q可能为正常特征或含缺陷的特征，无论输入是怎样，扩散模型解码器重建得到的都是正常的图片，而通用解码器不具有消除缺陷特征的能力，其重建得到的图片是否含有缺陷取决于输入图片，通过分割模块对两张重建图片进行比较，即可得到准确的缺陷掩码图。

3　 实 验

3.1　数据集介绍

3.1.1　MVTec AD

本文使用的数据集之一是MVTec AD^[15]，该数据集是一个被广泛使用的工业数据集，它包含15个类别的高清图片，其中10个物体类别，5个纹理类别，每个类别的训练集只包含正常图片，测试集同时包含正常图片和缺陷图片，总共有5 354张图片，含有73种缺陷类别，每张图片大小在700×700到1 024×1 024之间，缺陷图片有对应的像素级别的标注。

3.1.2　BTAD

为了进一步证明本文提出方法的有效性，本文还用较新的BTAD^[16]数据集进行实验，该数据集是开源的真实工业场景采集的数据集，包含3种工业产品的高清图像，大小分别为1 600×1 600、600×600、800×600，共有2 830张图片，每个类别的训练集只包含正常图片，测试集同时包含正常图片和缺陷图片，缺陷图片具有精确的像素级标注。

3.2　评价指标

实验采用的评价指标是AUROC（Area Under Receiver Operator Characteristics），即ROC曲线下面积，ROC曲线横轴是假阳率（False Positive Rate, FPR），纵轴是真阳率（True Positive Rate, TPR），具体计算公式如下：

\mathrm{F}\mathrm{P}\mathrm{R}=\frac{\mathrm{F}\mathrm{P}}{\mathrm{T}\mathrm{N}+\mathrm{F}\mathrm{P}}（17）

\mathrm{T}\mathrm{P}\mathrm{R}=\frac{\mathrm{T}\mathrm{P}}{\mathrm{T}\mathrm{P}+\mathrm{F}\mathrm{N}}（18）

其中，TP（True Positive）为真阳性，表示将缺陷样本预测为缺陷的个数；TN（True Negative）为真阴性，表示将正常样本预测为正常的个数；FP（False Positive）为假阳性，表示将正常样本预测为缺陷的个数；FN（False Negative）为假阴性，表示将缺陷样本预测为正常的个数。通过求出不同阈值下的假阳率和真阳率画出ROC曲线，ROC曲线下面积取值范围为[0.5,1]，取值越大表明模型效果越好。

3.3　实验环境

本文的实验在Ubuntu 18.04.3 LTS操作系统下进行，采用NVIDIA Tesla V100 DGXS 32GB进行训练，学习率设置为10^-4，使用Adam优化器，训练轮数为200轮，采用提前停止的策略防止过拟合，选取在验证集上评价指标最高的模型保存，具体超参数设置见表1。其中，一部分超参数沿用了基础模型中的设置，另一部分超参数采用的是通过实验确定的最佳设置。

3.4　实验结果及分析

3.4.1　不同工业缺陷检测方法的对比

近年来，已有文献[3~5，17~19]的工业缺陷检测方法在MVTec AD数据集图像上进行了研究，将本文提出的方法与这些方法进行对比，对比结果如表2所示。可以看出，本文方法在多个检测类别上达到最优和次优，同时平均AUROC值达到98.5%，比DSR方法^[5]高0.3%。文献[5，18，20~22]的工业缺陷检测方法在BTAD数据集进行了研究，将本文提出的方法与这些方法进行对比，对比结果如表3所示，可以看出，在AUROC均值上，本文方法比DSR方法^[5]高0.3%，均值达到95.8%。综合比较以上实验结果可以发现，本文提出的方法在不同类型的工业图像数据上都能取得较优的结果，说明模型具有一定的普适性和鲁棒性。

Student⁃Teacher AD^[17]、PaDiM^[18]和CutPaste^[19]都是基于特征嵌入的方法，其中CutPaste^[19]采用剪切粘贴正常样本的方法构建缺陷样本，引入了缺陷的先验知识，以简单的操作达到了较好的检测效果，但其构建的缺陷样本与真实样本还有较大的差距。RIAD^[3]、DRÆM^[4]和DSR^[5]都是基于重建的方法，其中DRÆM^[4]通过额外的数据集合成缺陷样本，但合成的缺陷样本与真实样本有一定差距，导致重建结果仍然包含缺陷，相比之下本文提出的方法不依赖于额外数据集，利用预训练的VQ-VAE合成缺陷，能够更好地模拟缺陷，使得在重建的过程中能够正确地消除缺陷。DSR^[5]利用子空间限制模块将缺陷特征转化为正常特征，该模块由若干个下采样和上采样卷积层构成，对于一些难以识别的缺陷，可能会在上采样的过程中重新构建出来；而本文所采用的扩散模型将缺陷视为噪声，在去噪的过程中，能够通过噪声与整张图片的全局联系来准确消除，因此达到更高的检测精度。

3.4.2　消融实验

为了验证利用扩散模型进行缺陷检测的有效性，将扩散模型替换成普通的卷积神经网络进行对比。仿照DSR^[5]中的设置，卷积神经网络包含3个下采样卷积层和3个上采样卷积层，通过连续下采样提取图片正常特征，再通过连续上采样恢复图片，在这过程中保留正常特征同时消除缺陷特征。在MVTec AD数据集上的实验结果如表4所示，可以看出，相较于利用普通卷积神经网络进行缺陷检测，利用扩散模型进行缺陷检测的效果更好，其AUROC均值提高了0.9个百分点。在BTAD数据集上的实验结果如表5所示，相较于利用普通卷积神经网络进行缺陷检测，利用扩散模型进行缺陷检测的AUROC均值提高了1.1个百分点。相比普通的卷积神经网络，本文采用的扩散模型能够更好地捕捉全局信息，可以在去噪的过程中更加准确地消除缺陷，能够有效提高检测精度。

4　 结 语

本文提出了一种基于扩散变分自编码器的工业缺陷检测算法，将缺陷视为一种噪声，先利用预训练的VQ-VAE模型提取特征并添加噪声，再利用扩散模型预测噪声，并结合一步去噪与条件去噪的方法消除噪声，达到消除缺陷的效果。该算法充分利用预训练模型提取图片高层语义特征，在不依赖额外数据集的情况下构建缺陷样本，通过扩散模型捕捉缺陷与整张图片的全局联系，利用高效快速的去噪方法消除缺陷，并利用端到端的训练模式，达到较高的检测精度。本文的方法在MVTec AD和BTAD数据集上分别达到98.5%和95.8%的图像级AUROC值，高于对比的工业缺陷检测模型。虽然本文提出的方法也有一定的缺陷定位能力，但由于模型复杂度等原因，目前还有改进的空间。后续将考虑如何优化模型大小，提高模型的运算速率以及缺陷定位能力，以满足更广泛的工业场景要求。

参考文献

[1] 罗东亮， 蔡雨萱， 杨子豪， 等. 工业缺陷检测深度学习方法综述［J］. 中国科学（信息科学）， 2022， 52（6）： 1002-1039. DOI: 10.1360/ssi-2021-0336 .

[2] LUO D L， CAI Y X， YANG Z H， et al. Survey on industrial defect detection with deep learning［J］. Scientia Sinica （Informationis）， 2022， 52（6）： 1002-1039 （Ch）. DOI: 10.1360/ssi-2021-0336 .

[3] LIU J Q， XIE G Y， WANG J B， et al. Deep industrial image anomaly detection： A survey［J］. Machine Intelligence Research， 2024， 21（1）： 104-135. DOI： 10.1007/s11633-023-1459-z .

[4] ZAVRTANIK V， KRISTAN M， SKOČAJ D. Reconstruction by inpainting for visual anomaly detection［J］. Pattern Recognition， 2021， 112： 107706. DOI： 10.1016/j.patcog.2020.107706 .

[5] ZAVRTANIK V， KRISTAN M， SKOČAJ D. DRÆM—A discriminatively trained reconstruction embedding for surface anomaly detection［C］//2021 IEEE/CVF International Conference on Computer Vision （ICCV）. New York： IEEE Press， 2021： 8310-8319. DOI： 10.1109/ICCV48922.2021.00822 .

[6] ZAVRTANIK V， KRISTAN M， SKOČAJ D. DSR—A dual subspace re-projection network for surface anomaly detection［C］//European Conference on Computer Vision. Cham： Springer， 2022： 539-554.10.1007/978-3-031-19821-2_31. DOI: 10.1007/978-3-031-19821-2_31 .

[7] VAN DEN OORD A， VINYALS O， KAVUKCUOGLU K. Neural discrete representation learning［C］//Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 6309–6318. DOI： 10.5555/3295222.3295378 .

[8] RAZAVI A， VAN DEN OORD A， VINYALS O. Generating diverse high-fidelity images with VQ-VAE-2［EB/OL］. 2019： arXiv： 1906.00446.

[9] HO J， JAIN A， ABBEEL P. Denoising diffusion probabilistic models［J］. Advances in Neural Information Processing Systems， 2020， 33： 6840-6851. DOI： 10.48550/arXiv.2006.11239 .

[10] HU M H， WANG Y J， CHAM T J， et al. Global context with discrete diffusion in vector quantised modelling for image generation［C］//2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2022： 11492-11501. DOI： 10.1109/CVPR52688.2022.01121 .

[11] RONNEBERGER O， FISCHER P， BROX T. U-net： Convolutional networks for biomedical image segmentation［C］//International Conference on Medical Image Computing and Computer-Assisted Intervention. Cham： Springer， 2015： 234-241.10.1007/978-3-319-24574-4_28. DOI: 10.1007/978-3-319-24574-4_28 .

[12] DENG J， DONG W， SOCHER R， et al. ImageNet： A large-scale hierarchical image database［C］//2009 IEEE Conference on Computer Vision and Pattern Recognition. New York： IEEE Press， 2009： 248-255. DOI： 10.1109/CVPR.2009.5206848 .

[13] PERLIN K. An image synthesizer［J］. ACM SIGGRAPH Computer Graphics， 1985， 19（3）： 287-296. DOI： 10.1145/325165.325247 .

[14] ZHANG H， WANG Z， WU Z X， et al. DiffusionAD： Norm-guided one-step denoising diffusion for anomaly detection［EB/OL］. 2023： arXiv： 2303.08730.

[15] MOUSAKHAN A， BROX T， TAYYUB J. Anomaly detection with conditioned denoising diffusion models［EB/OL］. 2023： arXiv： 2305.15956.

[16] BERGMANN P， FAUSER M， SATTLEGGER D， et al. MVTec AD—A comprehensive real-world dataset for unsupervised anomaly detection［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2019： 9584-9592. DOI： 10.1109/CVPR.2019.00982 .

[17] MISHRA P， VERK R， FORNASIER D， et al. VT-ADL： A vision transformer network for image anomaly detection and localization［C］//2021 IEEE 30th International Symposium on Industrial Electronics （ISIE）. New York： IEEE Press， 2021： 1-6. DOI： 10.1109/ISIE45552.2021.9576231 .

[18] BERGMANN P， FAUSER M， SATTLEGGER D， et al. Uninformed students： Student-teacher anomaly detection with discriminative latent embeddings［C］//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2020： 4182-4191. DOI： 10.1109/CVPR42600.2020.00424 .

[19] DEFARD T， SETKOV A， LOESCH A， et al. PaDiM： A patch distribution modeling framework for anomaly detection and localization［C］//International Conference on Pattern Recognition. Cham： Springer， 2021： 475-489.10.1007/978-3-030-68799-1_35. DOI: 10.1007/978-3-030-68799-1_35 .

[20] LI C L， SOHN K， YOON J， et al. CutPaste： Self-supervised learning for anomaly detection and localization［C］//2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）. New York： IEEE Press， 2021： 9659-9669. DOI： 10.1109/CVPR46437.2021.00954 .

[21] YI J H， YOON S. Patch SVDD： Patch-level SVDD for anomaly detection and segmentation［C］//Asian Conference on Computer Vision. Cham： Springer， 2021： 375-390.10.1007/978-3-030-69544-6_23. DOI: 10.1007/978-3-030-69544-6_23 .

[22] COHEN N， HOSHEN Y. Sub-image anomaly detection with deep pyramid correspondences［EB/OL］. 2020： arXiv： 2005.02357.

[23] LIANG Y F， ZHANG J N， ZHAO S W， et al. Omni-frequency channel-selection representations for unsupervised anomaly detection［J］. IEEE Transactions on Image Processing： A Publication of the IEEE Signal Processing Society， 2023， 32： 4327-4340. DOI： 10.1109/TIP.2023.3293772 .

基金资助

国家自然科学基金(U193607)