基于三重注意力机制的带钢表面显著性缺陷检测

Salient object detection for strip steel surface defects based on triple attention mechanism

摘要

带钢表面缺陷普遍存在低对比度、类内差异显著及类间相似性高的特点，对模型检测精度构成巨大挑战。为解决上述问题，提出一种基于三重注意力机制的显著性目标检测模型，旨在实现带钢表面缺陷检测。针对主干网络提取的粗缺陷特征，构建包含三个分支的特征细化模块，各分支从不同维度关注带钢表面缺陷的通道和空间特征。同时，为细化显著目标的边缘细节，构建一种局部注意力特征过滤模块，并将其嵌入到特征细化模块中，提高模型对缺陷区域的敏感性。实验结果表明，与现有方法相比，本文所提模型在显著性目标检测任务中展现显著优势，其平均绝对误差、 加权F测度等评价指标均优于同类方法，验证了所提方法的有效性和鲁棒性。

Abstract

Surface defects on strip steel have characteristics such as low contrast， large intra⁃class differences， and inter⁃class similarity， which bring significant challenges to the accuracy of model detection. To address these challenges， a salient object detection model based on a triple⁃attention mechanism was proposed to achieve more accurate detection of surface defects on strip steel. A feature refinement module， consisting of three branches， was constructed for the coarse defect feature maps extracted from the model backbone network. Each branch was designed to focus on the channel and spatial features of surface defects on the strip steel from different perspectives. Additionally， to refine the edge details of salient targets， a local attention feature filter module was built and embedded into the feature refine module as a plugin， which enhances the model’s sensitivity in defect areas. The experimental results indicated that the proposed model had significant advantages over existing methods in salient object detection and outperforms similar methods in evaluation indicators such as mean absolute error and weighted F-measure， thereby verifying the effectiveness and robustness of the proposed method.

Graphical abstract

关键词

缺陷检测 / 注意力机制 / 特征提取 / 特征融合

Key words

defect detection / attention mechanism / feature extraction / feature fusion

0 引言

在带钢生产流程中，产品质量管控是工业制造过程中的关键环节。作为重要的金属原材料，带钢广泛应用于建筑、交通、机械等领域，其质量优劣直接影响工程结构的稳定性和使用寿命。为了满足市场需求，工业生产必须在提高带钢生产效率的同时，确保产品的质量。

受制造工艺、生产环境等多因素叠加影响，带钢表面缺陷呈现出显著的多样性特征，给自动缺陷检测带来三大核心挑战：低对比度、类内差异和类间相似性。在此背景下，确保带钢表面缺陷检测模型在复杂多变的生产环境中，对各类缺陷实现精准且高效识别至关重要。

构建高精度缺陷检测模型的核心在于有效提取缺陷特征，而注意力机制是获取兼具丰富语义信息与空间信息特征图的主流方法之一。现有的基于注意力机制的相关方法可划分为两类：一类是基于通道注意力机制，另一类基于空间注意力机制。这两类注意力机制能明确构建通道或空间维度上的依赖关系，通过学习注意力权重，引导模型主动聚焦于待检测的目标区域。例如，TANG等^［1］提出一种轻量级印刷电路板（PCB）缺陷检测模型，该模型引入双域注意力机制，可有效提取微小尺寸PCB缺陷特征，显著提升缺陷识别的准确性；LEI等^［2］设计了一种新型多通道时空图卷积网络用于交通预测，该网络借助注意力机制为不同通道分配差异化权重，使模型能够精准捕捉并利用交通流的核心特征。VIEIRA等^［3］提出基于注意力的新型差分网络（AttentDifferNet）用于工业检测任务，在三个异常检测数据集的全对象测试中，检测性能均优于标准差分网络。然而，当前这些方法通过计算通道注意力或者空间注意力权重获取丰富的特征表示，但在提取缺陷特征的过程中，对于通道维度和空间维度之间的交互关联挖掘仍存在明显的局限性。

直观角度出发，在提取带钢表面缺陷图像特征时，若能通过注意力权重计算获取丰富的特征表示，同时着重强调通道与空间维度间的跨维度交互信息捕获，将为解决自动缺陷检测任务中面临的低对比度、类间相似性等问题提供有效路径。为此，提出了一种基于三重注意力的带钢表面缺陷显著性目标检测模型。首先，以ResNet作为主干网络，对带钢图像进行多尺度特征提取；其次，针对每个尺度下的特征图，构建三重注意力模块，以便从三个不同角度（即通道⁃高度、通道⁃宽度和宽度⁃高度）捕获特征图在通道与空间维度上的交互信息；同时，构建局部注意力特征过滤模块，并将其嵌入到特征细化模块中，提高模型在缺陷区域的敏感性；最后，融合细化的多尺度特征图，生成具有更强表达能力的融合特征，提升模型对带钢表面缺陷的检测精度。

1 显著性目标检测模型架构

提出一种基于三重注意力的带钢表面缺陷显著性目标检测模型，总体架构如图1（a）所示。该模型由特征提取模块、特征细化模块和特征聚合模块三部分构成。首先，在特征提取模块中，采用ResNet作为主干网络，对带钢缺陷图像进行多尺度特征提取；然后，通过特征细化模块获取缺陷特征的全局信息，并对粗尺度特征进行细化；最后，特征聚合模块对经过细化的多尺度特征进行融合，以获得丰富的语义信息，从而解决自动缺陷检测任务中低对比度、类间相似性等问题。

1.1 特征提取模块

选取ResNet⁃50作为骨干特征提取器，用于提取带钢表面缺陷图像的粗尺度特征。该模型的总体架构如图1（a）所示，其中特征提取模块由1个卷积层和4个残差学习块（分别记为ResNet Block‑1、ResNet Block‑2、ResNet Block‑3和ResNet Block‑4）组成，其输出特征图统一表示为R_i,i\in \{\mathrm{0,1},\mathrm{2,3},\mathrm{4}\}，其中R_{\mathrm{0}}表示卷积输出。与原始的ResNet‑50不同，采用Swin Transformer的相似思路，对4个残差学习块的层数进行调整，最终确定各块的层数配置为（3，3，27，3）。此外，为进一步优化特征提取效果，还对原始网络的关键组件做了两处改进：一是将原始尺寸为7×7、步长为2的卷积层，替换为尺寸4×4，步长为2的卷积层；二是采用Layer Norm替代批处理归一化操作，对卷积层的输出特征进行规范化处理。上述调整能够更有效地捕获缺陷图像的细节信息。

1.2 特征细化模块

在特征提取阶段，采用ResNet提取缺陷图像的多尺度特征。然而，受限于卷积操作的固有感受野，ResNet在全局语义信息的捕捉与提取上存在明显不足。为解决该问题，设计针对特征的细化模块，具体包括三重注意力模块与局部注意力特征过滤模块（如图1（a）所示）。其中，三重注意力模块用于捕获特征的全局语义信息，局部注意力特征过滤模块用于优化缺陷区域的细节信息。

1.2.1 三重注意力模块

三重注意力模块借助相关性计算分配注意力权重，能够有效地捕获与缺陷相关的关键特征，同时有效抑制无关背景特征的干扰。此外，该模块可实现特征在通道‑高度、通道⁃宽度和高度⁃宽度三个不同维度视角下的有机交互。

图1（b）呈现了三重注意力模块的结构，其具体实现如下：该模块由3个并行分支构成，旨在捕获输入张量 x 在不同维度上的交互信息。对于尺寸为C\times H\times W的输入张量\mathit{x}，将其传入3个分支，每个分支分别负责在特定维度间建立关联。

在第一个分支中，构建高度维度H和宽度维度W的交互关系。具体而言，先对通道维度C进行池化操作，将通道数降至2，得到张量{\mathit{x}}_{\mathrm{1}}（尺寸为2\times H\times W），如式（1）所示。随后，对张量{\mathit{x}}_{\mathrm{1}}依次进行3次卷积核大小为3×3的卷积运算，再经过Layer Norm层归一化处理，最终通过sigmoid激活函数生成注意力权重，并与原始输入张量\mathit{x}加权相乘。具体计算如式（2）所示。

x_{\mathrm{1}}=\mathrm{c}\mathrm{h}\mathrm{a}\mathrm{n}\mathrm{n}\mathrm{e}\mathrm{l}\mathrm{p}\mathrm{o}\mathrm{o}\mathrm{l}(x),（1）

{\widehat{x}}_{\mathrm{1}}=x_{\mathrm{1}}\otimes \delta (\mathrm{L}\mathrm{N}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(x_{\mathrm{1}}))))),（2）

式中：channelpool表示池化操作将通道维度降至2，LN表示层归一化操作，\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{k\times k}表示卷积核大小为k\times k的卷积操作。

第二个分支聚焦于通道维度C和宽度维度W间的关联。首先，将输入张量\mathit{x}绕W轴逆时针旋转90°，得到张量{\mathit{x}}_{\mathrm{2}}（尺寸为H\times C\times W）。随后，通过Z⁃pool池化操作，将高度维度H缩减至2，具体过程如式（3）所示。接着，对降维后的张量依次执行3次卷积核大小为3×3的卷积运算、Layer Norm层归一化，再经过Sigmoid激活函数生成注意力权重。最后，将该权值与{\mathit{x}}_{\mathrm{2}}进行加权相乘（计算过程如式（4）所示），并沿W轴顺时针旋转90°得到{\mathit{y}}_{\mathrm{2}}，以保持与原始输入\mathit{x}相同的尺寸。

x₂=Per（Z‑pool（x）），（3）

{\widehat{x}}_{\mathrm{2}}=x_{\mathrm{2}}\otimes \delta (\mathrm{L}\mathrm{N}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(\mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(x_{\mathrm{2}}))))),（4）

式中：Per表示置换操作，Z⁃pool表示将高度维度H降至2的池化操作，δ表示Sigmoid激活函数操作，LN表示归一化操作。

第三个分支以构建通道维度C和高度维度H的关联为目标，其逻辑与第二个分支类似。在完成三个分支的独立计算后，可得到对应不同维度关联的三类特征信息，将这三类信息进行元素相加，即可生成三重注意力模块的最终输出，具体计算过程如式（5）所示。该设计助力模型更高效地捕捉特征的全局语义信息，实现通道和空间之间的跨维度交互，提高对目标区域的关注能力。

y=\frac{\mathrm{1}}{\mathrm{3}}\left(y_{\mathrm{1}}\oplus y_{\mathrm{2}}\oplus y_{\mathrm{3}}\right)\mathrm{。}（5）

1.2.2 局部注意力特征过滤模块

在三重注意力模块中，建立通道⁃高度、通道‑宽度和高度⁃宽度3个不同维度间的关联，同时，引入新的局部注意力特征过滤模块，以进一步细化缺陷的边缘细节信息。

图1（c）为局部注意力特征过滤模块。首先，对特征\mathit{y}进行局部平均池化和局部最大池化，以捕获缺陷特征的局部信息。其次，通过归一化、ReLU激活和Sigmoid操作，生成两个注意力权重（{\mathit{W}}_{\mathrm{a}\mathrm{v}\mathrm{g}}和{\mathit{W}}_{\mathrm{m}\mathrm{a}\mathrm{x}}）。具体生成过程如式（6）和式（7）所示。接着，对特征\mathit{y}进行3×3卷积操作，并分别与{\mathit{W}}_{\mathrm{a}\mathrm{v}\mathrm{g}}和{\mathit{W}}_{\mathrm{m}\mathrm{a}}_x相乘，得到的结果相加得到最终的输出\mathit{z}，具体计算如式（8）所示。

W_{\mathrm{a}\mathrm{v}\mathrm{g}}=\delta (\mathrm{R}\mathrm{e}\mathrm{l}\mathrm{u}(\mathrm{B}\mathrm{N}(\mathrm{A}\mathrm{v}{\mathrm{g}}_{\mathrm{3}\times \mathrm{3}}(y)))),（6）

W_{\mathrm{m}\mathrm{a}\mathrm{x}}=\delta (\mathrm{R}\mathrm{e}\mathrm{l}\mathrm{u}(\mathrm{B}\mathrm{N}(\mathrm{M}\mathrm{a}{\mathrm{x}}_{\mathrm{3}\times \mathrm{3}}(y)))),（7）

z=(W_{\mathrm{a}\mathrm{v}\mathrm{g}}\otimes \mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(y))\oplus (W_{\mathrm{m}\mathrm{a}\mathrm{x}}\otimes \mathrm{C}\mathrm{o}\mathrm{n}{\mathrm{v}}_{\mathrm{3}\times \mathrm{3}}(y)),（8）

式中：BN表示批归一化操作。

1.3 特征聚合模块

尽管通过引入特征提取模块和特征细化模块，模型对目标区域和背景区域的区分能力已得到显著提升，但受同类缺陷尺度差异较大的影响，模型仍面临域内差异性带来的挑战。为此，设计了特征聚合模块，通过融合不同尺度的特征，充分利用低层特征所蕴含的丰富空间信息与高层特征具备的强大语义抽象信息，实现两类信息的高效交互，以解决缺陷尺度不一的问题。图2为特征聚合模块，具体实现如下：

首先，输入低级特征L_{\mathrm{i}}和高级特征L_{\mathrm{i}+}₁。为使高层特征分辨率与低层特征保持一致，需要对高层特征执行2倍上采样操作，随后将其与低层特征进行融合，得到特征F_{\mathrm{c}\mathrm{a}}_t。具体计算过程如式（9）所示。

F_{\mathrm{c}\mathrm{a}\mathrm{t}}=L_i\oplus \mathrm{U}\mathrm{p}\left(L_{i+\mathrm{1}}\right)，(9)

式中：Up表示上采样操作。

然后，对F_{\mathrm{c}\mathrm{a}\mathrm{t}}进行1×1卷积操作、归一化、ReLU激活、全局平均池化和全局最大池化，再通过激活函数Sigmoid生成注意力权重W_{\mathrm{i}}，如式（10）所示。

W_i=\delta \left(\mathrm{G}\mathrm{M}\mathrm{P}\left(\mathrm{G}\mathrm{A}\mathrm{P}\left(\mathrm{C}\mathrm{B}\mathrm{R}\left(F_{\mathrm{c}\mathrm{a}\mathrm{t}}\right)\right)\right)\right),（10）

式中：GAP和GMP表示平均、最大全局池化，CBR表示1×1卷积、规范化和ReLU激活操作。

接着，对低层特征和高层特征进行卷积操作，将生成的注意力权重W_{\mathrm{i}}分别与这两个特征加权相乘后求和，之后再进行1×1卷积操作、规范化和ReLU激活函数，得到最终的融合特征F_{\mathrm{i}}，如式（11）所示。

\begin{array}{l}{F}_i=\mathrm{C}\mathrm{B}\mathrm{R}((W_i\otimes \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(L_i))\oplus \\ (W_i\otimes \mathrm{C}\mathrm{o}\mathrm{n}\mathrm{v}(\mathrm{U}\mathrm{p}(L_{i+\mathrm{1}}))))\mathrm{。}\end{array}（11）

1.4 损失函数

为生成高质量的显著性图，使用融合损失与深度监督相结合的方法来训练模型，包括二值交叉熵（Binary Cross Entropy， BCE ^［4］）损失和边界交并比（Intersection Over Union， IOU ^［5］）损失。总的损失函数如式（12）所示。

L_{\mathrm{a}\mathrm{l}\mathrm{l}}={\displaystyle \sum _{i=\mathrm{1}}^{\mathrm{4}}}{L}_{\mathrm{b}\mathrm{c}\mathrm{e}}\left(S_i,G\right)+L_{\mathrm{i}\mathrm{o}\mathrm{u}}\left(S_i,G\right),（12）

式中：S_{\mathrm{i}}是由预测的F_{\mathrm{i}}获得的显著性图，该图对应所提方法的第i层。

二值交叉熵损失常用于二分类任务，记作L_{\mathrm{b}\mathrm{c}\mathrm{e}}，如式（13）所示。

\begin{array}{l}{L}_{\mathrm{b}\mathrm{c}\mathrm{e}}=-\sum _{\left(x,y\right)}\left[G\left(x,y\right)\mathrm{l}\mathrm{n}\left(S\left(x,y\right)\right)\right.+\\ \left.\left(\mathrm{1}-G\left(x,y\right)\right)\left(\mathrm{l}\mathrm{n}\left(\mathrm{1}-S\left(x,y\right)\right)\right)\right],\end{array}（13）

式中：G(x,y)表示图像中像素点(x,y)的真实标签，其中0表示背景，1表示缺陷对象；S(x,y)表示在相应像素点的预测概率。

边界交并比损失用来惩罚分类的不准确，记作L_{\mathrm{i}\mathrm{o}\mathrm{u}}，如式（14）所示。

L_{\mathrm{i}\mathrm{o}\mathrm{u}}=\mathrm{1}-\frac{\sum _{(x,y)}S\left(x,y\right)G\left(x,y\right)}{\sum _{(x,y)}S\left(x,y\right)+G\left(x,y\right)-S\left(x,y\right)G\left(x,y\right)}\mathrm{。}（14）

2 实验

2.1 实验设置

为证明所提出模型在带钢表面缺陷检测中的有效性，在公共数据集SD⁃saliency⁃900^［6］上进行相关实验。该数据集包含900张经过裁剪处理的图像，涵盖夹杂物、斑块和划痕3类缺陷类型，如图3所示。此外，SD⁃saliency⁃900数据集为每张图像提供了像素级标签注释，且所有图像均统一采用200×200像素的分辨率规格。

1）实验细节

所提方法的实验环境配置如下：基于 PyTorch 深度学习框架搭建，硬件采用 Intel （R） Core （TM） i7⁃8750H CPU（主频 2.20 GHz/2.21 GHz）、TITAN Xp GPU（显存 12 G），操作系统为 Ubuntu。训练集构建细节为：总计包含810张图像，其中540张源自SD⁃saliency⁃900数据集（每种缺陷类型各180张），剩余270张为受到椒盐噪声干扰的图像（噪声密度\rho =\mathrm{20}\mathrm{\%}，每种缺陷类型各90张）。训练阶段的数据预处理流程为：将每张图像I的尺寸调整至256×256，并执行Zscore归一化操作（计算公式为({\rm I}-\mu )/\delta，其中\mu=0.466 9，\delta=0.243 7。测试阶段则先将图像尺寸调整为256×256，并将输出的预测显著性图调整为200×200进行评估。模型参数初始化与训练设置如下：特征提取模块参数采用在ImageNet^［7］上预训练的ResNet⁃50参数，其余模块的参数则使用PyTorch默认的配置；优化器选择Adam^［8］，初始学习率设为\mathrm{l}\mathrm{r}=\mathrm{0.001}，动量参数\alpha =\mathrm{0.9}，训练批大小batch_size=8，其余参数设置为默认值。

2）评价指标

为评估本文提出方法的性能，并与其他主流检测方法展开对比，实验采用3个学术界广泛认可的评价指标，包括F⁃measure ^［9］、平均绝对误差（Mean Absolute Error， MAE）^［10］和结构度量（Structure Measure， SM）^［11］。其中，F⁃measure作为综合考虑显著性检测结果精确性（Precision）与召回率（Recall）的评价指标，其计算方式如式（15）所示。

F_{\beta }=\frac{\left(\mathrm{1}+{\beta }^{\mathrm{2}}\right)\times \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\times \mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}}{{\beta }^{\mathrm{2}}\times \mathrm{P}\mathrm{r}\mathrm{e}\mathrm{c}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}+\mathrm{R}\mathrm{e}\mathrm{c}\mathrm{a}\mathrm{l}\mathrm{l}},（15）

式中：β是调节Precision与Recall相对重要的参数。选择不同的β值，可灵活调整二者在F⁃measure综合评估中的权重占比。

平均绝对误差是一种常用的评价指标，用于衡量预测结果与真实值的绝对误差程度，记作MAE。计算过程如式（16）所示。

\mathrm{M}\mathrm{A}\mathrm{E}=\frac{\mathrm{1}}{n}\times \sum _i\left|S_i-G\right|,（16）

式中：n为样本数量，S_{\mathrm{i}}为预测值，G为真实值。

结构评价指标用于衡量图像分割结果的结构相似性，即分割结果与真实分割之间的结构一致性程度，记作SM。计算过程如式（17）所示。

\mathrm{S}\mathrm{M}=\alpha \times F_{\mathrm{o}\mathrm{b}\mathrm{j}}+\beta \times F_{\mathrm{r}\mathrm{e}\mathrm{g}},（17）

式中：F_{\mathrm{o}\mathrm{b}\mathrm{j}}表示分割结果中对象的结构相似性；F_{\mathrm{r}\mathrm{e}\mathrm{g}}表示分割结果中区域的结构相似性；\alpha \mathrm{、}\beta表示权重系数，用于平衡不同结构对总体结构相似性的贡献。

2.2 消融实验

为验证所提方法的有效性，在 SD‑saliency‑900 数据集上开展全面实验。实验采用MAE、SM及 F_β 值作为评价指标，对相关架构的定量评估结果如表 1 所示。

为了验证模型中各核心组件的必要性，设计并执行了一系列消融实验，实验结果如表1所示。实验仅以 ResNet 作为基准模型，在此基础上衍生出 4 种不同组件配置的变体模型。从表1可清晰观察到：当模型集成所有设计组件（即ResNet Block、TA、LAF和FA）时，性能达到最佳，这直接证明了所提模型中关键组件TA、LAF及FA的有效性。值得关注的是，单独引入TA或LAF时，模型性能的提升幅度并不显著，甚至低于TA与LAF协同集成时的性能表现，这也进一步表明，TA与LAF属于互补模块，需要同时考虑以实现最佳效果。

2.3 与其他方法比较

为进一步验证本文所提方法的有效性与鲁棒性，在SD⁃saliency⁃900数据集上开展了系统且全面的实验。将所提方法与11种当前主流的显著性检测方法进行对比，包括RCRR^［12］、2LSG^［13］、BC^［14］、PFANet^［15］、NLDF^［16］、R3Net^［17］、PiCANet^［18］、DACNet^［19］、BASNet^［20］、CPD^［21］及EDRNet^［22］。定量评估结果如表2所示，可视化对比结果如图4呈现。

图4展示了所提方法与其他先进方法的视觉对比结果。显然，本文的模型在图4的最后一列呈现出最优的缺陷检测结果，能够完整、准确地分割出缺陷区域。具体来看，前3行图像中缺陷区域与背景对比度较低，部分模型存在错误突出背景区域或缺陷分割不完整的问题；相比之下，本文方法在不引入任何背景干扰的情况下，能够准确完整地检测缺陷区域。此外，后3行图像属于背景复杂且具有挑战性的场景，多数现有模型生成的显著性图质量欠佳，存在边缘细节模糊或目标区域误突出等问题。而本文提出的模型仍能够有效地检测出缺陷区域。综上所述，所提方法在不同场景下均能实现缺陷区域的完整分割，进一步验证了其在缺陷检测任务中的有效性。

表2呈现了不同模型的定量评估结果。与其他模型相比，所提出的模型在MAE、SM和F_β 性能方面获得最优结果。具体而言，与DACNet相比，本文方法的MAE降低了0.24个百分点，SM与F_β 分别提升了0.74和1.28个百分点。相较于带钢显著性目标检测模型EDRNet，本文模型的SM和F_{\mathrm{\beta }}分别提高了1.28和1.53个百分点，MAE同步降低了0.36个百分点。这表明，所提方法相较现有先进模型实现了显著性改进。此外，即便在训练集引入10%与20%椒盐噪声的情况下，仍优于所有对比模型，充分证明其在钢材表面缺陷检测任务中具备更优的性能与鲁棒性。

3 结论

提出了一种基于三重注意力机制的缺陷检测模型，用于钢材表面缺陷检测任务。首先，采用ResNet⁃50提取缺陷图像的多尺度特征；接着，通过设计的新三重注意力模块和局部注意力特征过滤模块，有效挖掘多尺度特征全局和局部信息之间的关联，从而实现通道‑高度、通道⁃宽度和高度‑宽度的跨维交互，增强了缺陷区域和背景区域的区分能力。同时，使用特征聚合模块逐步融合细化的多尺度特征，实现了高层和低层特征之间的互补，有效解决了域内差异性的问题。在SD‑saliency‑900数据集上进行大量的实验，结果表明所提模型在解决缺陷检测问题上的有效性。

参考文献

[1] TANG Jun， WANG Zidong， ZHANG Hongyi， et al. A lightweight surface defect detection framework combined with dual-domain attention mechanism［J］. Expert Systems with Applications， 2024， 238（Part A）： 121726.

[2] LEI Tianyang， YANG Kewei， LI Jichao， et al. Multichannel spatial⁃temporal graph convolution network based on spectrum decomposition for traffic prediction［J］. Expert Systems with Applications， 2024， 238（Part F）： 122281.

[3] VIEIRA E SILVA A L， SIMÕES F， KOWERKO D， et al. Attention modules improve image‑level anomaly detection for industrial inspection： A DifferNet case study［C］//2024 IEEE/CVF Winter Conference on Applications of Computer Vision （WACV）， Waikoloa， 2024： 8231⁃8240.

[4] DE BOER P T， KROESE D P， MANNOR S， et al. A tutorial on the cross‑entropy method［J］. Annals of Operations Research， 2005， 134（1）： 19⁃67.

[5] RAHMAN M A， WANG Yang. Optimizing intersection‑over‑union in deep neural networks for image segmentation［C］//Advances in Visual Computing， Cham， 2016： 234⁃244.

[6] SONG Guorong， SONG Kechen， YAN Yunhui. Saliency detection for strip steel surface defects using multiple constraints and improved texture features［J］. Optics and Lasers in Engineering， 2020， 128： 106000.

[7] DENG Jia， DONG Wei， SOCHER R， et al. ImageNet： A large⁃scale hierarchical image database［C］//2009 IEEE Conference on Computer Vision and Pattern Recognition， Miami， 2009： 248⁃255.

[8] KINGMA D， BA J. Adam： A method for stochastic optimization［J］. Computer Science， 2014， 6：980-991.

[9] ACHANTA R， HEMAMI S， ESTRADA F， et al. Frequency tuned salient region detection［C］//2009 IEEE Conference on Computer Vision and Pattern Recognition， Miami， 2009： 1597⁃1604.

[10] PERAZZI F， KRÄHENBÜHL P， PRITCH Y， et al. Saliency filters： Contrast based filtering for salient region detection［C］//2012 IEEE Conference on Computer Vision and Pattern Recognition， Providence， 2012： 733⁃740.

[11] CHENG Mingming， FAN Dengping. Structure‑measure： A new way to evaluate foreground maps［J］. International Journal of Computer Vision， 2021， 129（9）： 2622⁃2638.

[12] YUAN Yuchen， LI Changyang， KIM J， et al. Reversion correction and regularized random walk ranking for saliency detection［J］. IEEE Transactions on Image Processing， 2018， 27（3）： 1311⁃1322.

[13] ZHOU Li， YANG Zhaohui， ZHOU Zongtan， et al. Salient region detection using diffusion process on a two layer sparse graph［J］. IEEE Transactions on Image Processing， 2017， 26（12）： 5882⁃5894.

[14] ZHU Wangjiang， LIANG Shuang， WEI Yichen， et al. Saliency optimization from robust background detection［C］//2014 IEEE Conference on Computer Vision and Pattern Recognition， Columbus， 2014： 2814⁃2821.

[15] ZHAO Ting， WU Xiangqian. Pyramid feature attention network for saliency detection［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， 2019： 3080⁃3089.

[16] LUO Zhiming， MISHRA A， ACHKAR A， et al. Non-local deep features for salient object detection［C］//2017 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）， Honolulu， 2017： 6593⁃6601.

[17] DENG Zijun， HU Xiaowei， ZHU Lei， et al. R3net： Recurrent residual refinement network for saliency detection［C］//Proceedings of the Twenty‑Seventh International Joint Conference on Artificial Intelligence， Stockholm， 2018： 684‑690.

[18] LIU Nian， HAN Junwei， YANG M H. PiCANet： Learning pixel wise contextual attention for saliency detection［C］//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition， Salt Lake City， 2018： 3089⁃3098.

[19] ZHOU Xiaofei， FANG Hao， LIU Zhi， et al. Dense attention⁃guided cascaded network for salient object detection of strip steel surface defects［J］. IEEE Transactions on Instrumentation and Measurement， 2022， 71： 1⁃14.

[20] QIN Xuebin， ZHANG Zichen， HUANG Chenyang， et al. BASNet： Boundary⁃aware salient object detection［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， 2019： 7471⁃7481.

[21] WU Zhe， SU Li， HUANG Qingming. Cascaded partial decoder for fast and accurate salient object detection［C］//2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition （CVPR）， Long Beach， 2019： 3902⁃3911.

[22] SONG Guorong， SONG Kechen， YAN Yunhui. EDRNet： Encoder-decoder residual network for salient object detection of strip steel surface defects［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（12）： 9709⁃9719.

基金资助

国家自然科学基金项目(62403405)

河南省科技计划项目(242102210092)

河南省科技计划项目(252102220046)

河南省科学技术研究联合基金项目(20240012)

河南省高等学校重点科研项目(25B520004)

教育部智能群系统工程技术研究中心开放基金项目(ZZU‑CISS‑2024004)