基于改进U-Net的白车身焊点定位研究

Welding Spot Positioning Method for Body in White Based on Improved U‑Net

摘要

针对汽车白车身生产车间环境恶劣，光污染严重，视觉系统与其他装备相结合检测白车身焊点质量时难以准确定位、效率低下的问题，提出了一种改进U-Net的焊点分割算法。通过改进卷积结构更好地融合特征层语义信息，减轻网络结构；然后改进损失函数，融入注意力机制，在正负样本不均匀的情况下更好地挖掘前景，以获取不同尺度的空间特征并建立长期的通道关系。与原始的U-Net网络相比，所提RPSA-U-Net网络的Dice系数提高了8.76%，达到0.983 6，MIOU提高了11.5%，达到0.967 8，网络参数量减少7%。再结合图像处理方法找到焊点中心位置，效率和精度更高，具有应用价值。

Abstract

Aiming at the harsh environment and serious light pollution in the production workshop of automobile body-in-white， it is difficult to accurately locate and inefficient when the vision system and other equipment are combined to detect the quality of the solder joints. An improved U-Net image segmentation algorithm was proposed. By improving the convolution structure to better fuse the semantic information of the feature map and lighten the network structure. Improve the loss function and integrate the attention mechanism to better mine the foreground in the case of uneven positive and negative samples， obtain spatial features of different scale feature maps and establish long-term channel relationships. Compared with the original U-Net network， the Dice coefficient of the proposed RPSA-U-Net network is increased by 8.76% to 0.983 6， the MIOU is increased by 11.5% to 0.967 81， and the network parameters are also reduced by 7%. Combined with the image processing method to find the center of the solder joint， the efficiency is higher and the precision is higher， and it has application value.

Graphical abstract

关键词

语义分割 / 焊点定位 / 深度学习 / 注意力机制

Key words

semantic segmentation / solder joint positioning / deep learning / attention mechanism

0 引 言

随着汽车产业的发展，汽车产量逐年增加，人们对汽车的创新及安全性要求也随之提高。汽车白车身作为全车最大的零件，承载着其他所有零件，在某种程度上决定了汽车的安全性能。在生产过程中，焊接是白车身运用最多的连接工艺，一个白车身的点焊个数能达到4 000~5 000个，所以焊点的质量检测就显得尤为重要。通过计算机视觉对焊点进行定位，进而配合其他焊点质量检测装备的方式与传统人工检测和离线示教的方法相比可以大大提升检测效率，实现实时定位误差补偿。王树强等^［1］利用传统图像处理提取目标特征的方法易受到光线、污渍等各种环境因素的影响，从而出现误检和漏检的情况，造成焊点定位精度和效率低下。何智成等^［2］通过目标检测的方式对焊点定位，但难以进一步定位到焊点圆心位置。图像分割是计算机视觉的基础，是理解图像信息的重要方式，能大大降低环境因素的影响，可以以像素级的精度将焊点从图像中分离出来^［3］。

2015年，Long J等^［4］提出了一种语义分割的框架，即Fully Convolutional Networks（FCN），使用全卷积与反卷积操作，可以接受任意大小的图像并输出相同大小的预测结果，产生像素级的分类效果；受ResNet残差网络的启发，Xiao X等^［5］提出了Res-U-Net，通过引入加权注意机制和跳过连接解决视网膜血管的分割问题；Chen L C等^［6］将深度卷积神经网络与条件随机场相结合，在测试集中达到了71.6%的IOU准确率，开创了PASCAL VOC-2012图像分割任务的新水平。

U-Net网络^［7］的提出构建了一套完整的encoder（编码器）-decoder（解码器）结构，不同于FCN通过对应像素值相加融合特征，UN-et采用通道拼接的方式形成更厚的特征层，保留了更多维度，更利于图像分割。Guan S等^［8］受密集连接的启发，提出一种全密集U-Net来去除图像中的伪影；Huang H等^［9］利用全面的跳过连接和深度监督，构造出了U-Net 3+网络，不仅将低级细节与不同尺度特征图的高级语义相结合，而且从全尺寸聚合特征图中学习分层表示，提高检测精度和计算效率。Chen L C等^［10］提出了一种专门处理语义分割的DeepLab系列网络，去掉池化层减少信息丢失，引入空洞卷积，在有效扩大感受野的情况下不增加计算量。

深度学习的迅速发展使得神经网络的结构越来越复杂，训练所需时间越来越长。相比之下，UNet网络结构简单，只需要较小的数据集就能达到比较好的分割效果^［11］，汽车白车身的焊点定位类别单一、结构单一，因此选用U-Net网络为基础网络进行修改，并且通过实验证明，提出的RPSA-U-Net网络性能较原网络有显著提升。

1 基于U-Net的改进模型

U-Net网络是一种常见的图像分割模型，简单、高效、容易构建，它提出的初衷是为了解决医学图像分割问题，其结构如图 1 所示，通过对输入图片进行一系列卷积、池化、下采样操作，获得不同尺寸的特征图，然后对最后一层的特征图进行上采样或反卷积，再与上一层特征图进行拼接，最终输出理想尺寸的预测结果。

U-Net网络相比于其他语义分割模型规模较小，但在复杂车间环境下对白车身焊点检测的精度还有待提高。当增加网络深度以增大感受野时又会导致细节的丢失，不利于焊点这类小目标的检测。为此，从卷积结构、损失函数对UNet网络进行改进，并融合注意力机制建立通道关联，得到最终的RPSA-U-Net网络模型来弥补U-Net的不足。

1.1 卷积结构改进

标准卷积核的参数量和运算量都较大。对于输入尺寸大小为w×h×c，输出尺寸大小为w₁×h₁×c₁的特征图，拟定卷积核大小为k×k，分组卷积的运算过程如图 2 所示，若使用标准卷积核，则参数量为

k\times k\times c\times c_{\mathrm{1}},（1）

计算量为

k\times k\times c\times c_{\mathrm{1}}\times w_{\mathrm{1}}\times h_{\mathrm{1}}\mathrm{。}（2）

若使用分组卷积，将卷积核分为g组，则参数量为

k\times k\times \frac{c}{g}\times \frac{c_{\mathrm{1}}}{g}\times g,（3）

计算量为

k\times k\times \frac{c}{g}\times \frac{c_{\mathrm{1}}}{g}\times g\times w_{\mathrm{1}}\times h_{\mathrm{1}}\mathrm{。}（4）

由式（1）~式（4）可知，使用分组卷积时的参数量和计算量只为使用标准卷积时的1/g，group设置越大，数值减小越多。分组卷积的应用可以使网络模型更轻量化，同时还能使模型以并行方式在多个GPU上进行训练，提高训练效率。

受He K等^［12］提出的残差网络的启发，利用其shortcut短接思想，通过跳过一些层来解决梯度消失的问题，并融合分组卷积，用3×3分组卷积改变特征维数，再用一个标准卷积克服分组卷积带来的通道间信息不流动现象，同时进一步下采样。在每一层的两个3×3卷积两端用shortcut连接，并使用1×1分组卷积保证维度相同，同时减少运算量。通过使用BN（Batch Normalization）层来解决梯度消失或梯度爆炸的现象，采用Dropout结构避免网络过拟合，提高模型泛化能力，用LeakyReLU激活函数避免负半轴的信息丢失。最终形成新的卷积结构如图 3 所示，在降低整体参数量的同时可以有效避免随着深度增加网络出现的过拟合现象。

1.2 损失函数改进

在分类问题中常使用交叉熵损失函数，针对白车身焊点的定位检测属于二分类问题，即焊点和背景，若输入图像中某像素点为焊点的概率为P，则为背景的概率为\mathrm{1}-P，交叉熵损失函数的表达式为

L=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^n}-[x_{i}ln{y}_i+(\mathrm{1}-x_i)ln(\mathrm{1}-y_i)],（5）

式中：x_i 为第i个像素点的label，正类为1，负类为0；y_i 为第i个像素点预测为正样本的概率。

Dice系数是图像分割的重要评价指标，是一种集合相似度度量函数，通常被用来衡量网络预测结果和label之间的相似程度，大小在0~1之间，其公式为

Dice=\frac{\mathrm{2}\left|X\bigcap Y\right|}{\left|X\right|+\left|Y\right|},（6）

Dice损失函数公式为

DiceLoss=\mathrm{1}-\frac{\mathrm{2}\left|X\bigcap Y\right|}{\left|X\right|+\left|Y\right|},（7）

式中：|X⋂Y|为X与Y的交集，在数学上表示对应的像素矩阵点乘后再将结果的各元素相加的总和；|X|和|Y|为对像素矩阵各元素直接求和或平方和。

交叉熵损失函数是一种常用的分类损失函数，它注重平等地对每个像素点分类，然后对所有像素损失取平均，但针对本数据集而言，焊点区域在图片整体占比较小，因此训练出来的模型会更偏向于预测为背景类，影响预测结果的准确性。Dice Loss是一种区域相关性较强的损失函数，将其引入可使网络在训练中更加注重对前景的挖掘，能够以更整体的方式看待预测结果，在焊点和背景像素点数量不平衡的情况下有着不错的效果。因此，将Dice损失函数和交叉熵损失函数结合，在关注焊点区域的同时克服了Dice Loss带来的训练不稳定的问题。令λ为交叉熵损失的权重系数，通过调节λ的大小改变网络对这种损失函数的关注程度，进而设计了一个新的损失函数（DC Loss），其表达式为

DCLoss=\lambda \times L+(\mathrm{1}-\lambda )\times DiceLoss\mathrm{。}（8）

对λ的取值采用消融实验的方式进行比较，最终发现，当λ=0.7时，网络的性能最好。

1.3 注意力机制融合

人类视觉的注意力机制是关注所有信息的某一部分，同时忽略其他信息，同理，计算机视觉的注意力机制关注图片的局部区域，而忽略其他不重要的区域^［13］。因此，通过引入注意力机制，可以使网络在训练过程中更关注对焊点区域的学习。将Pyramid Squeeze Attention （PSA模块）^［14］融入改进网络，在U-Net网络执行拼接操作之前将encoder部分每一层的特征图通过PSA注意力机制，利用多尺度金字塔卷积结构来整合输入特征图的信息，通过对张量通道维度的压缩得到不同尺度特征图的空间特征和注意力权重，进而进行拼接构建跨维度交互，再通过softmax对输出进行加权，由此建立一个长期的通道依赖。通过融入PSA注意力机制，改进后的网络模型可以对不同尺度的特征图提取有效信息，并对通道建立长期稳定的依赖关系，其主要流程如图 4 所示。

综上所述，将PSA注意力机制融入U-Net神经网络，结合交叉熵损失函数和Dice损失函数的优缺点对网络损失函数进行优化，并改进卷积结构，结合分组卷积和shortcut跳跃思想，使整体网络更加轻量化，更好地将深层和浅层信息融合，从而提高网络性能。最终提出的RPSA-U-Net网络结构如图 5 所示。

2 实验分析

2.1 数据集制作

所提焊点检测网络是基于U-Net网络改进的模型，和其他目标检测或语义分割的网络相比，只需要较小的训练样本，因此，选用了400张不同光线下不同位置的白车身焊点图片作为训练图像，包括过明、过暗、油污、生锈等各种车间内常见的情况，并用labelme软件对焊点位置进行像素级标注，再选260张图片作为验证集，大小均为224×224。

2.2 评价指标

语义分割模型的评价指标通常有Pixel Accuracy（PA），Mean Intersection over Union（MIOU）以及Dice系数。

PA表示分类正确的像素数量占总像素数量的比重，操作简单，但不适合评价焊点这种小目标的语义分割效果；MIOU是语义分割的标准度量，即为每一类的平均交并比，其计算公式为

MIOU=\frac{\mathrm{1}}{k+\mathrm{1}}{\displaystyle \sum _{i=\mathrm{0}}^k}\frac{p_{ii}}{{\sum }_{j=\mathrm{0}}^k{p}_{ij}+{\sum }_{j=\mathrm{0}}^k{p}_{ji}-p_{ii}},（9）

式中：k+1为总的类别数，对于二分类问题，k=1；p_ij 为将i预测为j类，表示False Positive（FP）；p_ii 为将i预测为i类，表示True Positive（TP）；p_ji 为将j预测为i类，表示False Negative（FN）。

通过建立混淆矩阵得到准确的MIOU值，同时采用1.2节中提到的Dice系数作为评价指标，综合两个系数评判网络效果。

2.3 平台搭建及实验结果

所有的实验均在pytorch深度学习框架下进行，对400张白车身焊点图像进行训练，通过消融实验来证明改进的合理性。根据前文中提到的改进思路划分7种工况分别训练，如表 1 所示，训练轮数为300个epoch，选用Adam优化器，batchsize设为2，学习率为0.001，每10步打印1次训练损失，对每个epoch的 Dice系数和MIOU值取平均数，训练结束后比较每种工况下的MIOU和Dice系数，并在验证集上进行验证，比较检测结果。

各训练模型最后1个epoch的MIOU，Dice系数以及参数量情况如表 2 所示。

由表 2 结果可知，与原始U-Net相比，所有改进思路均有提升效果，R-U-Net网络将Dice系数提高了1.4%，MIOU提高了1.26%；G-U-Net网络的参数量相比原始网络减少了36%，Dice系数提高了4.8%，MIOU提高了4.6%；L-U-Net和PSA-U-Net网络对焊点检测效果的提升程度比较接近，Dice系数分别提高了6.38%和6.31%，MIOU分别提高了6.8%和6.7%；RGL-U-Net网络在将参数量减少29.6%的同时，Dice系数提高了6.9%，MIOU提高了7.8%；最终的RPSA-U-Net网络检测效果最好，相较于原始UNet网络，其Dice系数提高了8.76%，达到0.983 6，MIOU提高了11.5%，达到0.967 81，同时网络参数量减少了7%。

最终提出的RPSA-UNet网络在训练过程中的损失变化曲线如图 6 所示，由于batchsize设为2，即每次传入2张训练样本，400张样本，300轮，共计6×10⁴次迭代。可知在第300个epoch时，损失基本趋于稳定，模型达到收敛状态。Dice系数变化曲线和MIOU变化曲线如图 7 所示，在前10个epoch数值都迅速增加，最后在第275个epoch左右逐渐趋于稳定。

网络模型在验证集上的分割效果如图 8 所示，从上往下分别为原图、原始U-Net和提出的RPSA-U-Net模型的分割结果。通过实验对比可知，光照环境对分割结果影响很大，在光线较强或较弱时，U-Net网络会出现检测结果不完整甚至漏检的情况；当图像中出现类似焊点的干扰信息时，U-Net网络出现了误检的情况；在焊点被部分遮挡的情况下，U-Net无法检测到相关信息。综上，最终提出的RPSA-U-Net鲁棒性更强，分割效果明显提升。

2.4 图像后处理

传统的霍夫圆检测算法复杂度随模型参数量呈指数增长^［15］。理想的焊点在图像中呈正圆形，但由于拍摄角度在大多数情况下并不垂直于焊点平面，且由于在生产过程中存在误差，实际的白车身焊点在图像中更近似于椭圆。由此，本文对RPSA-U-Net的图像分割结果进行椭圆拟合，从而找到焊点圆心，相比于传统的图像处理方法，前者提取焊点圆心的效果更好。为进一步证实找到焊点中心，使用所提方法对分割结果图进行圆心定位，再用图像处理的方法进行圆心定位检测，主要流程为：导入图片、灰度化、滤波处理、canny 边缘检测、霍夫圆变换。两种方法在过明、过暗、生锈、污渍几种不同环境下的圆心检测结果对比如图 9 所示。第一行是所提方法拟合出的焊点圆心图，第二行是基于传统图像处理方法找到的焊点中心图。通过对比可知，光线对传统图像处理方法的影响很大，在光线过明或过暗情况下都难以识别到完整的焊点轮廓，更无法准确检测出圆心位置；在生锈或有污渍的情况下能够检测到部分焊点的圆心，但噪点会对检测效果产生很大的影响，容易出现误检的情况。总得来说，使用传统图像处理方法检测焊点圆心鲁棒性差，且易受到环境的影响，而基于RPSA-U-Net的深度学习检测方法鲁棒性强，对环境的敏感度低，检测效果更好。相比于人工检测，也能在提高效率的同时保证检测精度。

3 结 论

为解决白车身焊点质量检测过程中基于计算机视觉定位容易受到环境因素的影响，从而影响定位精度和检测效率的问题，提出了一种基于U-Net网络改进的语义分割模型RPSA-U-Net，通过融入shortcut跳跃思想，加强深层和浅层特征图的信息融合；合理运用分组卷积减轻网络结构，减少网络参数和运算量；融合Dice Loss改进损失函数，用交叉熵损失函数来平衡Dice Loss造成的梯度不平衡现象，并通过实验找到效果最好的融合系数；融入PSA注意力机制，能够有效建立通道依赖，提升网络性能。所提RPSA-U-Net模型受光线、生锈、油污等环境因素的影响更小，鲁棒性更强，能够适应车间恶劣的生产环境，并结合椭圆拟合的图像处理方法可进一步找到焊点圆心，从而配合其他自动化设备有效检测焊点质量，大大提高了检测效率，具有应用价值。

参考文献

[1] 王树强，周游，陈昊雷，等.基于激光视觉的钢结构焊缝图像处理系统［J］.焊接学报，2022，43（2）：101-105.

[2] WANG Shuqiang， ZHOU You， CHEN Haolei，et al.Image processing system of welding seam of steel structure based on laser vision［J］.Transactions of the China Welding Institution，2022，43（2）：101-105.（in Chinese）

[3] 何智成，王振兴.基于改进YOLOv2的白车身焊点检测方法［J］.计算机工程，2020，46（11）：246-254.

[4] HE Zhicheng， WANG Zhenxing.Welding spot detection method for body in white based on improved YOLOv2［J］.Computer Engineering，2020，46（11）：246-254. （in Chinese）

[5] 黄鹏，郑淇，梁超.图像分割方法综述［J］.武汉大学学报（理学版），2020，66（6）：519-531.

[6] HUANG Peng， ZHENG Qi， LIANG Chao.Overview of image segmentation methods［J］.Journal of Wuhan University（Natural Science Edition），2020，66（6）：519-531. （in Chinese）

[7] LONG J， SHELHAMER E， DARRELL T.Fully convolutional networks for semantic segmentation［C］//CVPR，2015：3431-3440.

[8] XIAO X， LIAN S， LUO Z，et al.Weighted Res-UNet for high-quality retina vessel segmentation［C］//9th International Conference on Information Technology in Medicine and Education（ITME），2018：327-331.

[9] CHEN L C， PAPANDREOU G， KOKKINOS I，et al.Semantic image segmentation with deep convolutional nets and fully connected CRFs［C］//International Conference on Learning Representations，2014：357-361.

[10] RONNEBERGER O， FISCHER P， BROX T.U-Net：convolutional networks for biomedical image segmentation［C］//Medical Image Computing and Computer-Assisted Intervention，2015：234-241.

[11] GUAN S， KHAN A， SIKDAR S，et al.Fully dense UNet for 2D sparse photoacoustic tomography artifact removal［J］.IEEE Journal of Biomedical and Health Informatics，2020，24（2）：568-576.

[12] HUANG H， LIN L， TONG R，et al.UNet 3+：a full-scale connected UNet for medical image sSegmentation［C］//ICASSP IEEE International Conference on Acoustics，Speech and Signal Processing（ICASSP），IEEE，2020：1055-1059.

[13] CHEN L C， PAPANDREOU G， KOKKINOS I，et al.DeepLab：semantic image segmentation with deep convolutional Nets，Atrous convolution，and fully connected CRFs［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2018，40（4）：834-848.

[14] 李原，李燕君，刘进超，等.基于改进Res-UNet网络的钢铁表面缺陷图像分割研究［J］.电子与信息学报，2022，44（5）：1513-1520.

[15] LI Yuan， LI Yanjun， LIU Jinchao，et al.Research on segmentation of steel surface defect images based on improved Res-UNet network［J］.Journal of Electronics & Information Technology，2022，44（5）：1513-1520. （in Chinese）

[16] HE K， ZHANG X， REN S，et al.Deep Residual learning for image recognition［J］.IEEE，2015.arXiv preprint arXiv：

[17] 郭彤，赵倩，赵琰，等.多分支融合注意力机制的行人重识别方法［J］.计算机工程与设计，2022，43（8）：2260-2267.

[18] GUO Tong， ZHAO Qian， ZHAO Yan，et al.Person re-identification method based on multi-branch fusion attention mechanism［J］.Computer Engineering and Design，2022，43（8）：2260-2267. （in Chinese）

[19] ZHANG H， ZU K， LU J，et al.EPSANet：an efficient pyramid squeeze attention block on convolutional neural network［J］.Computer Science，2021.arXiv preprint arXiv：

[20] 马亚东.基于机器视觉的白车身焊点智能精确定位方法研究［D］.长沙：湖南大学，2021.

基金资助

国家重点研发计划资助项目(2020YFA0710904-03)

国家自然基金联合基金资助项目(U20A20285)

湖南省创新型省份建设专项资助项目(2019XK2104)

湖南省高新技术产业科技创新引领计划资助项目(2020GK410)