基于DeepLab-高效多尺度卷积注意力解码器的全位置焊接熔池识别与偏差测量方法

熊烨成 ,  刘海生 ,  王中任 ,  史铁林 ,  夏海 ,  杨洪波

中国机械工程 ›› 2025, Vol. 36 ›› Issue (12) : 2993 -3001.

PDF (5775KB)
中国机械工程 ›› 2025, Vol. 36 ›› Issue (12) : 2993 -3001. DOI: 10.3969/j.issn.1004-132X.2025.12.023
智能制造

基于DeepLab-高效多尺度卷积注意力解码器的全位置焊接熔池识别与偏差测量方法

作者信息 +

A Full-position Welding Pool Identification and Deviation Measurement Method Based on DeepLab-EMCAD

Author information +
文章历史 +
PDF (5913K)

摘要

提出了一种基于DeepLab-EMCAD的全位置焊接熔池识别与偏差测量方法。采用轻量级MobileNetV3网络作为模型编码器主干网络,并优化空洞空间金字塔池化模块,以减少模型参数量、提高分割效率。在解码器中集成EMCAD多注意力机制,提高熔池的分割精度。基于熔池分割结果,提出一种偏差计算方法来定量描述偏差。实验结果显示,相较于基线模型,所提出的模型在熔池分割中的平均交并比、平均像素精确度分别提高了5.72%和5.5%,推理时间缩短了29.69 ms,参数量减少了4.854×107个;相比于经典分割网络,所提出的模型在熔池边缘处理上效果更优,焊接偏差检测误差控制在0.1 mm之内。

Abstract

A method for full-position welding pool identification and deviation measurement was proposed based on DeepLab-EMCAD. A lightweight MobileNetV3 network was adopted as the backbone of the model encoder, and the atrous spatial pyramid pooling(ASPP) module was optimized to reduce the model parameters and improve the segmentation efficiency. The EMCAD multi-attention mechanism was integrated into the decoder to enhance the segmentation accuracy of the welding pools. A deviation calculation method was proposed to quantitatively describe the deviation based on the segmentation results of the welding pools. Experimental results show that compared with the baseline model, the proposed model improves the average intersection over union and average pixel accuracy in welding pool segmentations by 5.72% and 5.5% respectively, and the inference time is reduced by 29.69 ms, with the number of parameters decreasing by 4.854×107. Compared with classic segmentation networks, the proposed model has the best performance in handling the edges of the welding pools. The deviation detection errors are controlled within 0.1 mm.

Graphical abstract

关键词

管道全位置焊接 / 高效多尺度卷积注意力解码器(EMCAD) / 熔池 / 语义分割 / 偏差测定

Key words

pipe full position welding / efficient multi-scale convolutional attention decoder(EMCAD) / welding pool / semantic segmentation / deviation measurement

引用本文

引用格式 ▾
熊烨成,刘海生,王中任,史铁林,夏海,杨洪波. 基于DeepLab-高效多尺度卷积注意力解码器的全位置焊接熔池识别与偏差测量方法[J]. 中国机械工程, 2025, 36(12): 2993-3001 DOI:10.3969/j.issn.1004-132X.2025.12.023

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

在自动化焊接过程中,受材料和工艺的变化以及环境等不可控因素的影响,焊接轨迹会出现偏移1。在管道的自动化焊接中,不同焊接位置所要求的焊接工艺不同,容易发生焊偏,导致焊接成形不稳定,进而造成损失2。因此,实时的焊接偏差检测显得尤为重要,对保证焊接质量以及推进焊接智能化发展具有重要意义。

目前,基于视觉传感焊接偏差测量方法由于具有测量精度高、反应速度快和能够无接触式感知等优点成为主流方法3。视觉感知焊接偏差测量主要分为主动视觉和被动视觉4,其中,主动视觉主要采用结构光等主动光源向焊接区域投射来获取三维信息,但这种方法因为其检测区域通常设定在焊接前方,因此容易发生超前误差现象。被动视觉则是直接采集焊接区域的图像,可获得更直观的信息5,没有位置误差和时间滞后6。而焊接熔池因其蕴含有几何、灰度等多维特征信息,因此能直接反映焊接过程中的实时状态7,是被动视觉焊接偏差检测技术中重点研究的对象。围绕熔池被动视觉感知的焊接偏差测量,一些学者采用了传统图像处理方式。XIA等8利用所提出的轮廓提取算法在窄间隙气体保护金属弧焊中找到熔池图像的质心,建立了质心与焊缝位置关系的模型,得到了焊缝的水平偏差。王小刚等9使用双CCD相机分离同步采集熔池熔滴和焊缝图像,定位熔滴图像中的焊丝尖端,根据焊丝尖端与焊缝边缘直线的位置关系计算出偏差量。HOU等10在TIG焊接不锈钢管中提取熔池轮廓,并定位焊缝特征点,根据焊缝特征点与熔池质心坐标差值计算焊接偏差。但是基于传统图像处理算法进行偏差测量的方法尤其依赖成像质量,在实际生产中,会因现场各种不利因素导致成像质量差,使偏差检测出现较大误差。

深度学习技术中的语义分割已经在医学图像分析、场景理解和卫星图像分割等重要场合得到广泛应用11,其像素级分割精度和强大的语义理解能力目前也已被融入到基于熔池视觉传感的焊接偏差测量中。YU等12在电弧增材制造中,使用基于Unet网络的深度学习模型来提取熔池轮廓,利用红外摄像机获取工件侧壁温度分布特征,并以此建立了基于熔池及工件侧壁温度的多模态感知轨迹偏差预测模型。蒋宇轩等13在等离子弧焊中使用所提出的深度学习模型分割出熔池与焊接接头间隙,并计算出熔池质心与焊接接头间隙中心线之间的距离偏差。上述基于语义分割的焊接偏差检测方法均采用卷积神经网络架构来实现对熔池区域的识别和分割。虽然上述方法在水平焊接过程中取得了显著进展,但是在管道的全位置焊接中,以上方法对管道动态熔池分割效果欠佳,导致偏差检测存在误差。

基于以上分析,并受CHEN等14提出的图像语义分割模型DeepLabV3+模型以及RAHMAN等15提出的高效多尺度卷积注意力解码器(efficient multi-scale convolutional attention decoder, EMCAD)的启发,本文提出了一种结合多注意力机制的深度增强多尺度特征融合模型的管道全位置焊接熔池识别和偏差测量方法,该方法利用熔池几何特征来量化偏差,实现了全位置焊接场景下的偏差测量,并能保证测量的精准性。

1 图像采集及偏差测量原理

1.1 图像采集系统

熔池图像的采集通过全位置管道焊接实验平台实现,如图1所示,焊接控制柜通过放置在焊接机器人内部的角位置传感器来获取当前的位置信息,以确定焊接的工艺参数。使用工业相机镜头采集熔池图像,为减小噪声干扰,在镜头上附加了滤光片、减光片和偏振片。焊接机器人上安装有磁吸轮,通过磁力吸附可以围绕管道实现周转运动,并搭载有焊枪。

实验对象为厚度12 mm、直径600 mm的20钢管道。焊接坡口形式为V形,宽度加工为14 mm。采用实际化工管道生产中最常用的熔化极气体保护焊(GMAW)进行焊接。表1所示为实际化工管道生产中所采用的工艺参数。

1.2 偏差测量原理

正常焊接时观察熔池的形态可以发现,在一个焊接周期中,也就是焊枪从左极限摆动到右极限、再从右极限摆动到左极限,所形成的熔池形态形似一个半圆形上半部分,如图2所示。可以找到过半圆形熔池的一条中垂线L1,以及一条穿过这个半圆形熔池中心的一条水平弦L2。以L1、L2为坐标轴,它们的交点为坐标中心点O,横轴L2与半圆形熔池的圆弧边界产生两个交点(x1y1)、(x2y2),以这两个交点为切点,可以作两条与纵轴L1 相交的切线,其交点为(x3y3)、(x4y4),此时,切线与L1 就会产生两个夹角,定义切线与中垂线L1 之间的夹角为熔池法切角,分别记为θ1、θ2,则

θ1=arctan(x3-x1y3-y1)
θ2=arctan(x4-x2y4-y2)

当焊接过程中出现焊接偏差时,焊枪的运动轨迹偏离理想的路径,导致熔池形态发生非对称变化,即表现为θ1θ2 显著的角度变化。这种角度的变化可以量化焊接时的偏移程度,获取焊接偏差量,可为后续的偏差调整提供基础条件。

2 熔池图像分割模型

2.1 熔池图像分割模型设计

获取熔池图像后,为了精确地获得熔池法切角θ1θ2,需要精准地将熔池给分割出来。然而,焊接过程中因高温导致的热扩散效应使熔池与周围环境边界模糊。同时,处于不同角度的焊接区域,熔池所受的力会发生改变。如图3所示,管道全位置焊接熔池在空间中会受到重力G、吸附力Fx、熔池表面张力Fq、电弧力Fa、支持力Fd的作用,导致熔池形态出现周期性微小变化,边界识别难以保持连续性,给熔池分割带来挑战。

同时,焊接中的强弧光和烟雾极大影响了图像清晰度,增加了噪声干扰。在这些挑战下,需设计适应熔池图像特性的分割模型。为此,本文提出了一种基于DeepLabV3+编码器与EMCAD高效多尺度卷积注意力解码器的DeepLab-EMCAD分割模型,其模型架构如图4所示。

2.2 DeepLab-EMCAD编码器设计

DeepLab-EMCAD模型的编码器采用DeepLabV3+编码器,虽然该编码器结构具备优异的语义分割能力,但在熔池图像的动态分割中仍然面临挑战,并且其模型参数量大,难以满足现场实时处理需求。为使模型轻量化并加快训练速度,本文选择了MobileNetV316作为Deeplab-EMCAD编码器的主干网络。MobileNetV3以其高效的倒残差结构为核心,能够在保证精度的同时大幅降低计算复杂度,减少网络参数量17,实现对焊接环境中熔池图像的实时分割。

采用MobileNetV3-Small架构的前12层,将原本的下采样次数重新规划为4次。同时,为进一步强化特征提取,在第11层与第12层特别引用空洞卷积。经以上修改后,网络的具体结构如表2所示。同时,在DeeplabV3+中的空洞空间金字塔池化(atrous spatial pyramid pooling,ASPP)模块中只保留了膨胀率为6、12、24时的卷积层,这样不仅减小了计算量,也保证了获取的熔池特征信息从局部到整体的完整性。

2.3 DeepLab-EMCAD解码器设计

EMCAD解码器部分包括多尺度卷积注意模块(multi-scale convolutional attention modules,MSCAM)、大核分组注意门(large-kernel grouped attention gate,LGAG)、上卷积块(efficient up-convolution block,EUCB)、分割头(segmentation head,SH)。LGAG(图5a)通过门控注意机制优化与跳跃连接融合的特征图。门信号g和输入特征映射x分别经3×3卷积处理,再经批归一化、元素加法合并,生成的特征映射经ReLU激活、1×1卷积和批归一化转为单通道形式,最后由Sigmoid函数获取注意力系数,以此增强相关特征激活、抑制无关特征。

EUCB(图5b)对当前阶段特征映射进行上采样以匹配下一跳跃连接特征映射的尺寸和分辨率。先以比例因子为2进行上采样,再经3×3深度卷积、批归一化和激活函数增强,最后用1×1卷积减少通道数以适配下一阶段。

MSCAM(图5c)由高效多尺度卷积块(multi-scale convolution block,MSCB)、通道注意块(channel attention block,CAB)以及空间注意块(spatial attention block,SAB)组成。MSCB(图5d)先利用逐点卷积以扩展因子为2扩展通道数,经批归一化和ReLU6激活,再通过多尺度深度卷积(multi-scale depth-wise convolution,MSDC)(图5e)捕获多尺度上下文信息,经信道洗牌增强通道间关系,最后用逐点卷积和批归一化恢复原始通道数。SAB(图5f)聚焦输入图像特定部分,沿通道维度汇集最大值和平均值,关注局部特征,再经大内核卷积层增强局部上下文关系,由Sigmoid函数计算注意力权重并作用于输入x。CAB(图5g)为各通道赋予不同重要性。对输入特征图空间维度进行自适应最大池化和自适应平均池化提取关键特征,经点卷积缩减通道数并通过ReLU激活,再用点卷积恢复通道数,两恢复特征图相加后经Sigmoid激活得通道注意力权重,最后通过Hadamard积与输入x合并。

3 实验结果与分析

3.1 DeepLab-EMCAD分割熔池图像实验

3.1.1 熔池图像数据集制作及训练环境

本次实验硬件环境为英特尔i9-12900k处理器,NVIDIA 3090Ti 24GB独立显卡,64G DDR4内存。软件层面,基于Pytorch1.7.0框架,CUDA版本为11.0,实验在Windows10专业版操作系统上运行。在优化DeepLab-EMCAD 模型超参数时,参考主流图像分割模型配置设定初始值,通过调整批大小、学习率和训练轮次进行实验。最终确定初始学习率为0.0005、动量为0.9、批大小为8、训练轮次为200的参数组合,该组合兼顾收敛速度与精度,有效避免了过拟合,同时降低了内存消耗、提高了训练效率,具体参数见表3

本文在管道全位置焊接实验平台上开展实验,针对正常焊接无偏差状态以及焊偏状态下的熔池,共计拍摄300张熔池图像,使用图像裁剪工具将每张图像尺寸统一裁剪至512 pixel×512 pixel,并以.jpg格式存储。为扩充数据集规模,获得更好的训练结果,借助PyTorch框架内的Augmentor库,对图像实施旋转、裁剪、翻转和平移等一系列数据增强操作,将数据集规模拓展至2500张。利用Labelme标注软件对图像中的熔池区域进行标注。

标注图像被划分为熔池区域和非熔池区域两类。数据集按照8∶1∶1分为训练集、测试集和验证集。使用PASCAL VOC格式与Json注释文件完成标注工作。

3.1.2 评价指标

本文选用平均交并比(MIoU)、平均像素精度(MPA)、推理时间(inference time)、模型参数量(params)等指标评估DeepLab-EMCAD模型性能。

1) 平均交并比。以百分比衡量模型预测与真实标签的重叠程度,值越大表示模型在分割任务中的表现越好,计算公式为

U=1Mi=1MTPTP+FN+FP

式中:M为类别总数;TP为模型准确预测出的目标像素点数量;FP为模型错误地将非目标像素预测为目标像素的数量,FN为模型错误地把目标像素判定为背景像素的数量。

2) 平均像素精度通常采用百分比为单位,值越大模型的像素分类精度越好,说明模型对每个类别的像素分类能力越强。计算公式为

A=1Mi=1M(TPTP+FP)

3)推理时间指模型对单张图像或一批图像进行预测的平均时间,单位为ms。推理时间越短,模型的实时性越好。

4)模型参数量指模型中需要训练或存储的参数总数,参数量越少,模型的存储需求和部署复杂度越低。

3.1.3 消融实验分析

为了评估新增和修改模块对基线模型性能的影响,本文进行了一系列对照实验,比较了使用MobilenetV2、Xception、ResNet101作为主干网络的DeeplabV3+与本文提出的DeepLab-EMCAD在不同焊接区域下对熔池图像分割的效果。其中,Xception作为主干网络的模型代表了DeeplabV3+的原始版本,MobilenetV2和ResNet101 则为当前主流的轻量级DeeplabV3+网络,而 DeepLab-EMCAD则采用MobileNetV3作为主干网络。实验选用平均交并比和推理时间作为评价指标,分别衡量模型的分割精度与效率,实验结果见图6,其中图6a的横坐标表示管道不同角度焊接区域所采集的数据集,纵坐标表示分割精度,纵坐标越大越好;图6b的纵坐标表示推理时间,纵坐标越小越好。

图6的比较结果可知,选择MobilenetV3的DeepLab-EMCAD模型在不同焊接区域熔池图像数据集上的平均交并比明显高于以MobilenetV2、Xception、ResNet101为主干网络的基线模型的平均交并比,同时推理时间显著比其他三个模型短。实验结果证明,使用MobilenetV3的选择是最优的。

3.1.4 不同分割算法对比实验

不同算法对比实验可以对检测性能进行横向对比。在其他实验条件相同的情况下,仅改变检测算法,超参数与训练环境均不改变,以经典分割网络SegNet、PSPNet、UNet、Yolov8、DeepLabV3+以及本文提出的模型作为实验主体开展对比分析,获取了这6个模型在测试集上对应的评价指标参数,如表4所示,可以看出本文模型的平均交并比、平均像素精度以及推理时间都是最优的,并且本文模型的参数量也是最少的。这表明本文所提出的模型在确保高精度分割熔池目标的同时,也能够保证一定的效率。

图7为各模型在不同角度焊接区域对熔池图像分割的效果图,可知,6种分割网络均可以在焊接图像中提取出熔池区域,但各网络提取出的有效区域有明显不同。从图中可以直观地看出,本文提出的模型在正常焊接以及焊偏时的分割效果是最好的,能够完整地分割出熔池区域,没有误检以及边缘分割不准确的现象。

3.2 焊接偏差检测原理验证实验

为了验证本文所提出的偏差测定原理是否满足实际需求,以调节焊枪位置从左偏1.5 mm至正常位姿至右偏1.5 mm为范围,步长为0.1 mm,进行熔池图像的采集,并确定好每张图片所对应的偏差量。随后通过Deeplab-EMCAD模型将熔池图像提取出来,利用1.1节的偏差测定原理,使用霍夫直线变换找到法线切线,并计算出交点,再利用反正切函数计算出角度,并标记出来,如图8~图12所示。可以看到,在正常连续焊接条件下,θ1θ2的角度基本接近,当焊接发生连续右偏时,θ2>θ1,并且随着偏移量的增大,二者的差距变得更加明显,而在连续左偏时,θ2<θ1,且随着偏移量增大,二者的差距也随之增大。这说明在焊接出现偏差时,θ1θ2的差异会显著增大,且当θ1较大时为左偏,当θ2较大时为右偏。

随后,从采集的数据中选出不同偏差量所对应的法切角共计31组数据,绘制散点图,并计算其线性回归方程,如图13所示。θ1X轴,θ2Y轴,Z轴代表的是左偏1.5 mm到右偏1.5 mm的焊接偏差量d,其中负值代表的是左偏,正值代表的是右偏,0值代表焊接无偏差。对偏差量与熔池法切角散点图作线性回归得到

d=-0.01θ1+0.05θ2-0.83

式(5)表示在焊接过程中熔池法切角与焊接偏差量成一定的线性关系。

在全位置管道焊接平台上随机设置左右焊偏,随机设置偏差量,启动焊接,挑选出10张图像,并将其焊接时所记录的焊偏量与熔池形态一一对应,利用Deeplab-EMCAD模型分割熔池找到熔池法切角,随即将法切角代入上述数学模型求得焊接偏差量,数据记录如表5所示。可知,此数学模型预测的误差范围在0.1 mm以内,符合实际的需求,证明了该方法的有效性。

4 结论

本文针对管道全位置焊接熔池的特点提出了一种熔池分割方法,对比基线模型,平均交并比和平均像素精度分别提高了5.72%和5.5%,推理时间缩短了29.69 ms,参数量减少了4.854×107个;在与经典分割网络 SegNet、 PSPNet、 UNet和YOLOv8对比中,所提出的算法平均交并比和平均像素精度可达到97.86%和98.71%,同时,推理时间和模型参数量可降低到8.23 ms和6.56×106个,各个指标均优于上述分割网络。所提出的模型可以高效地处理熔池边缘,实现对熔池图像精准的实时提取。同时,所提出的基于Deeplab-EMCAD模型的偏差测量方法在管道的全位置熔化极气体保护焊接中可以实现0.1 mm的测量精度。

参考文献

[1]

ROUT ADEEPAK B B V LBISWAL B B. Advances in Weld Seam Tracking Techniques for Robotic Welding: a Review[J]. Robotics and Computer-Integrated Manufacturing201956: 12-37.

[2]

WANG TianqiMENG KaiquanCUI Liyanget al. Weld Tracking Technology for All-position Welding of Pipes Based on Laser Vision[J]. Optics and Lasers in Engineering2025188: 108912.

[3]

HE YinshuiMA GuohongCHEN Shanben. Autonomous Decision-making of Welding Position during Multipass GMAW with T-Joints: a Bayesian Network Approach[J]. IEEE Transactions on Industrial Electronics202269(4): 3909-3917.

[4]

WANG BaicunHU S JSUN Leiet al. Intelligent Welding System Technologies: State-of-the-art Review and Perspectives[J]. Journal of Manufacturing Systems202056: 373-391.

[5]

唐昆, 彭海滨, 朱勇建, . 基于改进重建网络的无监督镁合金激光焊接焊缝表面缺陷视觉检测[J/OL]. 中国机械工程2025: 1-12. [2025-02-14].

[6]

TANG KunPENG HaibinZHU Yongjianet al. Unsupervised Visual Inspection of Surface Defects in Laser Welding Seams of Magnesium Alloy Based on Improved Reconstruction Network[J/OL]. China Mechanical Engineering2025: 1-12. [2025-02-14].

[7]

HONG YuxiangJIANG YuxuanYANG Mingxuanet al. Intelligent Seam Tracking in Foils Joining Based on Spatial-temporal Deep Learning from Molten Pool Serial Images[J]. Robotics and Computer-integrated Manufacturing202591: 102840.

[8]

王林, 潘骏, 贺青川, . 后倾式离心风机叶轮机器人焊接工艺优化[J]. 中国机械工程202031(19): 2379-2387.

[9]

WANG LinPAN JunHE Qingchuanet al. Welding Process Optimization on Robot Welding of the Backward Centrifugal Fan Impeller[J]. China Mechanical Engineering202031(19): 2379-2387.

[10]

XIA LeiZHOU JianpingXUE Ruileiet al. Real-time Seam Tracking during Narrow Gap GMAW Process Based on the Wide Dynamic Vision Sensing Method[J]. Journal of Manufacturing Processes2023101: 820-834.

[11]

王小刚, 王中任, 刘海生. 熔滴-焊缝同步视觉焊接偏差测定方法[J]. 计算机集成制造系统202228(5): 1352-1360.

[12]

WANG XiaogangWANG ZhongrenLIU Haisheng. Measurement Method for Simultaneous Visual Welding Deviation of Droplet-weld Seam[J]. Computer Integrated Manufacturing Systems202228(5): 1352-1360.

[13]

HOU HuaishuWANG TongLI Jinhaoet al. Vision-based Algorithm for Online TIG Welding Deviation Detection of Stainless Steel Welded Pipes[J]. Journal of the Optical Society of America A202441(6): 1175-1184.

[14]

MO YujianWU YanYANG Xinnenget al. Review the State-of-the-art Technologies of Semantic Segmentation Based on Deep Learning[J]. Neurocomputing2022493: 626-646.

[15]

YU RongweiTAN XiaxinHE Shenet al. Monitoring of Robot Trajectory Deviation Based on Multimodal Fusion Perception in WAAM Process[J]. Measurement2024224: 113933.

[16]

蒋宇轩, 林凯, 王瑶祺, . 基于改进ViT的熔池识别与焊接偏差在线检测方法[J]. 现代制造工程2024(10): 130-137.

[17]

JIANG YuxuanLIN KaiWANG Yaoqiet al. Improved ViT-based Method for Molten Pool Recognition and Online Detection of Welding Deviation[J]. Modern Manufacturing Engineering2024(10): 130-137.

[18]

CHEN L CZHU YukunPAPANDREOU Get al. Encoder-decoder with Atrous Separable Convolution for Semantic Image Segmentation[C]∥Computer Vision – ECCV 2018. Cham: Springer, 2018: 833-851.

[19]

RAHMAN M MMUNIR MMARCULESCU R. EMCAD: Efficient Multi-scale Convolutional Attention Decoding for Medical Image Segmentation[C]∥2024 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2024: 11769-11779.

[20]

HOWARD ASANDLER MCHEN Boet al. Searching for MobileNetV3[C]∥2019 IEEE/CVF International Conference on Computer Vision (ICCV). IEEE, 2019: 1314-1324.

[21]

DAI WeiLI DayongTANG Dinget al. Deep Learning Assisted Vision Inspection of Resistance Spot Welds[J]. Journal of Manufacturing Processes202162: 262-274.

基金资助

湖北省自然科学基金(2022CFD080)

AI Summary AI Mindmap
PDF (5775KB)

13

访问

0

被引

详细

导航
相关文章

AI思维导图

/