基于3D点云的平面角接焊缝特征提取与运动跟踪

吴海彬 ,  黄浯锴

东北大学学报(自然科学版) ›› 2025, Vol. 46 ›› Issue (06) : 93 -101.

PDF (2431KB)
东北大学学报(自然科学版) ›› 2025, Vol. 46 ›› Issue (06) : 93 -101. DOI: 10.12068/j.issn.1005-3026.2025.20239074
机械工程

基于3D点云的平面角接焊缝特征提取与运动跟踪

作者信息 +

Feature Extraction and Motion Tracking of Planar Fillet Weld Seams Based on 3D Point Cloud

Author information +
文章历史 +
PDF (2488K)

摘要

提出一种基于3D点云的平面角接焊缝特征提取与轨迹规划策略,用于解决焊缝的自动识别与机器人自动跟踪焊接.首先,基于差异点云分割方法提取待焊工件,并进行点云预处理.其次,为获得焊缝特征点,提出了工件结构分割特征提取算法.接着基于非均匀有理B样条(NURBS)曲线的路径拟合方法进行拟合.最后,提出一种焊接点位的机器人位姿估计方法,得到各路径点位姿以供焊接.该策略适用于直线与各种平面曲线焊缝.实验结果表明,该策略能够精确地提取角接焊缝位置并生成所需的轨迹点位姿,各轴最大误差控制在1 mm之内,总耗时不超过18 s,为高效自动化焊接提供参考.

Abstract

A feature extraction and trajectory planning strategy for planar fillet welds based on 3D point cloud was proposed to solve the automatic identification of weld seams and automatic robot tracking welding. Firstly, the workpiece to be welded was extracted based on the difference point cloud segmentation method, and the point cloud pre-processing was performed. Secondly, in order to obtain the feature points of the weld seam, the workpiece structure segmentation feature extraction algorithm was proposed. Then a path fitting method based on NURBS curves was fitted. Finally, a robot position estimation method for welding points was proposed to obtain the position of each path point for welding. This strategy is applicable to the weld seams of straight lines and various planar curves. The experimental results showed that the strategy can accurately extract the position of the fillet weld seam and generate the required position of track points, with the maximum error of each axis controlled within 1 mm and the total time consumed no more than 18 s, which provides a valuable reference for efficient automated welding.

Graphical abstract

关键词

3D点云 / 角接焊缝 / 特征提取 / 位姿估计 / 自动焊接

Key words

3D point cloud / fillet weld seam / feature extraction / position estimation / automatic welding

引用本文

引用格式 ▾
吴海彬,黄浯锴. 基于3D点云的平面角接焊缝特征提取与运动跟踪[J]. 东北大学学报(自然科学版), 2025, 46(06): 93-101 DOI:10.12068/j.issn.1005-3026.2025.20239074

登录浏览全文

4963

注册一个新账户 忘记密码

焊接作为制造领域中的关键加工技术,在汽车、航空航天和造船等行业中广泛应用1.平面角接焊缝是其中最常见的焊缝类型,涵盖直线、折线及曲线等多种形式,广泛应用于车身板件、飞机机翼等关键部件的连接,确保结构的稳定性和刚性.随着焊接技术的发展,焊缝的自动识别与焊接成为必然趋势.然而,现有研究主要集中在平面对接焊缝2-5,针对角接焊缝6的研究相对较少,而角接焊缝在工程应用中占据重要地位,因此具有重要的研究意义.
目前,机器人自动化焊接技术主要依赖示教方式,焊接质量受限于工程师的经验7.基于视觉的自动焊接技术通过视觉检测和定位焊缝,实现机器人自动焊接,无需人工示教,尤其适合定制化与小批量生产,成为研究热点.焊缝图像识别技术可分为二维和三维两类.二维图像识别技术通过投影图案、滤波算法或二值化处理提取焊缝,但存在信息量有限、耗时长、精度低等问题.例如,Yang等8通过投影图案适应不同焊接场景,Ibanez等9则通过多相机拍摄和二值化处理提取焊缝,但这些方法效率较低.
相比之下,三维视觉技术通过3D点云还原物体表面结构,为焊缝提取提供新方向.Zhou等10利用线性ICP算法配准工件点云,提出基于强度的边缘检测算法提取焊缝;Gao等11采用边界提取算法处理D型焊缝点云;Kim等12则融合二维图像与点云图像,通过边缘线索过滤和点云配准13实现多焊缝提取,提高了效率.然而,这些方法多针对单一焊缝类型,且耗时较长,个别还需手动选择焊缝.
总体而言,三维视觉技术能够精确重建焊接工件的3D点云,提供更多结构信息,且不易受光照等环境因素干扰,具有更高的鲁棒性.特别是基于双目面结构光的3D点云技术,可一次性提取整个视野区域的点云,简化了多次拍摄流程,显著节省时间.尽管三维视觉技术在焊缝提取中展现出显著优势,但相关研究仍较少,且多局限于单一焊缝类型.因此,本研究提出利用3D点云技术实现平面角接焊缝的自动识别与跟踪焊接.

1 焊缝特征自动提取与规划总体设计方案

本文提出的基于3D点云的平面角接焊缝特征提取与轨迹规划策略,旨在实现利用工业机器人对平面角接焊缝进行自动化焊接.平面角焊缝的典型工件如图1所示.

该系统主要包括工业机器人、双目面结构光相机和计算机.本文采用RVCX3D型号的双目面结构光相机,该相机能够自动生成点云图像,可适用于复杂结构环境,并具有较高的精度.考虑该相机的质量和体积,本文采用眼在手外的相机安装方式14.本文提出的焊缝提取方法不受相机安装方式的影响,眼在手上和眼在手外的2种安装方式均适用,只需采取不同的手眼标定方法即可.

该系统的工作流程主要包括点云数据的采集、预处理、待焊工件的提取、焊缝特征点的提取以及焊缝轨迹规划.系统硬件搭建完成之后,要进行手眼标定和机器人焊枪标定15,以便于后续进行相机坐标、工具坐标以及机器人基坐标的相互转换.在标定完成之后,进行点云数据的采集,采集完毕后将得到的点云数据进行预处理,并从完整的点云图像中提取待焊接的工件点云.

在工件点云提取完成之后,提出一种工件结构分割特征提取算法来提取焊缝特征点,再通过特征点进行轨迹规划,拟合出焊缝路径点,并进行路径点的位姿估计,最终将数据发送给工业机器人,实现跟踪焊接作业.角接焊缝提取系统整体方案如图2所示.

2 基于差异点云分割法实现工件提取

相机获得的3D点云图像,除了包含工件外,通常还有工作台和周边物体,因此不论在工件上还是工件外,会存在很多类似焊缝的点云特征,这会给工件目标焊缝的识别带来很多不必要的干扰.因此,去除除工件点云之外的其他点云,可有效降低焊缝辨识复杂度.本文事先采集一张工作台上未放置工件的环境点云图像,得到环境点云集Oenv,固定好工件位置后,再采集一张环境中含有待焊工件的点云图像,得到初始点云集Oinit.对获得的前后点云集采用差异点云分割法,提取工件点云.

2.1 点云数据预处理

预处理的主要目标是降采样和去除噪声,两者统称为点云滤波.用RVCX3D相机采集到的点云数量高达230多万个,庞大的点云数量严重影响了算法效率.为了尽可能既不影响工件点云结构,又能提高算法效率,采用以邻近点为目标的体素滤波对采集到的点云进行降采样.普通的体素降采样算法是将体素内所有点的重心代替每个体素的所有点,这样计算出来的重心点很可能不是原始点云中的点,从而丧失了初始点云的细小特征.以邻近点为目标的体素滤波算法,选择体素中与重心最近的邻近点作为最终保留点,从而使得降采样后的点云仍然保留了初始点云的特征.点云去噪声处理的原理是对每个点的邻域进行统计学分析,计算它们的距离均值di¯

di¯=1kj=1kdij.

其中:k为邻近点个数;dij为第i个点的第j个邻近点到第i个点的距离.

假设得到的距离均值结果均符合高斯分布,则将点的平均距离在设置的阈值之外的点被判定为离群点,并从数据集中排除.需要注意的是,在上述处理中还采用了基于距离的剔除策略:对于点云中较远的点,使用较大的邻域大小和宽松的标准差阈值,以降低对它们的过滤程度;对于靠近待滤波点的点云,使用较小的邻域和严格的标准差阈值,以保留更多详细信息.

至此,点云预处理步骤已完成,得到新的初始点云集Oopt.点云滤波算法效果如图3所示.

2.2 待焊工件点云提取

在将新的初始点云进行预处理之后,需要进行工件提取.利用事先准备好的环境点云集Oenv,提出一种差异点云分割算法,该算法的原理是通过设置一个距离阈值,遍历点云集Oopt的所有点,通过KD-tree加速计算这些点与环境点云集Oenv中所有点的欧氏距离.若Oenv中存在与之欧氏距离小于该阈值的点,则判断Oopt中的该点属于环境点云,把该点从Oopt中移除,最后可以得到一个只有待焊工件的点云集Opiece.差异点云分割算法效果如图4所示.经过数据预处理与工件提取步骤之后,获得了所需的工件点云,并能够最大程度地排除干扰点云,以进行后续的特征提取.

3 焊缝特征提取与轨迹规划

3.1 工件结构分割特征提取算法

在轨迹规划前,精确定位焊缝位置至关重要.本文提出了一种工件结构分割特征提取算法,包括平面提取、边缘检测和焊缝提取,用于高效获取各类角接焊缝点云.

以平面曲线角接焊缝为例,平面曲线角接焊缝提取示意图如图5所示.该焊缝通常由一个平面和一个未知曲面组成.基于此结构特点,算法首先采用基于RANSAC(random sample consensus)的平面提取方法,从点云中提取平面.RANSAC具有强鲁棒性,即使存在超过50%的外点也能可靠处理.

RANSAC平面提取的原理如下:

1) 在待焊工件的点云集Opiece中随机选择3个点,计算其对应的平面方程:

A1x+B1y+C1z+D1=0.

式中,A1B1C1D1为常数.

2) 计算点云集Opiece中除去这3个点后剩下的所有点到该平面的代数距离di

di=A1xi+B1yi+C1zi+D1A12+B12+C12.

3) 根据实际情况确定距离阈值dmax,若didmax,则该点被认为是该平面模型的内点,反之,该点则为该平面模型的外点.记录当前所有内点的个数.

4) 重复以上步骤,不断迭代,直到达到迭代阈值,找到内点个数最多的平面模型参数,也就是最优的平面方程中的A1B1C1D1值.得到最优参数之后,再用所有内点对平面模型参数进行估计,从而得到最终的平面模型参数.

5) 通过上述步骤进行单平面A的拟合,并把平面A的点云储存在点云集OA中,把其余点储存在点云集Oleft中.与此同时,还可以获得平面A的平面方程:

AAx+BAy+CAz+DA=0.

式中,AABACADA为常数.

得到平面A的平面方程后,计算该平面的单位法向量n1

n1=AA,BA,CAAA2+BA2+CA2.

6) 计算完法向量之后,统一把n1的方向设置为由下往上穿过平面.接着任取点云集OA中的一点PA,遍历点云集Oleft中的所有点Pi,得到Oleft中所有点PiOAPA的连线的向量LPAPi,再计算向量LPAPi与法向量n1的夹角φ

φ=180πcos-1n1LPAPin1LPAPi.

由平面曲线角接焊缝提取示意图易得,若向量的夹角大于90°,则点Pi必不可能成为焊缝特征点,因此,把这些点舍弃,而Oleft中的剩余点形成一个新的点云集Ofinal.接下来进行边缘检测.

边缘检测是一种基于邻域几何属性分析16的检测方法,希望通过它把点云集Ofinal的边缘点提取出来.边缘属性是点的局部特征而不是这个点本身,所以通过分析这个点邻域的几何特征来判断这个点是否在一个曲面的边缘.具体步骤如下:

1) 使用k近邻搜索算法搜索点云集Ofinal中每个点Pj的近邻点,这里的近邻点数量由搜索半径r进行估计,把近邻点的集合记为N(Pj)PjPk的连线向量记为LPjPkN(Pj)={Pk|PkOfinal,LPjPk<r}.

2) 通过集合N(Pj)拟合出一个最佳平面,已知待拟合的平面方程为

ax+by+cz=d(d0),a2+b2+c2=1.

点云集中任一点到该平面的距离为

dj=axj+byj+czj-d.

若要通过点云集获得一个最佳的拟合平面,则需满足所有点到平面的总距离最小:

e=j=1ndj2min.

因此,将它转化为一个表达式,并进行极值的求解,即

F=j=1ndj2-λa2+b2+c2-1.

分别对式(10)中的a,b,c,dj求偏导,令Δxj=xj-x¯,Δyj=yj-y¯,Δzj=zj-z¯,可以得到:

ΔxjΔxjΔxjΔyjΔxjΔzjΔxjΔyjΔyjΔyjΔyjΔzjΔxjΔzjΔyjΔzjΔzjΔzjabc=λabc.

式(11)整理为Ax=λx的形式,即转化到求解矩阵A的特征值和特征向量,矩阵A则为这个点云集的协方差矩阵17a,b,cT为该矩阵的一个特征向量.因为a2+b2+c2=1λ=(Ax,x),由λ=j=0naΔxj+bΔyj+cΔzj2=j=0ndj2可知,求解最小距离e最终转化为求解最小特征值λmin,找到该特征值对应的特征向量,即为该最佳拟合平面的法向量np.

3) 根据Pj及其法向量np求得该点的切平面,把集合N(Pj)中的所有点投影到该平面上,得到新的集合N'(Pj).已知Pj的位置并没有发生改变,把点Pj当作角点,按照顺时针的顺序两两与Pj连接形成一系列的夹角θ={θ1,θ2,,θm},其中m=N'(Pj)-1.边缘检测算法示意图如图6所示.

4)取θ中最大值θmax,由图6可知,夹角越大,越可能成为所要的边界点.设置一个角度阈值ξ,当θmaxξ时,判定点Pj为边界点.将所有边界点组成一个新的点云集Obdy.

得到所有边界点之后,就是提取最终的焊缝.

根据工件的形态信息,焊缝特征点即为平面A边界点云集Obdy互相距离最近的点.首先对平面A中点云集OA进行遍历,计算与点云集Obdy内所有点的欧氏距离,若距离小于预设的阈值,则将该点判定为焊缝特征点.然后,再对点云集Obdy中的点作同样的处理.最后将所有的焊缝特征点保存在点云集Oftr中,之后将对Oftr中的点进行轨迹规划.

3.2 焊缝特征点的轨迹规划

由于焊缝特征点形成的路径不平滑,需进行路径拟合.本文采用一种基于NURBS曲线的路径拟合方法.首先,通过统计滤波去除点云数据中的离群点,以提高拟合精度和稳定性.接着,针对平面折线和平面曲线角接焊缝,使用NURBS曲线18进行拟合.NURBS曲线拟合示意图如图7a所示.

NURBS曲线具有高精度和良好的局部控制性,能够生成平滑的焊接路径.以平面曲线角接焊缝为例,使用NURBS曲线把点云集Oftr拟合完成,并把Oftr中两端的点作为曲线的起止点.拟合后,在曲线两端点之间等距采样,得到焊接路径点云集Otj.该方法有效排除了异常值和无效点的干扰,保证了路径的平滑性和准确性.

圆柱与平面角接焊缝是角接焊缝中的一个特例,相机拍摄一次得到的圆形焊缝是不完整的.针对这个情况,假设该焊缝的圆度足够高,结合实际情况,采用改进的拟合空间三维圆19的RANSAC算法进行焊缝路径点云空间三维圆的拟合.拟合完毕后可以得到空间三维圆的参数方程,再同样取出适用于实际需求的若干个点来表示平面圆柱角接焊缝的焊接路径点.空间三维圆焊缝拟合示意图如图7b所示.

为了得到机器人能够使用的点位信息,在路径拟合之后,使用焊缝路径点云集Otj进行焊枪姿态估计.由此提出了一种焊缝点机器人位姿估计方法,姿态估计示意图如图8所示.

位姿估计方法具体步骤如下:

1) 以第k个焊接路径点和第k+1个焊接路径点为例,求焊枪末端坐标系的n轴方向向量vn,并将它转化为单位向量Ivn

Ivn=LPkPk+1LPkPk+1.

2) 根据角接焊缝工艺要求,角接焊缝的理想工作角为45°20.因此用平面A的单位法向量n1Ivn逆时针旋转θ=π4作为焊枪末端坐标系的a轴方向单位向量Iva

Iva=1-cosθn1vnvn+n1cosθ+vn×n1sinθ.

则焊枪末端坐标系的o轴方向单位向量Ivo

Ivo=Iva×Ivn.

3) 重复上述计算过程求出所有焊缝路径点的焊枪末端坐标系Ivn,Ivo,Iva.

4 实 验

为了验证该方案的有效性,搭建了实验平台进行了大量的实验和数据分析.其中,使用AT960 MR激光跟踪仪对数据结果进行误差分析,该设备在全量程内误差不超过20 μm.角接焊缝提取实验平台如图9所示.

4.1 预处理算法对比实验

为了验证本文点云滤波算法比传统体素滤波预处理算法更能保留点云的细小特征,通过实验比较两种算法提取的简单直线焊缝的各坐标轴的最大误差、各坐标轴的平均误差和平均距离偏差,如表1所示.从表1中可以看出,本文提出的算法比传统算法的焊缝误差更小,更能保留点云的细小特征.

4.2 焊缝提取与轨迹规划实验

为了验证本文焊缝提取与轨迹规划算法的可行性,对多类型角接焊缝的典型工件分别进行测试.图10为各类工件的实验效果,每幅子图从左到右分别为工件原件、工件点云、算法效果和自动焊接过程.可以看出,不仅平面焊缝的焊缝提取效果良好,其他各种平面曲线角接焊缝提取效果也符合预期,验证了该系统能够实现多种类角接焊缝的焊缝提取和轨迹规划.

4.3 误差分析

首先,对相机进行标定,使用激光跟踪仪采集的焊缝路径作为基准,来测试各种算法的精度.表2展示了各类焊缝在各个坐标轴的最大误差(ME)和均方根误差(RMSE).可以看出,ME和RMSE最大值分别为0.944 mm和0.570 mm,满足实际焊接需求.

4.4 焊缝路径提取效率

分别评估了数据预处理、工件提取的算法效率,以及工件提取之后不同角接类型的焊缝路径点提取效率.使用的计算机配置为Intel Core i5-6300HQ CPU,NVIDIA GeForce 940MX显卡和8 GB内存.

表3列出了预处理和工件提取所用的平均时间.表4列出了各类焊缝在工件提取之后所用的平均时间.曲线焊缝人工示教通常需几十分钟甚至几个小时,从表中可以明显地看出,该方法所需要的时间远远小于人工示教所消耗的时间.因此,该方法可以极大地提高实际生产的效率,并避免大量重复的工作.

5 结 论

1) 使用本文提出的点云滤波算法,预处理数量庞大且掺杂噪声的点云,提高了后续算法的鲁棒性和效率.

2) 基于工件点云和环境点云的特性,提出了一种差异点云分割方法,能够有效地从复杂环境中自动提取待焊工件,并具备良好的鲁棒性.

3) 本文提出一种工件结构分割特征提取算法,并与基于NURBS曲线的路径拟合方法相结合,从而实现了平面角接焊缝焊接特征点提取.另外还提出了一种焊缝点位姿估计方法,得到各路径点位姿供焊接机器人进行焊接作业.路径点与实际点之间的最大误差不超过1 mm,并且总耗时不超过18 s,远远小于人工示教所需时间.

4) 整套装置和算法对工件的材料、划痕和环境光线等复杂因素的敏感性相对较低,同时具有较强的抗干扰能力.

参考文献

[1]

时尚,刘丰刚,黄春平,.激光复合热源焊接技术的研究进展[J].材料导报202236(11):170-177.

[2]

Shi ShangLiu Feng-gangHuang Chun-pinget al. Research progress of laser hybrid heat source welding technology [J]. Materials Reports202236(11):170-177.

[3]

Zhang Y KJiang YTian X Cet al. A point cloud-based welding trajectory planning method for plane welds[J]. The International Journal of Advanced Manufacturing Technology2023125(3): 1645-1659.

[4]

Li X DLi X HGe S Set al. Automatic welding seam tracking and identification[J]. IEEE Transactions on Industrial Electronics201764(9): 7261-7271.

[5]

Ye ZFang GChen S Bet al. A robust algorithm for weld seam extraction based on prior knowledge of weld seam[J]. Sensor Review201333(2): 125-133.

[6]

Wu K XWang T QHe J Jet al. Autonomous seam recognition and feature extraction for multi-pass welding based on laser stripe edge guidance network[J]. The International Journal of Advanced Manufacturing Technology2020111(9): 2719-2731.

[7]

Liu F QWang Z YJi Y. Precise initial weld position identification of a fillet weld seam using laser vision technology[J]. The International Journal of Advanced Manufacturing Technology201899(5): 2059-2068.

[8]

Xu Y LLyu NFang Get al. Welding seam tracking in robotic gas metal arc welding[J]. Journal of Materials Processing Technology2017248: 18-30.

[9]

Yang LLi ELong Tet al. A high-speed seam extraction method based on the novel structured-light sensor for arc welding robot: a review[J]. IEEE Sensors Journal201818(21): 8631-8641.

[10]

Ibanez IAguirre M ATorralba Aet al. A low cost 3D vision system for positioning welding mobile robots using a FPGA prototyping system[C]//IEEE 2002 28th Annual Conference of the Industrial Electronics Society. Seville, 2002: 1590-1593.

[11]

Zhou PPeng RXu Met al. Path planning with automatic seam extraction over point cloud models for robotic arc welding[J]. IEEE Robotics and Automation Letters20216(3): 5002-5009.

[12]

Gao JLi FZhang Cet al. A method of D-type weld seam extraction based on point clouds[J]. IEEE Access20219: 65401-65410.

[13]

Kim JLee JChung Met al. Multiple weld seam extraction from RGB-depth images for automatic robotic welding via point cloud registration[J]. Multimedia Tools and Applications202180(6): 9703-9719.

[14]

Shen Z YFeydy JLiu P Ret al. Accurate point cloud registration with robust optimal transport[J]. Advances in Neural Information Processing Systems202134: 5373-5389.

[15]

Tsai R YLenz R K. A new technique for fully autonomous and efficient 3D robotics hand/eye calibration[J]. IEEE Transactions on Robotics and Automation19895(3): 345-358.

[16]

朴永杰,邱涛,陈善本.弧焊机器人TCF参数的标定[J].机器人200123(2):109-112.

[17]

Yong-jie PiaoQiu TaoChen Shan-ben. Calibration of TCF parameters of arc welding robot [J]. Robot200123(2):109-112.

[18]

Ni HLin X GNing X Get al. Edge detection and feature line tracing in 3D-point clouds by analyzing geometric properties of neighborhoods[J]. Remote Sensing20168(9): 710.

[19]

Zhang J XLin X GNing X G. SVM-based classification of segmented airborne LiDAR point clouds in urban areas[J]. Remote Sensing20135(8): 3749-3775.

[20]

潘日晶. NURBS 曲线曲面的显式矩阵表示及其算法[J]. 计算机学报200124(4): 358-366.

[21]

Pan Ri-jing. Explicit matrix representation for NURBS curves and surfaces and its algorithm [J].Chinese Journal of Computers200124(4): 358-366.

[22]

Sun K KHua C TXiong X M. Research on spatial arc fitting method based on RANSAN algorithm[C]//2019 Chinese Control Conference (CCC) .Guangzhou, 2019: 7534-7538.

[23]

刘立君,戴鸿滨,高洪明,.力觉遥示教姿态几何平面法[J].中国机械工程200819(18):2249-2252.

[24]

Liu Li-junDai Hong-binGao Hong-minget al. Geometry arithmetic on the tele-teaching pose based on force sensing [J]. China Mechanical Engineering200819(18):2249-2252.

基金资助

国家重点研发计划项目(2018YFB1308603)

AI Summary AI Mindmap
PDF (2431KB)

507

访问

0

被引

详细

导航
相关文章

AI思维导图

/