轴孔类零件单目内窥成像位姿检测研究

李蓉 ,  金子源 ,  王华建 ,  刘坚 ,  尹韶辉

中国机械工程 ›› 2026, Vol. 37 ›› Issue (9) : 2101 -2114.

PDF (5789KB)
中国机械工程 ›› 2026, Vol. 37 ›› Issue (9) : 2101 -2114. DOI: 10.3969/j.issn.1004-132X.2026.09.003
智能诊断与运维专栏

轴孔类零件单目内窥成像位姿检测研究

作者信息 +

Research on Pose Detection of Shaft and Hole Parts Based on Monocular Endoscopic Imaging

Author information +
文章历史 +
PDF (5927K)

摘要

为保障复杂轴类零件内孔表面缺陷检测的内窥成像质量并避免内窥镜与工件碰撞划伤,提出了一种轴孔类零件单目内窥成像位姿检测方法。针对单目内窥成像干扰轮廓多的特点,提出一种基于长度约束与最小包络圆约束的干扰轮廓去除方法。基于改进最大类间方差阈值分割方法对图像进行阈值分割,采用Suzuki轮廓提取算法进行边缘轮廓提取,采用所提出的干扰轮廓去除方法进行目标轮廓筛选并采用径向搜索提取目标内孔轮廓点集。针对轮廓点集离散且存在误差点,以及内窥光源位姿偏移较大时光照不均导致目标轮廓不完整的问题,提出了一种基于轮廓恢复的椭圆检测算法。针对位姿求解的二义性问题,基于成像仅有圆特征、灰度信息丰富且位姿检测时由机械臂移动工件、内孔中心靠近光轴的特点,提出一种基于角度约束与灰度分布的二义性去除方法。实验结果验证了提出的轴孔类零件单目内窥成像视觉位姿检测方法的有效性,该方法在X、Y轴方向上的位置检测精度为0.062 mm,绕X、Y轴旋转的姿态检测精度在1.4°以内,均达到了企业的要求。

Abstract

To ensure the quality of endoscopic imaging for detecting surface defects in inner holes of complex shaft parts and to avoid collision and scratching between the endoscope and the workpiece, a method was proposed herein for detecting the pose of shaft-hole parts based on monocular endoscopic imaging. Considering the characteristics of monocular endoscope imaging with many interference contours, a method was proposed for removing interference contours based on length constraint and minimum enclosing circle constraint. The improved Otsu method was adopted for image threshold segmentation, the Suzuki contour extraction algorithm was chosen for edge contour extraction, the proposed interference contour removal method was used for target contour selection, and the radial search was employed to extract the contour point set of the target inner hole. Considering that the contour point set was discrete and contained error points, and that incomplete target contours were caused by uneven illumination when the endoscopic light source was significantly offset in position and orientation, an ellipse detection algorithm was proposed based on contour restoration. Finally, considering the ambiguity problem in pose solving, a disambiguation method was proposed based on angle constraint and grayscale distribution,which leveraged the characteristics of endoscopic imaging:only circular features, rich grayscale information, the part being moved by the manipulator during pose detection, and the center of the inner hole being close to the optical axis. Experimental results verify the effectiveness of the proposed pose detection algorithm herein. The position detection accuracy in the X and Y axis directions is 0.062 mm, and the attitude detection accuracy around the X and Y axes is within 1.4°, which meets the requirements of enterprises.

Graphical abstract

关键词

位姿检测 / 内窥成像 / 椭圆检测 / 二义性去除 / 边缘提取 / 图像分割

Key words

pose detection / endoscopic imaging / ellipse detection / ambiguity removal / edge extraction / image segmentation

引用本文

引用格式 ▾
李蓉,金子源,王华建,刘坚,尹韶辉. 轴孔类零件单目内窥成像位姿检测研究[J]. 中国机械工程, 2026, 37(9): 2101-2114 DOI:10.3969/j.issn.1004-132X.2026.09.003

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

高长径比空心精密轴类金属零件广泛应用于汽车燃油系统、航空液压燃油精密阀组件、内燃机润滑增压类轴件及工程机械精密液压元件中,如喷油嘴、伺服阀套、气门推杆等。该类零件通常具有如倒角、内螺纹、阶梯孔、台阶等复杂孔结构或多孔结构,加工工艺复杂,对形位公差、表面粗糙度、表面质量要求较高,其内孔表面缺陷将直接影响零件装配及配合精度、流体通流性能、密封性能及寿命。机器视觉因具有非接触、无损伤、效率高、一致性好的优点,相较于借助激光设备的方法[1-2]能降低成本,逐渐广泛应用于表面缺陷检测和自动化装配的位姿检测中[3-8].。但当前采用内窥成像对这类复杂轴类零件内孔进行基于机器视觉缺陷检测的研究极少,其主要原因为:内腔狭窄且结构复杂、孔径小、长径比大,外置相机及双目内窥均难以适用,作为可行方案的单目内窥成像则存在内窥镜易与内孔表面刮擦碰撞,且相对位姿偏移时易造成灰度不均,成像质量较差进而影响内孔缺陷检测效果等问题。基于此,采用单目内窥成像的内孔缺陷检测在内窥镜伸入孔前进行快速精确的位姿检测和位姿矫正极为关键。

该轴类金属零件单目内窥成像的位姿检测主要由图像分割、椭圆检测、位姿求解及二义性判别组成,前两个部分直接影响位姿检测的精度。图像分割是指从内孔端面图像中准确分割、提取目标特征轮廓。当前图像分割算法主要包括阈值分割法、边缘分割法、聚类分割法以及基于深度学习的图像分割法[9]。由于轴类零件的圆特征经透视投影后,大多表现为椭圆,因此其位姿检测为典型的椭圆检测。当前椭圆检测的主要方法有最小二乘法椭圆检测方法[10]、基于Hough变换的椭圆检测方法、基于弧段的椭圆检测方法[11]以及RED椭圆检测方法[12]。当前基于单目视觉圆特征的二义性去除大多是通过施加额外的环境约束条件来实现,如圆外侧固定点[13]、额外的线特征[14]、空间平行圆特征[15]、共面圆形[16]、工件平移采集两张图像[17]等。部分文献借助其他方法实现二义性消除,如圆片下表面圆心的重投影[18]、法向量约束[19]、结构光[20]、阴影分布建模[21]、灰度分布特征[22]等。

高长径比空心精密金属轴类零件类单目内窥成像的位姿检测存在3个突出难点:一是目标轮廓分割与提取,由于图像背景区域(孔内壁等)与目标区域(孔端面)灰度值相近,导致部分背景被当作目标分割,且成像存在如机加工痕迹、阶梯孔等诸多干扰;二是当内窥镜与内孔中心位姿偏移较大时光照不均,部分内孔边缘灰度值较低,与背景区域灰度值相近,导致分割后部分目标轮廓缺失,给椭圆检测带来一定难度;三是二义性的去除,本文图像仅有圆特征,完整椭圆数量有限且对效率有一定要求,现有的二义性消除方法不适用。为此,本文提出了一种轴孔类金属零件单目内窥成像的位姿检测算法。

1 轴孔类零件内窥成像位姿检测需求分析

1.1 轴孔类零件及其位姿检测成像特点分析

本文研究对象为典型轴孔类金属零件,其外表面具有倒角、外螺纹等结构,端面采用车削工艺,内孔以阶梯圆孔结构为主,具有台阶面和内螺纹等典型结构,如图1所示,其常见表面缺陷有端面磕碰、内外表面振纹、划伤、螺纹烂牙等。该工件小端内孔孔径约为ϕ6 mm,孔深约为13 mm。该零件除图1b中蓝色方框标记的内孔壁外,其余内外表面均需缺陷检测。

采用单目内窥成像的该零件视觉缺陷检测设备如图2所示,共设置4个检测工位,成像时检测工位固定,轴类工件由机械臂夹持移动,依次进行检测。其中,成像工位1~3侧重该轴类零件外表面检测,工位1采用线扫成像,工位2、3采用面阵相机成像;成像工位4则采用硬质内窥镜对该轴类工件的小端内孔(如图1b红框所示)和左侧阶梯孔进行缺陷检测。该工位简称为内窥成像工位,即本文研究对象。

内窥成像相机型号为MV-CE050-30UC,分辨率为2592像素×1944像素,硬质内窥镜型号为J0200G,外径为4 mm。根据内窥镜与工件的相对位置不同,分别对四种不同位姿下的该轴类零件进行成像,如图3所示。

为避免内窥镜与工件内孔发生刮擦,位姿检测及矫正在内窥镜尚未深入内孔前完成。存在不同位置和角度偏差时的小端面成像如图4所示,最大的椭圆均对应于小端内孔。图4a位姿偏移小,图像灰度因距离内窥镜远近不同而分布不均,位置1、2处均高亮,位置1可见内壁区加工痕迹,位置2处高亮区可见较明显的小端面车削痕迹,这些痕迹均将对内孔边缘轮廓的提取造成干扰。由图4b可知,位姿偏移程度较大时成像特点与图4a类似,但仅存在一处高亮处1,且该处非目标轮廓的螺旋线即端面车削痕迹更为明显,将对内孔边缘轮廓提取产生干扰;远离内窥光源的部分目标轮廓区域与背景区域的对比度进一步降低,2、3处出现轮廓不完整;这两个问题均给图像分割带来一定难度。此外,除工件小端直径为6 mm内孔边缘对应的椭圆外,还存在小端孔后方的阶梯孔对应的较小椭圆,这些椭圆因尺寸较小、清晰度不高、工件位姿偏移遮挡等因素,导致小端面成像图片不一定均能正确检测出孔内椭圆的信息。

1.2 位姿偏差标准制定

硬质内窥镜外径为4 mm,小端孔直径为6 mm,为保证内窥检测时镜头与工件内壁不发生碰撞,允许的最大位置偏差为1 mm。如图3所示,为实现小端孔内壁所有区域的图像采集,内窥镜需伸入孔内约10 mm。以小端内孔中心与内窥镜轴线重合为前提,计算允许的最大角度偏差。考虑到实际检测过程中最大的角度偏差值相对较小,允许的最大角度偏差近似计算为

θ=arcsin(110)=5.739°

采用单目内窥成像的该零件位姿检测的技术路线如下:①相机及手眼标定、图像采集、图像畸变去除和预处理,包括中值滤波、提取感兴趣区域;②图像分割、轮廓提取及干扰轮廓过滤后,进行椭圆拟合,获得图像中椭圆的参数信息;③基于圆特征求解位姿及二义性去除。基于椭圆参数信息进行位姿求解,获得相机与工件的相对位姿信息,经二义性去除后,获得真实位姿信息,进行必要的位姿矫正。下一节重点聚焦后两个关键步骤。

2 轴孔类零件单目内窥成像的位姿检测方法

2.1 图像分割与目标轮廓提取

采用单目内窥成像的该轴孔类工件位姿检测的第一步是图像分割,将目标区域和背景区域分离,分割小端内孔的边缘轮廓,去除干扰轮廓。

2.1.1 改进的Otsu阈值分割方法

目前主要的图像分割算法中,基于阈值分割的图像分割算法具有计算量小、分割后干扰轮廓较少的优点。边缘分割方法因对灰度不连续性以及噪声敏感,分割结果易包含大量的干扰轮廓,将增加目标轮廓提取的难度。基于深度学习的图像分割,需大量精准的训练集对神经网络进行训练,因此不适于本文。基于聚类的分割方法通过合理选取分类个数实现轮廓精准的分割,但需不断迭代,耗时相对较多,其中常见的K-Means聚类分割可将灰度图像分割成指定类数[23],通过获取不同类所在的灰度级区间,以实现指定类的阈值分割。分别将上述图像分割算法对图4a进行图像分割,结果如图5所示。

图5b将高灰度的背景区多处内壁加工痕迹误判为目标区域,原因在于框选处内壁灰度值较高,与内孔边缘轮廓区域灰度值接近,该方法仅将图像分为目标与背景两类。图5a、图5c、图5d 3种方法均无法精确实现图像分割。Otsu阈值分割方法与迭代阈值分割法效果类似,Otsu方法耗时更少,K-Means(K=2)方法提取的内孔轮廓向里收缩,偏小,无法精准分割内孔边缘轮廓。K-Means(K=3)方法将图像分为目标区域、较高灰度和较低灰度的背景区三类,相对于其他分割方法具有着更高的分割精度,但耗时约为1.5 s,不能满足工业现场缺陷实时检测的要求。因此综合考虑分割精度和效率,借鉴K-Means分类的思想,将Otsu分割方法的耗时短和K-means(K=3)方法高精度进行优势互补,提出改进的Otsu阈值分割方法。将Otsu获得的高灰度值区域基于K-means方法进行分类,将该区域的灰度值按大小排序,取中值将高灰度区域再分为两类,并以此中值作为最终的图像分割阈值。改进后的Otsu方法的分割结果如图5f所示,结果表明它对内孔轮廓分割精度明显优于上述所有阈值分割方法,且消除了孔内台阶面部分高灰度区域的影响,同时避免了K-Means算法反复迭代的高计算量特点,减小了分割耗时。

类似地,采用上述图像分割方法对图4b分别进行图像分割,结果如图6所示。

实验对比可知,除图6c最大熵阈值分割外,4种方法均能分割出强边缘(边缘轮廓明显的部分内孔轮廓),且图6f分割出的轮廓相对于其方法轮廓分割精度更高,验证了本文提出的改进Otsu分割方法的优越性。但这些方法均丢失了弱边缘(即灰度值较低的目标轮廓信息),将直接影响到椭圆检测精度进而降低位姿检测精度。最大熵阈值分割虽对背景区域与目标区域灰度值接近的部位分割效果较差,但对弱边缘的保留及分割效果较好。基于此,本文借鉴最大熵阈值分割法的优点,提出一种基于轮廓恢复的椭圆检测方法,具体在2.2节中进行介绍。

2.1.2 边缘轮廓提取

完成上述两个图的内孔轮廓分割后,对二值图进行边缘提取以拟合内孔轮廓。分别采用Canny算法、形态学操作以及OpenCV库中的Suzuki算法对图5f、图6f进行边缘提取,因3种方法均为对二值图进行处理,边缘检测效果基本一致,此处仅展示Suzuki算法效果,分别如图7a、图7b所示。3种不同边缘提取算法的单张图片平均检测效率如表1所示,可知Suzuki算法耗时最短,且可对不同轮廓进行分类。

2.1.3 基于长度约束和最小包络圆约束的干扰轮廓去除

由图7可知,轮廓提取后,除内孔边缘的轮廓,还存在诸多干扰轮廓,通过以下约束去除。

1)长度约束[18]。长度约束常用于筛除非目标轮廓,即将提取到的各轮廓长度与设定的轮廓长度阈值TL进行比较,删除轮廓长度小于TL的轮廓,其余轮廓保留。经实验,确定TL阈值设为300。通过长度约束对图7a、图7b进行轮廓筛选,结果如图8所示,前者内孔干扰轮廓被有效去除,但后者图像中,红蓝框内干扰轮廓未能有效去除。

2)基于长度约束和最小包络圆约束的基本思想为:采用轮廓最小包络圆对各轮廓进行包络,获得最小包络圆的半径和圆心位置。通过设置筛选半径的阈值和圆心所在的区域,可将图像中大部分干扰轮廓进行去除。本文设置两个最小包络圆半径的低阈值、高阈值分别为150像素和280像素。最小包络圆半径小于150的轮廓直接剔除;半径在150~280的轮廓则需判断圆心位置是否在以图像中心位置为中心的边长为300的正方形区域内(即图8a、图8b中红色方框)。通过最小包络圆半径和圆心位置约束对图8a、图8b进行轮廓筛选,结果如图9a、图9b所示。

实验结果表明,位于图像中心附近的高亮干扰轮廓均被有效去除,充分验证了本文提出的基于长度约束和最小包络圆的干扰轮廓去除方法的有效性。

2.1.4 基于径向搜索的内孔目标轮廓点提取

去除干扰轮廓后,对剩余轮廓采用最小包络正矩形对其进行包络。以此矩形中心为内孔轮廓搜索的中心点,以矩形对角线长一半为初始搜索半径R,在不同角度(0°~360°,步长0.5°)下遍历从R到0的路线下有无像素值为255的像素点,有则记录下该角度值、像素点位置和像素点到搜索中心的距离;若该角度已被记录,取两个距离中较小的距离进行记录,同时像素点更新为较小距离的像素点,如图10所示。完成0°~360°的搜索后即可得到待检测的内孔轮廓点集合,此集合可能包含部分误差点。通过此搜索还可得到图像中内孔边缘的覆盖角度。

2.2 基于轮廓恢复的椭圆检测算法

当内窥镜头与工件端面的相对理想位姿发生角度偏移,即内窥镜轴心与工件小端面不垂直时,空间圆投影到成像平面时变成椭圆。为检测出小端面目标空间圆(直径为6 mm的内孔圆)相对于内窥镜头的位姿,需先识别出投影在成像上的椭圆。

当前主要椭圆检测算法中,最小二乘椭圆检测方法检测速度快,但易受误差点影响,椭圆检测精度不高。基于Hough变换椭圆检测对误差点适应性更强,但其对参数空间量化敏感,性能随图像复杂度增加而显著下降,且计算与存储开销大[24]。基于弧段的椭圆检测方法对图像边缘要求较高,当提取的轮廓存在多个类似且尺寸接近的椭圆时,易发生弧段错误组合,且针对光照不均匀下的椭圆检测,其检测精度较低。RED椭圆检测算法[12]结合了随机Hough变换和最小二乘法椭圆检测的优点,既可解决Hough变换在高维空间时间复杂度高的问题,又可解决最小二乘法容易受到干扰点影响的问题。

2.2.1 改进RED椭圆检测算法

椭圆的一般方程可表述为

A1x2+B1xy+C1y2+D1x+E1y+F1=0

式中:A1、B1、C1、D1、E1、F1为椭圆的参数。

椭圆的标准方程转化为

[(x-x0)cos θ+(y-y0)sin θ]2a2+
[(y-y0)cos θ-(x-x0)sin θ]2b2=1

式中:a、b分别为椭圆长短半轴;(x0,y0)为椭圆的中心坐标;θ为椭圆相对x轴的旋转角度大小。

RED椭圆检测算法的基本思想:首先在图像中随机选择3个边缘点,分别以这3个点为中心选取相同大小的窗口,基于最小二乘法对这3个窗口中的所有边缘点进行椭圆拟合,然后在图像中随机选取第4个边缘点,以判断图像中是否存在一个可能的椭圆;找到一个可能存在的椭圆后,通过证据收集(满足距离约束被判定为“位于可能的椭圆上的点”的点数大于自适应阈值)以进一步验证该椭圆是否真实存在。

将RED椭圆检测算法用于本文的椭圆检测,因为上一节基于径向搜索获取的内孔轮廓点集是按0.5°的步长获得的,为离散点并不连续,所以存在以下问题:①椭圆检测时不能保证随机选取3个点的区域内点的数量达到椭圆拟合的最小点数,而选择区域内所有点作为椭圆检测对象,将增加椭圆初始拟合点集包含误差点的概率;②不适合利用拟合点数与拟合椭圆周长的比值作为正确检测出椭圆的阈值,同时还存在因位姿偏移较大存在图像分割后轮廓不完整的椭圆;③利用椭圆初始拟合点集拟合出的椭圆可能是错误的椭圆,有必要增加判断条件及时中止错误椭圆的后续验证流程。

针对RED椭圆检测上述存在的3个问题,分别进行改进,提出了改进后的RED椭圆检测算法,其基本思想如下:

1)借鉴基于最小二乘法的椭圆拟合改进算法[25]的基本思想,挑选6个存在一定间隔的点作为拟合对象,而不以3个随机边缘点为中心的邻域内的所有点作为拟合对象。

2)统计搜集到的内孔边缘轮廓点的个数,可计算出轮廓覆盖角,基于覆盖角判断是否成功找到椭圆。因存在位姿偏移较大造成轮廓丢失较多的椭圆,并不能保证所有的椭圆轮廓覆盖角度均满足阈值要求,因此,每次迭代过程中,同时保存符合点数最大的椭圆参数EV;当迭代次数达到最大的迭代次数Tf时,输出EV。

3)加入长短轴尺寸约束和长短轴比例约束,及时中止尺寸不符合要求的椭圆检测,提高检测速度。长短轴约束如下:

700<a<2000且700<b<2000且ab>0.8

改进RED的椭圆检测流程如图11所示。

经过反复实验,改进RED椭圆检测的主要参数设置如表2所示,若点到椭圆距离小于阈值Td则判断点在椭圆上;Tf用于判断是否找到存在的椭圆,若小于阈值Td的点数使得覆盖角度占比高于阈值Tr,则判断此椭圆存在。

为验证改进RED椭圆检测算法的有效性,分别将该方法与基于最小二乘法的椭圆检测方法、基于弧段的椭圆检测方法应用于3张不同位姿图像的椭圆检测对比中,检测结果如图12所示。其中仅基于弧段的椭圆检测方法的输入为原图图像,其余两种方法的输入为轮廓点集。图12a位姿图像存在诸多干扰轮廓信息,无法保证孔内干扰轮廓均能被过滤,且零件的小端面也可能存在破损的情况。最小二乘法检测出的蓝色椭圆轮廓易受干扰轮廓(误差点)影响,进而带来较大的椭圆检测误差,而图12b改进的RED椭圆检测方法展现出较好的抗干扰性。由图12c可知,基于弧段的椭圆检测方法因弧段误组合检测效果差,而图12d改进的RED椭圆检测算法可较为精确地检测出内孔椭圆轮廓。针对轮廓丢失较严重的位姿图像图12e,采用基于弧段的椭圆检测方法并不能检测到目标椭圆,而如图12e红色轮廓所示,改进的RED椭圆检测算法可有效对目标椭圆进行检测,但精度有待改善。上述实验结果充分验证了本文提出的改进RED椭圆检测算法相对于基于最小二乘和基于弧段的椭圆检测算法的优越性。

2.2.2 基于轮廓恢复的椭圆检测算法及有效性验证

由图12f可知,改进RED椭圆检测算法可检测到内孔边缘轮廓一定程度缺失的椭圆,但若位姿偏移过大提取到的内孔轮廓完整度较低时,尤其当其轮廓覆盖角度低于180°,即当提取到的椭圆有效边缘不足二分之一时,椭圆检测精度将会大幅下降。为实现内孔边缘高精度检测,重点在于如何获得更加完整的内孔边缘轮廓。由2.1.1节可知,最大熵阈值分割对背景区域与目标区域灰度值接近的部位分割效果较差,但对弱边缘的保留及分割效果较好。基于此,本文将改进的Otsu阈值分割与基于最大熵的阈值分割两者提取的轮廓相结合,优势互补,获得更加完整的内孔轮廓信息,以解决内孔轮廓不完整的问题。

基于改进RED算法,本文提出一种基于轮廓恢复的椭圆检测算法。将获得的位姿原图进行图像处理,获得(强)边缘点集与覆盖角度大小后,与阈值对比,进行完整度判定;对于完整度较高的点集,直接进行改进的RED椭圆检测;对于完整度较小的点集,再利用最大熵阈值分割获取弱边缘点,将其与现有点集合并,实现轮廓恢复后,再采用改进的RED椭圆检测算法进行椭圆检测。其椭圆检测算法的具体步骤如图13所示。

轮廓恢复图如图14所示。基于改进的Otsu阈值分割得到内孔轮廓点集合V,如图14b中蓝色点所示。待恢复的轮廓区域R获取步骤如下:先对第一次搜集到的内孔边缘点集,基于改进的RED算法进行椭圆检测,输出椭圆中心点(x、y)、长半轴a、短半轴b、倾斜角θ。分别以点(x,y)为圆心,a、b为圆环的内外半径绘制圆得到圆环,对最大熵阈值分割后的图像进行截取,如图14a红色区域所示。最终,将R区域中搜集到的轮廓点(如图14b中红色点所示)与轮廓点集V进行合并,即可获得如图14b所示点集V0。

利用本文提出的基于轮廓恢复的椭圆检测算法对图4b进行椭圆检测,检测结果如图15a所示。可知,基于轮廓恢复的椭圆检测方法相对本文提出的改进的RED方法(图15b)具有更高的检测精度。

为进一步验证基于轮廓恢复的椭圆检测方法的有效性与优越性,分别采用基于最小二乘法椭圆检测算法、基于弧段椭圆检测算法、本文提出的无尺寸约束的改进RED椭圆检测算法以及基于轮廓恢复的椭圆检测算法,对478张由内窥工位采集的不同姿态的小端面图像进行内孔边缘的检测,检测结果见表3。其中前3种方法运行环境在Python中运行(CPU:Intel i5-11400F;GPU:GTX 1650),基于弧段椭圆检测算法在MATLAB中运行。

由表3可知,本文提出的基于轮廓恢复的椭圆检测算法检测精度高达100%,且单张椭圆的检测耗时为0.719 s,仅次于最小二乘法椭圆检测,完全可以满足表面缺陷检测设备的效率要求,相较于其他椭圆检测方法具有明显综合优势。改进的RED椭圆检测方法准确率次之,其中4张椭圆检测错误主要原因在于因位姿偏移严重,图像分割时丢失了大部分轮廓,轮廓完整度不高。由于本文内窥图像包含曲率接近的螺旋线轮廓,基于弧段的椭圆检测方法大量耗时在弧段的筛选和组合上,椭圆检测耗时最高,其精度较低的可能原因在于:①图片上存在与目标轮廓曲率接近的干扰弧段,使得弧段组合不属于同一个椭圆的轮廓组合,造成检测出错;②图像目标轮廓的对比度较低,轮廓完整度不高。最小二乘法虽然速度最快但精度最低,原因在于孔壁区域存在未完全过滤的弧段,椭圆提取的内孔轮廓点集存在误差较大的点。上述对比充分验证了本文提出的基于轮廓恢复的椭圆检测算法的有效性和优越性。

2.3 基于圆特征的位姿求解原理及二义性成因

经上述处理得到椭圆方程后,建立图16所示的空间圆透视投影模型以便求解空间圆位姿。

在像平面中以(u0,v0)为原点建立直角坐标系,得到图像物理坐标系上的椭圆方程:

ax2+by2+cxy+dx+ey+f=0

将xX=f0Z,yY=f0Z(f0为焦距)代入式(5)可得

AX2+BY2+CXY+DXZ+EYZ+FZ2=0

可改写为以下形式:

(X,Y,Z)Q(X,Y,Z)T=0
Q=AC/2D/2C/2BE/2D/2E/2F

其中, Q 为实对称矩阵,因此存在

PTQP=diag(λ1,λ2,λ3)

式中:λ1,λ2,λ3为Q的特征值; P 为从标准椭圆锥坐标系转换到相机坐标系的旋转矩阵, P 为正交矩阵。

设相机坐标系下的点为(X,Y,Z)对应的标准椭圆锥坐标系下的点坐标为(X',Y',Z'),则这两点的对应关系如下:

(X,Y,Z)T=P(X',Y',Z')T

将式(9)代入式(8)后,展开得到

λ1(X')2+λ2(Y')2+λ3(Z')2=0

在空间圆半径R已知的情况下,可得到在标准椭圆锥坐标系下的可能的两个圆心坐标:

(X',Y',Z'}=
(±Rλ3(λ1-λ2)λ1(λ1+λ3),0,Rλ1(λ2+λ3)λ3(λ1+λ3))

两个圆心位置对应的法向量为

(NX',NY',NZ')=(±λ1-λ2λ1+λ3,0,-λ2+λ3λ1+λ3)

相机坐标系下的圆心位置C(X,Y,Z)与对应的法向量信息N=(NX,NY,NZ)表示如下:

(X,Y,Z)T=P(X',Y',Z')T
(NX,NY,NZ)T=P(NX',NY',NZ')T

2.4 基于角度约束与灰度分布的二义性去除方法及有效性验证

基于圆特征位姿求解过程中存在二义性的问题。由上文可知,当前基于单目视觉圆特征的二义性去除大多采用施加额外的环境约束条件去解决。HUANG等[16]基于同一平面内的两个圆形信息,以重投影误差最小对二义性进行去除,但本文成像无法保证每张图像均能准确检测出两个及以上的圆特征。MA等[17]通过手眼系统,采用机械臂夹持工件平移拍摄两张图像,基于平移前后两个位置工件的姿态角一致的思想,以解决二义性问题,该方法即为基于角度约束的二义性去除方法。本文同样采用机械臂夹持工件移动进行成像检测,具有类似性,因此可借鉴该方法用于二义性消除。

由内窥成像工位的特点分析可知,其成像距离较近,即零件内孔中心轴离内窥相机光轴较近,实际检测过程中相机光轴与端面法向量夹角不大,椭圆中心可近似看作与真实圆心重合。利用椭圆长轴像素尺寸与已知内孔直径信息,可近似计算出像素当量。根据图像中椭圆中心与图像主点的位置关系,可得工件内孔中心在水平面上到相机光轴处的近似距离。且本文对工件内孔内窥缺陷检测时,内窥镜轴线与工件内孔轴线需尽量重合,以提高内孔成像质量并避免碰撞。因此,当工件内孔中心已在相机光轴附近,利用机械臂夹持工件向相机光轴处移动进行二义性去除时,由于移动距离较小,可能会由于椭圆检测误差、相机标定误差等原因,造成二义性的误判。为确保二义性的正确去除,可以往反方向移动,增大移动距离,进行二义性剔除。但此操作在二义性去除后还需将工件内孔中心移动至相机光轴处,将增加检测耗时。因此需寻找其他二义性去除方法,对移动距离较小的情况进行补充。

如上文所述,除采用额外约束之外,采用其他方法进行二义性去除的方法见文献[14-18]。其中,文献[18-20]并未充分利用图像中的灰度信息且激光设备成本较高。MA等[21]通过寻找阴影宽度偏差与旋转角度间的数学关系,对阴影分布建模来计算单个圆的位姿。余厚云等[22]将图像的灰度分布特征用于位姿矫正,利用图像圆周方向的不同角度下的灰度信息计算出灰度分布轴线的位置,以引导机械臂带动相机进行姿态调整,实现相机与工件的位姿对正。

综上所述,本文二义性去除缺乏圆特征以外的特征信息,并存在机械臂移动工件、内孔中心靠近光轴、灰度信息丰富的特点,因此根据文献[22]的思想,将图像的灰度分布与基于圆特征的位姿求解联系起来,将灰度分布引入位姿求解的二义性去除中,提出一种基于角度约束与灰度分布的二义性去除方法以更加充分利用图像信息,且因减少二义性去除机械臂的运动次数而降低了平均耗时。

该二义性去除方法流程如下:设定距离阈值ε,检测第一张图片的内孔中心与相机光轴在水平面上的距离d,若d>ε则利用角度约束去除二义性,若d<ε则利用灰度分布去除二义性。其中,基于灰度分布二义性去除方法的基本步骤如下:

1)将检测到的内孔边缘椭圆进行放大,获得椭圆环,用椭圆环截取图像的灰度图,按角度统计椭圆环区域的灰度均值,将各个角度的灰度均值绘制成图,得到灰度分布图。

2)分析不同区域亮度对应的相机坐标系下的真实法向量各个参数的正负情况。当工件中心位于相机光轴附近时,所求位姿的两个法向量是关于相机坐标系Z轴近似对称的[18],在基于圆特征位姿求解过程中相机法向量的z值的符号已经确定为负,如n1(+x,+y,-z),n2(-x,-y,-z),仅需确定法向量的x或者y某一个值的正负即可判别,但当x或者y的值接近零时容易误判,为此选择x、y中绝对值较大的进行判断。若x、y都接近于0,说明相机光轴与工件端面接近于垂直状态,只需进行平移即可。

不同角度区域示意图见图17。在相机坐标系下建立端面法向量n(x,y,z)与灰度分布之间的对应关系(以逆时针为正方向):①x为负时,270°~360°及0°~90°(y轴右侧)的灰度均值大于90°~270°(y轴左侧)的灰度均值;②x为正时,90°~270°的灰度均值大于270°~360°及0°~90°的灰度均值;③y为负时,180°~360°的灰度均值大于0°~180°的灰度均值;④y为正时,0°~180°的灰度均值大于180°~360°的灰度均值。

为验证当工件的内孔中心位于相机光轴附近时,利用工件端面的灰度分布去除二义性的有效性,以图18a、图18b两个不同位姿的零件端面灰度图为例,先分别计算出每个图像的两个法向量可能解,再利用基于角度约束的方法进行二义性去除,判断出真实法向量,结果如表4所示。以此真实法向量作为正解,基于灰度分布的方法分别对该图进行圆周方向的灰度分布统计,结果如图19所示。

比较利用基于灰度分布的方法得到的真实法向量与正解是否一致,即可验证灰度去除二义性的有效性。

由图19可知,两个灰度图最大的灰度差值分别约为60和130;图19b的灰度变化明显大于图19a的灰度变化,说明端面与相机光轴的不垂直度越大,图像圆周方向的灰度变化越大。该结论与图18设定一致。两张灰度分布图270°~360°及0°~90°的灰度均值均大于90°~270°的灰度均值,即真实解的法向量的x参数值为负,与表4利用角度约束的方法获得的真实法向量的x参数的正负号一致。

上述实验结果表明,利用灰度分布判别二义性的结果与利用角度约束判别二义性的结果一致,验证了基于灰度分布去除二义性的有效性,也充分证明了本文提出的基于角度约束与灰度分布的二义性去除方法的有效性。

3 位姿检测实验方案设计与结果分析

3.1 实验方案设计

为验证该轴类零件单目内窥成像的位姿检测算法的有效性,分别设计了用于位置精度验证和用于姿态精度验证的实验方案。实验均在机械臂坐标系下完成。

1)位置精度验证实验方案。内窥检测时位置检测主要考虑水平面X、Y方向的偏移,竖直方向Z不予讨论。设定工件小端面内孔中心位于图像主点附近的某个位置为初始位置,分别按X、Y方向进行10步移动,步长设为0.1 mm,同时采集不同位置偏移下的图像,最终获得用于位置精度验证的工件图像。考虑到要保证工件端面完整出现在图像中,在合适的成像距离下,工件从图像中心往图像边缘大概只能移动1.5 mm,为此X、Y轴方向的移动范围均取为(0~1.5 mm)。

2)姿态精度验证实验方案。先找到一个工件内孔中心处于相机光轴附近且工件端面与相机光轴接近垂直的位置,以此作为姿态验证实验的起始点,利用标定板获取此时的姿态信息,作为姿态的理论值;然后再按一定的步长(1°)分别旋转机械臂的X轴或者Y轴,同时采集工件中心位于相机光轴附近的不同姿态下的图像;最终获得用于姿态精度验证的工件图像。考虑到本文内窥成像允许的最大姿态偏差约为5.7°,同时相机与工件的实际姿态偏差不会太大,X和Y轴的旋转的范围均设置为0°~8°。

3.2 位姿检测精度验证

3.2.1 位置精度验证

按照上述位置精度验证实验方案,基于本文位姿检测算法检测出的位姿结果如图20所示。由图20a可知,本位姿检测算法在X轴方向移动过程中最大位置检测误差范围为(-0.013,0.023),最大偏移误差为0.026 mm;在Y轴方向移动过程中最大位置检测误差为(-0.058,0.023),最大偏移误差为0.062 mm;两种误差均远小于允许的最大位置偏差(1 mm)。

3.2.2 姿态精度验证

按照上述二义性去除方法,保证工件内孔中心在图像主点附近,利用本文的位姿求解算法计算相对姿态。沿X轴旋转的起始值为利用标定板算得RX =1.997°,RY =0.374°;沿Y轴旋转的起始值利用标定板算得RX =3.328°,RY =0.645°。根据上述姿态精度验证实验方案,基于本文位姿检测算法检测出的姿态结果如图21所示。由图21可知,本文的位姿检测算法绕X轴旋转的姿态(RX,RY )最大角度误差为(-0.970°,0.360°),绕Y轴旋转的姿态(RX,RY )最大角度误差为(-0.650°,0.746°),两者均在本文姿态检测的最大误差(1.4°)要求内。

因本文提出的位姿检测算法最大位置误差为0.062 mm,由1.2节可知,此时允许的最大角度误差近似为

δ=arcsin(1-0.06210)=5.382°

本文的姿态检测精度在1.4°内,均大大低于防碰撞的标准。综上所述,位姿检测的精度实测结果均验证了该方法的有效性。

3.2.3 位姿检测误差分析

对该位姿检测算法进行误差分析,可能原因有:①成像质量不佳,造成目标轮廓提取存在误差;②椭圆检测误差;③环境振动导致成像条件变化带来的误差。除检测算法外,由文献[18]可知,相机标定、手眼标定的误差与零件轴孔加工误差均可能对位姿检测结果造成误差。由2.3节和上述分析可知,影响位姿检测的因素有椭圆拟合效果、零件半径r以及标定参数焦距f、主点p。

本文以MATLAB为仿真平台,建立模拟相机和模拟空间圆。相机分辨率为2592像素×1944像素,相机主点设定于成像平面中心,像元尺寸2.5 μm,焦距70 mm,圆半径 3mm,相机坐标系下圆心坐标为(0,0,110)mm,圆片法向量为(-0.1,0.2,0.975)。参考文献[18]设计误差分析实验,通过添加高斯噪声模拟椭圆拟合的干扰,分别对半径r、焦距f、主点p、噪声施加人为干扰来观察空间圆位姿变动程度,从而定量分析各因素对位姿检测误差影响的大小;考虑到该精密件公差为±0.02 mm,设置半径扰动范围为±0.02 mm;根据文献[18]设置焦距、主点扰动范围为±0.1 μm、±3像素,设置均值为0,标准差为3像素的高斯噪声。根据这些设置,位姿检测误差分析结果如图22~图25所示。

如图22所示,半径干扰对检测位置XY的影响较为显著且呈线性,误差在10-5数量级,相较而言,半径的干扰对角度偏差并未产生影响。如图23所示,焦距干扰对检测位置XY的影响较为显著且呈线性,误差在10-8数量级,对角度偏差并无明显影响。如图24所示,随着主点偏移程度增大,XY位置偏差重叠且呈线性变化,误差波动在±0.015 mm内,角度误差波动在0.01°以内,均远小于本文的标准。添加高斯噪声模拟椭圆拟合的干扰,位姿检测误差结果如图25所示,噪声的增加对位置偏差影响较小,波动范围在10-5数量级,而角度偏差上下波动,范围在0.006°以内。

上述位姿检测误差分析结果进一步验证了本文提出的轴类零件内窥成像位姿检测算法的有效性和鲁棒性。

4 结论

针对复杂轴孔类零件孔内表面缺陷检测的需求,本文提出了一种单目内窥成像的位姿检测算法,以精确求解相对位姿,避免内窥镜与工件内壁的碰撞划伤的同时提高并保障内孔表面缺陷检测的内窥成像质量。位姿检测精度实验及其仿真误差分析结果均验证了本文提出的轴孔类零件单目内窥成像的位姿检测算法的有效性。本文研究可为复杂圆柱形轴类或者管类零件的在线缺陷检测和自动化装配的位姿检测及矫正提供一定的技术支持和参考。

参考文献

[1]

孙露萍, 张文昌, 王志华, 等. 基于2D激光位移传感器的舱段自动对接测量方法[J]. 中国机械工程, 2023, 34(9): 1120-1125.

[2]

SUN Luping, ZHANG Wenchang, WANG Zhihua, et al. Measurement Method of Cabin Automatic Docking Based on 2D Laser Displacement Sensor[J]. China Mechanical Engineering, 2023, 34(9): 1120-1125.

[3]

陈栋, 李世其, 王峻峰, 等. 一种以测量关键特征拟合舱段位姿的方法[J]. 中国机械工程, 2019, 30(18): 2250-2256.

[4]

CHEN Dong, LI Shiqi, WANG Junfeng, et al. A Method for Fitting Pose of Cabins through Measured Key Features[J]. China Mechanical Engineering, 2019, 30(18): 2250-2256.

[5]

路恩会, 郭耀村, 李世雯, 等. 基于全参考彩色图像质量算法的磨削表面粗糙度测量[J]. 仪器仪表学报, 2023, 44(7): 252-259.

[6]

LU Enhui, GUO Yaocun, LI Shiwen, et al. Measurement of Grinding Surface Roughness Based on the Full-reference Color Image Quality Algorithm[J]. Chinese Journal of Scientific Instrument, 2023, 44(7): 252-259.

[7]

ZHANG Hang, LI Rong, ZOU Dexiang, et al. An Automatic Defect Detection Method for TO56 Semiconductor Laser Using Deep Convolutional Neural Network[J]. Computers & Industrial Engineering, 2023, 179: 109148.

[8]

SUO Xinyu, ZHANG Jie, LIU Jian, et al. Anomaly Detection in Annular Metal Turning Surfaces Based on a Priori Information and a Multi-scale Self-referencing Template[J]. Sensors, 2023, 23(15): 6807.

[9]

LI Mengyuan, CHEN Ning, SUO Xinyu, et al. An Efficient Defect Detection Method for Nuclear-fuel Rod Grooves through Weakly Supervised Learning[J]. Measurement, 2023, 222: 113708.

[10]

刘坚, 王媛媛. 一种面向球姿态检测的图像透视畸变校正方法[J]. 中国机械工程, 2019, 30(18): 2242-2249.

[11]

LIU Jian, WANG Yuanyuan. A Method of Image Perspective Distortion Correction in Ball Pose Detections[J]. China Mechanical Engineering, 2019, 30(18): 2242-2249.

[12]

房运涛, 王晓东, 徐松, 等. 万向支架微小螺纹副自动装配系统[J]. 中国机械工程, 2022, 33(6): 698-706.

[13]

FANG Yuntao, WANG Xiaodong, XU Song, et al. Miniature Thread Pairs Automatic Assembly System for Gimbals[J]. China Mechanical Engineering, 2022, 33(6): 698-706.

[14]

黄鹏, 郑淇, 梁超. 图像分割方法综述[J]. 武汉大学学报(理学版), 2020, 66(6): 519-531.

[15]

HUANG Peng, ZHENG Qi, LIANG Chao. Overview of Image Segmentation Methods[J]. Journal of Wuhan University (Natural Science Edition), 2020, 66(6): 519-531.

[16]

GANDER W, GOLUB G H, STREBEL R. Least-squares Fitting of Circles and Ellipses[J]. BIT Numerical Mathematics, 1994, 34(4): 558-578.

[17]

LU Changsheng, XIA Siyu, SHAO Ming, et al. Arc-support Line Segments Revisited: an Efficient High-quality Ellipse Detection[J]. IEEE Transactions on Image Processing, 2020, 29: 768-781.

[18]

李良福, 冯祖仁, 贺凯良. 一种基于随机Hough变换的椭圆检测算法研究[J]. 模式识别与人工智能, 2005, 18(4): 459-464.

[19]

LI Liangfu, FENG Zuren, HE Kailiang. An Improved Algorithm for Ellipses Detection Based on Randomized Hough Transform[J]. Pattern Recognition and Artificial Intelligence, 2005, 18(4): 459-464.

[20]

苗锡奎, 朱枫, 丁庆海, 等. 基于星箭对接环部件的飞行器单目视觉位姿测量方法[J]. 光学学报, 2013, 33(4): 412006.

[21]

MIAO Xikui, ZHU Feng, DING Qinghai, et al. Monocular Vision Pose Measurement Based on Docking Ring Component[J]. Acta Optica Sinica, 2013, 33(4): 412006.

[22]

MENG Cai, LI Zhaoxi, SUN Hongchao, et al. Satellite Pose Estimation via Single Perspective Circle and Line[J]. IEEE Transactions on Aerospace and Electronic Systems, 2018, 54(6): 3084-3095.

[23]

ZHANG Dezhi, YANG Guocai, JI Junhong, et al. Pose Measurement and Motion Estimation of Non-cooperative Satellite Based on Spatial Circle Feature[J]. Advances in Space Research, 2023, 71(3): 1721-1734.

[24]

HUANG Bin, SUN Yongrong, ZHU Yunfeng, et al. Vision Pose Estimation from Planar Dual Circles in a Single Image[J]. Optik, 2016, 127(10): 4275-4280.

[25]

MA Xin, FENG Junbing, LI Yibin, et al. Active 6-D Position-pose Estimation of a Spatial Circle Using Monocular Eye-in-Hand System[J]. International Journal of Advanced Robotic Systems, 2018, 15: 1729881417753692.

[26]

王斌, 吴丹, 盖宇航. 面向机器人精密装配的高精度圆片位姿视觉检测[J]. 机械工程学报, 2023, 59(8): 50-59.

[27]

WANG Bin, WU Dan, GAI Yuhang. High-precision Wafer Pose Visual Detection for Robot Precise Assembly[J]. Journal of Mechanical Engineering, 2023, 59(8): 50-59.

[28]

于长志, 张连新, 孙鹏飞, 等. 基于法向约束的背靠视觉端面对接定位方法[J]. 计算机工程, 2022, 48(9): 213-222.

[29]

YU Changzhi, ZHANG Lianxin, SUN Pengfei, et al. End-face Butt-joint Positioning Method with Back Against Vision Based on Normal Constraint[J]. Computer Engineering, 2022, 48(9): 213-222.

[30]

LI Shunzhi, LIANG Bin, GAO Xuehai, et al. Pose Measurement Method of Non-cooperative Circular Feature Based on Line Structured Light[C]∥2016 IEEE International Conference on Information and Automation (ICIA).Changsha, 2016: 374-380.

[31]

MA Yanqin, LIU Xilong, XU De. Precision Pose Measurement of an Object with Flange Based on Shadow Distribution[J]. IEEE Transactions on Instrumentation and Measurement, 2020, 69(5): 2003-2015.

[32]

余厚云, 王慧青, 张辉, 等. 产品表面质量视觉检测中的相机位姿自动校准[J]. 东南大学学报(自然科学版), 2020, 50(5): 942-949.

[33]

YU Houyun, WANG Huiqing, ZHANG Hui, et al. Automatic Calibration of Camera Pose in Visual Inspection of Product Surface Quality[J]. Journal of Southeast University (Natural Science Edition), 2020, 50(5): 942-949.

[34]

田光宝, 王见, 王博文. 单目相机非合作目标提取及位姿检测[J]. 红外与激光工程, 2021, 50(12): 20210166.

[35]

TIAN Guangbao, WANG Jian, WANG Bowen. Monocular Camera Non-cooperative Target Extraction and Pose Detection[J]. Infrared and Laser Engineering, 2021, 50(12): 20210166.

[36]

LIU Yang, XIE Zongwu, LIU Hong. Fast and Robust Ellipse Detector Based on Edge Following Method[J]. IET Image Processing, 2019, 13(13): 2409-2419.

[37]

闫蓓, 王斌, 李媛. 基于最小二乘法的椭圆拟合改进算法[J]. 北京航空航天大学学报, 2008, 34(3): 295-298.

[38]

YAN Bei, WANG Bin, LI Yuan. Optimal Ellipse Fitting Method Based on Least-square Principle[J]. Journal of Beijing University of Aeronautics and Astronautics, 2008, 34(3): 295-298.

基金资助

湖南省科技创新计划(2023GK2008)

湖南省科技创新计划(2023RC1046)

岳麓山工业创新中心项目(2023YCII0112)

国家重点研发计划(2024YFB3411400)

AI Summary AI Mindmap
PDF (5789KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉