洗衣机装配缝隙与阶差测量系统设计

朱开源 ,  陆永华 ,  冯强 ,  周利华

测试技术学报 ›› 2024, Vol. 38 ›› Issue (04) : 378 -386.

PDF (3000KB)
测试技术学报 ›› 2024, Vol. 38 ›› Issue (04) : 378 -386. DOI: 10.3969/j.issn.1671-7449.2024049
测试技术与理论基础

洗衣机装配缝隙与阶差测量系统设计

作者信息 +

Design of Gap and Flush Measurement System for Washing Machine Assembly

Author information +
文章历史 +
PDF (3071K)

摘要

提出一种基于线结构光的缝隙和阶差尺寸测量方法, 通过搭建洗衣机表面质量视觉检测平台, 采集洗衣机缝隙图像, 设计了一种洗衣机缝隙检测算法, 在阈值分割、 缝隙定位后获取缝隙ROI图像, 采用最小二乘法拟合缝隙边缘, 利用线结构光传感器进行标定, 根据标定结果计算缝隙尺寸; 设计了一种洗衣机阶差检测算法, 通过阶差位置获取光条图像, 在阈值分割、 中心线提取后, 寻找阶差两侧的特征点, 将二维坐标转换为三维坐标计算阶差。试验结果表明: 系统缝隙检测误差0.124 mm, 阶差检测误差0.170 mm, 满足洗衣机缝隙与阶差测量的要求。

Abstract

In this paper, a gap and flush measurement method based on line structured light is established by designing a visual inspection platform for washing machine surface quality. A gap measurement algorithm is designed. After threshold segmentation and gap positioning, on ROI image is obtained, and the least square method is used to fit the gap edge. The gap width is calculated according to the calibration results of line structured light sensor. A washing machine flush measurement algorithm is then designed. The light strip ROI image is obtained through the gap position. After threshold segmentation and centerline extraction, the feature points on both sides of the gap are found. The two-dimensional coordinates are transformed into three-dimensional coordinates through the calibration results, then the flush depth is calculated. The experiment results show that the absolute error of gap width measurement is 0.124 mm and the absolute error of flush size measurement is 0.170 mm, which meets the requirements of automatic measurement for washing machines.

Graphical abstract

关键词

机器视觉 / 线结构光 / 洗衣机 / 装配缝隙 / 缝隙与阶差测量

Key words

Machine vision / line structured light / washing machine / assembly gap / gap and flush measurement

引用本文

引用格式 ▾
朱开源,陆永华,冯强,周利华. 洗衣机装配缝隙与阶差测量系统设计[J]. 测试技术学报, 2024, 38(04): 378-386 DOI:10.3969/j.issn.1671-7449.2024049

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

缝隙和阶差是衡量洗衣机装配质量的两个重要指标, 缝隙与阶差超标不仅影响产品美观, 还会降低产品使用寿命。目前, 洗衣机缝隙与阶差检测采用传统人工目测方式, 人工检测效率低, 容易误检和漏检, 检测不规范, 而基于机器视觉的检测技术在精度和效率方面表现出色[1‐3], 可用于缝隙与阶差测量。

缝隙与阶差的测量领域, 前人做出了许多重要成果。缝隙与阶差的计算精度与缝隙的定位精度有关, 传统算法通过缝隙本身特征[4‐5]可实现缝隙的定位, 定位精度高且抗噪能力强, 但传统算法鲁棒性不高; 通过卷积神经网络等算法[6‐7]也能达到较高精度; 基于深度学习算法需大量数据集, 且不同的模型互不通用[8‐9]; 利用测量的点云可以实现缝隙与阶差的高精度测量[10‐11], 但基于点云的测量方法计算开销大, 且点云质量会直接影响检测精度; 利用手持式设备[12‐14]检测缝隙与阶差, 在人工辅助下也可以完成测量任务, 但手持式测量设备对测量位置要求高, 且操作人员的熟练度对测量结果影响较大; 利用线结构光[15‐17]技术测量缝隙与阶差是一种有效的非接触测量方法, 结构光测量时通常与相机结合, 相较于基于点云的测量方法, 处理速度快且精度高, 但对场景光照敏感。

综上所述, 现有的缝隙与阶差测量领域存在着计算开销大、 精度不高、 需人工辅助测量等问题。本文提出一种基于线结构光的缝隙和阶差检测方法, 在检测洗衣机时无需点云数据, 计算数据量小且精度高。通过定位简单区域的缝隙位置, 推测整个洗衣机的其余缝隙位置; 基于图像处理, 提取缝隙边缘点拟合, 并计算缝隙宽度; 通过提取线结构光打在阶差两侧的二维特征点, 计算三维平面阶差高度; 搭建视觉检测平台, 实现了洗衣机缝隙与阶差的自动化检测。

1 系统构成

如图 1 所示, 测量系统由光源、 检测机构、 运动平台、 龙门架组成。

龙门架横跨安装于流水线两侧, 除洗衣机底部与背部, 洗衣机每个方向都安装有检测机构, 不同位置的检测机构中工业相机与激光器的排布方式也不同, 工业相机光轴与激光器打出的激光平行, 两者相对位置固定并且已提前标定。顶部检测机构固定在龙门架的上方, 用以检测说明书商标、 控制面板与箱体之间的缝隙; 正面检测机构和侧面检测机构安装在运动平台上, 正面检测划痕、 型号和商标, 侧面检测缝隙、 阶差和划痕。因不同型号洗衣机尺寸和前封门弧度不尽相同, 正面检测机构装有测距传感器, 可实时获取相机物距并反馈至运动控制系统, 保持相机工作距离不变。侧面检测装置通过气缸控制, 可在一定范围内伸缩, 防止阻挡洗衣机在流水线运动。

2 缝隙检测算法

如图 2 所示, 由于洗衣机缝隙的数量、 走向都是固定的, 首先提取出某一张单独的图像中缝隙的位置, 再依据该缝隙在洗衣机的位置推测出其余缝隙ROI; 其次, 通过计算图像的灰度梯度变化率提取缝隙的中心线, 再从中心线分别向两侧寻找边缘点并拟合成直线, 最后得到两直线间的距离即缝隙宽度。

2.1 缝隙定位

图 3 为洗衣机缝隙与阶差的示意图。洗衣机缝隙可分为LB, LF, RB, RF和T共5种区域。其中, “L”表示洗衣机的左侧部分, “R”表示右侧部分, “B”表示后侧部分, “F”表示前侧部分, “T”表示顶盖部分, 数字表示ROI在整个洗衣机中的矩阵位置。例如, “LB12”表示洗衣机左后方第1排和第2列的位置, 如图 4 所示。

T11, T13, LF11和LF41区域的复杂背景使得缝隙提取十分困难。T12, LF21, LF31和LB11区域背景相对简单, 因此本文以上述区域的缝隙作为定位基准确定ROI。

T12位置缝隙提取具体步骤如下:

1) 旋转图像保证缝隙走向为自上向下。

2) 轮廓连接。基于形态学运算连接可能断开的轮廓并填充轮廓内部孔洞。

3) 以比例s缩放图像, 减少数据处理量。

4) 轮廓提取。基于形状和位置特征筛选缝隙轮廓, 条件为

A>AT,hc>αH,

式中: AT为面积阈值; hc为轮廓高度; H为图像高度; α为高度缩放比例。

筛选后图像存在若干个轮廓, 按照X坐标从大到小进行排序, 第2个轮廓即为目标轮廓, 如图 5 所示。

5) 坐标提取。如图 5(b) 所示, 第1行黑色像素点X坐标最小值为XT11, 最后一行黑色像素点X坐标最小值为XT13, 得到的轮廓区域Sc。

对于T11等复杂图像, 以点XT11,YT11为基准, 设定ROI区域截取缝隙图像。在提取到的ROI图像中进行轮廓筛选, 从而提取缝隙图像。

2.2 边缘提取

边缘提取即提取缝隙的边缘点, 首先, 使用2.1节的缝隙定位方法, 从原图像I中截取缝隙图像IR; 其次, 对图像IR进行中值滤波得到图像IRf; 然后, 计算IRf的灰度梯度变化率; 再根据IR图像的灰度值, 提取缝隙中心; 最后, 从缝隙中心分别向两侧寻找最近的灰度梯度变化率极大值点, 该点即所求边缘点。

2.2.1 灰度梯度变化率计算

灰度梯度变化率的计算对噪声敏感, 必须使用滤波器来改善结果。中值滤波在去除脉冲噪声的同时可以保留图像边缘信息[18], 因此, 计算灰度梯度变化率前, 采用中值滤波去除图像噪声。

在去除噪声后, 使用Sobel算子检测缝隙图像IRf在水平方向的一阶梯度, 获得梯度图像Gx并计算图像灰度梯度变化率

Iv(x,y)=Gx(x,y)IRf(x,y)。

2.2.2 缝隙中心提取

缝隙中心为图像IRf中Sc区域每行灰度最小值, 所得中心点易受噪声干扰。本文使用中值滤波平滑数据, 图6(c)为中值滤波去除中心奇异像素点处理结果, 记Pfi(xfi,yhi)为经中值滤波后的缝隙中心点坐标。

2.2.3 边缘点提取

如图 7 所示, 在图像Iv对应的Sc区域内以缝隙中心点Pfi为起点, 分别向两侧像素搜索, 当邻域中心值为极大值时, 即认为到达边界, 左侧边界点记为Plbi, 右侧边界点记为Pbri。所谓极大值, 即相对于邻域内的其它元素, 邻域中心元素绝对值最大。

2.3 缝隙宽度计算

2.3.1 边缘直线拟合

为减弱噪声的干扰、 提高边缘检测的精度, 本文使用最小二乘法拟合边缘直线以去除奇异点。洗衣机零部件加工精度有限, 缝隙边缘存在一定的直线度偏差。如图 8 所示, 将单条缝隙均分为5段, 每段使用最小二乘法拟合边缘直线。

2.3.2 距离值计算

若要计算5段直线拟合后直线间的距离, 可通过计算图8中的红色端点xE,yE到另一边的直线ax+by+c=0距离

h=|a1xE+b1yE+c1|a2+b2。

式中: a1xE+b1yE+c1为二维图像坐标系下的直线一般方程式表达(其中a1, b1不全为0); a1为x系数; b1为y系数; c1为常数。

该距离值即所求的缝隙宽度, 缝隙检测参数包括最大宽度wmax以及缝隙均匀度wd, 其中缝隙均匀度为wmax和wmin之间的差值。各参数计算方法为

wmax=dc×max(h1,h2,…,h10),wmin=dc×min(h1,h2,…,h10),wd=wmax-wmin,

式中: dc 为标定结果, 即单个像素所代表的物理尺寸。

3 阶差检测

阶差需结合线结构光辅助测量, 线结构光垂直打在洗衣机表面缝隙。首先, 根据不同的区域确定ROI区域以及ROI区域的方向; 其次, 通过阈值分割等图像处理, 提取出ROI区域内的激光光条; 再平滑得到的激光光条, 并提取出光条中心线; 最后提取中心线上的特征点, 并基于标定结果计算阶差。

3.1 ROI提取

如图 9 所示, 不同区域ROI的形状应该适应光条分布方向。因此, 侧面前部ROI宽度大于高度, 侧面后部则高度大于宽度。在垂直于缝隙的方向上向两侧各伸展一定距离, 构建图像ROI, ROI提取结果如图 10 所示。

3.2 特征点提取

3.2.1 阈值分割

投射在洗衣机表面的激光能量集中, 图像中光条灰度值超过200, 且与背景区分明显, 使用固定阈值分割获得二值图像, 结果如图11所示。

3.2.2 边缘平滑

在阈值分割后, 通过旋转图像使所有光条竖直分布。如图11(a), 二值图像的光条边缘粗糙, 影响后续中心线提取。本文使用先闭后开的形态学运算平滑光条。图12(a)为边缘平滑结果。

3.2.3 光条轮廓提取

如图 10(a) 所示, 光滑的洗衣机壳体在激光照射下会产生明亮的光斑, 在阈值分割后成为团状像素块, 如图 11 中的光条旁的白色像素块。本文使用基于面积和长度的轮廓形状特征进行筛选, 提取到光条轮廓后, 可得光条在图像中纵向分布区间, 轮廓提取结果如图12(b)所示。

3.2.4 光条中心线提取

二次加权灰度重心法在光条中心提取上拥有最佳的效果[19], 本文使用该算法从光条纵向分布区间提取光条中心

xcenter(i)=∑x=xlxrIF2(x,i)⋅x∑x=xlxrIF2(x,i),

式中: xcenter(i)为第i行光条中心点横坐标。

在获得光条中心后, 为消除噪声干扰, 本文使用最小二乘法拟合光条中心获得图像IC, 图 13为拟合结果。

3.2.5 特征点提取

光条中心线端点即阶差检测特征点。从图像左上角开始自左向右、 自上向下对拟合出的光条中心线图像IC 进行像素搜索, 满足式(6)时, 即认为该点是待提取特征点。

IC(x,y)=255&IC(x,y+1)=0IC(x,y)=255&IC(x,y-1)=0

依据式(6)可搜索到4个特征点, 将它们放入数组并按照Y坐标大小进行排序, 下标为1和2的数组元素即为缝隙两侧特征点, 记为PA, PB, 图 14为特征点提取结果。

3.3 阶差计算

获得特征点后, 需使用预先标定的结果将特征点从二维平面转换为三维平面。

ZCuv1=fx0u000fyv000010XCYCZC1=KXCYCZC1,

式中: u,v为像素坐标系下二维坐标; (XC,YC,ZC)为相机坐标系下的三维坐标; K 称为相机内参矩阵, 通过相机标定得到; fx, fy分别是u轴、 v轴的有效焦距, u0, v0为主点坐标。

上述方程只能实现点从相机坐标系到像素坐标系的转换, 无法将二维坐标转换为三维坐标。通过对线结构光光平面的标定可以获得光平面方程, 本文使用的光平面标定方法为自由移动平面标靶法。光平面方程为

apXC+bpYC+ZC=cp,

式中: (ap,bp,1)为光平面的法线向量分量; cp为光平面常数项。

根据式(7)与式(8), 即可求得像素坐标系下的点对应相机坐标系下的三维坐标

ZC=fxfycafy(u-u0)+bfx(v-v0)+fxfy,XC=(u-u0)ZCfx,YC=(v-v0)ZCfy。

阶差为相机坐标系下缝隙两侧点PCAXCA,YCA,ZCA和PCBXCB,YCB,ZCB的Z轴坐标差分绝对值

hg= |ZCA-ZCB|。

由像素坐标系下的点PA, PB 及其所对应的相机坐标系下的点PCA, PCB, 可得

dc=XCA-XCB2+YCA-YCB2XA-XB2+YA-YB2。

4 实验结果与分析

4.1 阶差尺寸测量实验

系统共布置9个线结构光传感器, 除所在位置及标定结果存在差异外, 相机、 激光器型号、 图像处理算法等条件完全相同。因洗衣机侧面板装配阶差一般不超过2 mm, 采用如图 15(a) 的标准件验证系统精度, 4个台阶高度分别为0.5 mm, 1.0 mm, 1.5 mm, 2.0 mm, 加工误差在±0.01 mm内。

相机到标准件的距离为220 mm, 在实验时此距离保持不变, 手动触发侧面检测机构运动并进行尺寸测量。实验中通过增减板材数量改变标准块的高度来检测不同截面的阶差。如图 15(b) 所示, 初始时激光光条位于标准块底部, 随即开始检测并在每次检测后给标准件垫上一块8 mm厚的铝板, 直至获取5次截面的数据为止; 然后卸下所有的8 mm厚板材, 在标准块底部放置一块5 mm厚的板材, 继续检测并在一个截面检测完成后垫上一块8 mm厚的板材, 直至获得另外5个截面的阶差数据为止。综上所述, 实验中对单个台阶进行了10次测量, 得到了10个数据。本文以绝对误差量化结构光传感器的检测精度, 由表 1 可知: 系统阶差检测的最大绝对误差为0.124 mm, 台阶高度0.5, 1.0 1.5, 2.0 mm的平均误差分别为0.040, 0.052, 0.056, 0.081 mm。平均绝对误差为0.057 mm, 显然满足阶差检测精度0.2 mm的要求。

4.2 缝隙尺寸测量实验

在缝隙尺寸测量过程中通过拧紧、 拧松装配螺钉实现缝隙宽度的调整, 共获得5组实验数值。Max代表缝隙宽度最大值, Min为缝隙宽度最小值, 真实值为人工使用塞尺的检测结果, 图 16 为位置标记图。赋予每个缝隙位置代号。

图 16 中除顶部缝隙与控制面板缝隙DCU外, 控制面板与侧部缝隙DCB、 顶部与侧部缝隙DUB和前门与侧部缝隙DFB分别有左侧与右侧两部分需测量。

如控制面板与左侧缝隙表示为DCB-L。对图 16 中共7个位置的洗衣机缝隙进行测量, 每个位置分别检测5次, 并绘制每个位置的wmax和wmin测量值与真实值的曲线图, 如图 17 所示, 每次拧紧或拧松装配螺钉时, 缝隙宽度最大值不超过2 mm, 各缝隙的测量值与实际值平均绝对误差小于0.1mm, 满足洗衣机缝隙检测精度要求。

4.3 对照实验

为了证明本文中所使用洗衣机缝隙和阶差测量算法的有效性, 分别进行了4组对照实验。在测试中使用了ArUco标记算法和虚拟匹配法来测量洗衣机装配质量。实验中除了对应的算法不同, 所使用的相机和激光器完全相同。在对照实验中使用了标准件, 加工误差在±0.01 mm以内。首先, 固定标准件间的间隙为0.5 mm, 通过两两组合标准件的方式模拟出0.5 mm, 1.0 mm, 1.5 mm与2.0 mm的洗衣机阶差。在每次实验时记录下测量尺寸, 将测量值与标准值作对比并求取绝对误差均值; 记录每次测量缝隙与阶差的耗时并作对比。

实验结果如表 2 所示, ArUco标记法在阶差尺寸较小时误差较大, 而绝对误差均值与本文算法接近。虚拟匹配算法精度与本文所提算法接近, 但检测速度较慢。

ArUco标记法的精度与ArUco标定板精度有直接关系, 当阶差与缝隙尺寸较小时, 通过法向量计算的平面与实际测量的平面会有较大误差, 这是其测量较小尺寸时效果较差的原因。而虚拟匹配算法由于采用点云计算尺寸, 运算量大是导致其速度较慢的主要原因。结果表明, 本文的方法优于ArUco标记算法与虚拟匹配法。

5 结 语

针对洗衣机装配质量自动化检测的问题, 本文提出一种基于线结构光的缝隙和阶差检测方法。在缝隙测量中, 以简单背景下的缝隙轮廓为定位基准, 获取复杂状况下的缝隙ROI图像; 在得到缝隙图像后, 计算各像素点的灰度梯度变化率, 提取缝隙边缘, 并通过直线的分段拟合去除奇异点, 利用边缘直线的端点坐标计算距离数值。在阶差测量中, 针对光条轮廓中存在的干扰和毛刺问题, 基于轮廓面积特征滤除噪声, 使用形态学运算平滑边缘。在提取光条轮廓并进行细化后, 以中心线端点作为特征点, 结合先前的标定结果, 完成阶差数值的计算。试验结果表明, 该方法能够实现洗衣机装配质量的自动化检测, 系统在缝隙宽度检测绝对误差为0.124 mm, 阶差尺寸检测绝对误差为0.170 mm。

参考文献

[1]

BENBARRAD T, KENITAR S B, ARIOUA M. Intelligent machine vision model for defective product inspection based on machine learning[C]//International Symposium on Advanced Electrical and Communication Technologies, 2020: 1-6.

[2]

吴一全, 赵朗月, 苑玉彬, 等.基于机器视觉的PCB缺陷检测算法研究现状及展望[J].仪器仪表学报, 2022, 43(8): 1-17.

[3]

WU Yiquan, ZHAO Langyue, YUAN Yubin, et al. Research status and the prospect of PCB defect detection algorithm based on machine vision[J]. Chinese Journal of Scientific Instrument, 2022, 43(8): 1-17. (in Chinese)

[4]

兰太吉, 付鲁华, 赵娜, 等.基于视觉的活塞环闭口间隙自动测量关键技术研究[J].机械科学与技术, 2015, 34(2): 263-267.

[5]

LAN Taiji, FU Luhua, ZHAO Na, et al. Study on the Key technologies of automatic measurement for the close clearance of piston ring based on the computer vision[J]. Mechanical Science and Technology for Aerospace Engineering, 2015, 34(2): 263-267. (in Chinese)

[6]

TSAI D M, CHEN M C, LI W C, et al. A fast regularity measure for surface defect detection[J]. Machine Vision and Applications, 2012, 23(5): 869-886.

[7]

LIU K, YAN H, MENG K, et al. Iterating tensor voting: A perceptual grouping approach for crack detection on EL images[J]. IEEE Transactions on Automation Science and Engineering, 2021, 18(2): 831-839.

[8]

LI Y, ZHANG Z, JING G, et al. Visual measurement of levitation gap in maglev ball system based on pixel area[C]//2021 IEEE 16th Conference on Industrial Electronics and Applications (ICIEA). Chengdu: IEEE, 2021: 1417-1420.

[9]

JING Y, MA X, ZHANG Z, et al. Research on visual measurement for levitation gap in maglev system[J]. IEEE Transactions on Industrial Electronics, 2022, 69(8): 8377-8386.

[10]

KUMAR K, KAASHYAP A. Improving train track safety using drones, computer vision and machine learning[EB/OL].

[11]

YILMAZER M, KARAKOSE M, AYDIN I. Detection and measurement of railway expansion gap with image processing[C]//2021 International Conference on Data Analytics for Business and Industry (ICDABI), 2021: 515-519.

[12]

WANG H, LI M, WEI Q. Virtual matching measurement of gap and flush[C]//2021 14th International Symposium on Computational Intelligence and Design (ISCID), 2021: 192-197.

[13]

LONG K, XIE Q, LU D, et al. Aircraft skin gap and flush measurement based on seam region extraction from 3D point cloud[J]. Measurement, 2021, 176: 109169.

[14]

CROSSLEY R, RATCHEV S. Aerospace assembly gap measurement using low cost smart tools with machine vision[C]//International Precision Assembly Seminar. Cham: Springer International Publishing, 2019: 158-168.

[15]

MINNETTI E, CHIARIOTTI P, PAONE N, et al. A smartphone integrated hand-held gap and flush measurement system for in line quality control of car body assembly[J]. Sensors, 2020, 20(11): 3300.

[16]

PHAM L H, TRAN D N N, RHIE C H, et al. A mobile vision-based system for gap and flush measuring between planar surfaces using aruco markers[C]//2021 International Conference on Electronics, Information, and Communication (ICEIC), 2021: 1-4.

[17]

D’EMILIA G, GASPARI A, IAVICOLI C, et al. Measurement uncertainty estimation of gap and profile in the automotive sector[J]. Journal of Physics: Conference Series, 2020, 1589: 012017.

[18]

沈昌力. 飞机装配阶差与间隙视觉测量技术研究[D]. 南京: 南京航空航天大学, 2013.

[19]

侯天龙. 基于结构光的高铁白车身装配质量检测和评估[D]. 成都: 西南交通大学, 2020.

[20]

孙杰. 移动机器人双目立体视觉研究[D]. 杭州: 浙江大学, 2010.

[21]

张佳. 基于线结构光的焊缝特征尺寸视觉检测系统研究[D]. 南京: 南京航空航天大学, 2020.

基金资助

国家自然科学基金资助项目(51975293)

航空科学基金资助项目(2019ZD052010)

AI Summary AI Mindmap
PDF (3000KB)

773

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉