基于机器视觉的电子线束产品尺寸检测方法

李小宝 ,  陆永华 ,  周利华 ,  冯强 ,  赵东标

测试技术学报 ›› 2024, Vol. 38 ›› Issue (03) : 289 -297.

PDF (2238KB)
测试技术学报 ›› 2024, Vol. 38 ›› Issue (03) : 289 -297. DOI: 10.3969/j.issn.1671-7449.2024038
数据采集与图像处理

基于机器视觉的电子线束产品尺寸检测方法

作者信息 +

A Method for Measuring the Size of Electronic Wiring Harness Products Based on Machine Vision

Author information +
文章历史 +
PDF (2291K)

摘要

针对电子线束产品尺寸的传统人工检测方式效率低、 主观测量误差较大等问题, 提出一种基于机器视觉的非接触式检测方法。设计和搭建了视觉检测系统, 使用张正友标定法对相机进行标定并采集产品图像信息, 采用改进的Canny算法对图像进行边缘检测, 提取产品轮廓并对图像进行水平倾斜校正; 将校正后的产品轮廓进行区域划分并用最小二乘法对轮廓边缘采样点进行直线拟合; 根据轮廓边缘上测量点的图像坐标和相机标定结果计算得到世界坐标系下的产品尺寸; 对产品分别进行传统游标卡尺测量和视觉测量试验, 结果表明, 该方法重复测量误差和绝对测量误差均不超过0.1 mm, 平均检测耗时在1 s以内, 能够实现电子线束产品尺寸的快速准确检测。

Abstract

Aiming at the problems of traditional manual inspection methods of electronic wire harness product dimensions such as low efficiency and large subjective measurement errors, a non-contact inspection method based on machine vision is proposed. Design and build a visual inspection system, use Zhang Zhengyou calibration method to calibrate the camera and collect product image information, use the improved Canny algorithm to detect the edges of the image, extract the product outline and perform horizontal tilt correction on the image; the corrected product outline is divided and the least squares method is used to perform straight line fitting on the contour edge sampling points; the product size in the world coordinate system is calculated based on the image coordinates of the measurement points on the contour edge and the camera calibration results; traditional vernier caliper measurement and visual measurement tests are performed on the product. The test results show that the repeated measurement error and absolute measurement error of this method do not exceed 0.1 mm, the average detection time is within 1 s, and it can achieve rapid and accurate detection of the dimensions of electronic wire harness products.

Graphical abstract

关键词

机器视觉 / 相机标定 / 边缘检测 / 最小二乘拟合 / 尺寸检测

Key words

machine vision / camera calibration / camera calibration / least squares fit / size measurement

引用本文

引用格式 ▾
李小宝,陆永华,周利华,冯强,赵东标. 基于机器视觉的电子线束产品尺寸检测方法[J]. 测试技术学报, 2024, 38(03): 289-297 DOI:10.3969/j.issn.1671-7449.2024038

登录浏览全文

4963

注册一个新账户 忘记密码

0 引 言

电子线束产品用于电气设备之间的连接, 需要对其进行尺寸检测以确保产品品质符合设计要求[1]。目前, 企业对该产品尺寸采取人工使用游标卡尺测量, 但因电子线束产品生产是流水线式, 产量高、 速度快, 传统的人工检测方式效率低, 可靠性差, 难以满足生产需求, 因此研究高效且高精度的电子线束产品尺寸检测方法非常必要。随着数字图像处理技术的发展, 基于机器视觉的测量方法作为一种非接触式的检测方式, 具有检测速度快、 准确度高、 可靠性强等优点[2‐4], 国内外已有许多学者对机器视觉尺寸检测技术进行了研究, 并取得了一定成果。

Lu等[5]研发了一种基于直线拟合算法的管材直线度几何特征自动化检测系统, 该测量系统可以进行在线检测, 具有较好的实时性, 且精度很高。Kawasue等[6]设计了一种装有相机的机器人, 通过对机器人获取的图像进行处理可以实现对复杂环境下管道内径的测量, 解决了管道内径测量的难题。谢红等[7]针对薄片圆孔形零件无法使用传统接触式测量的问题, 设计了基于机器视觉的测量系统, 使用最小二乘法对圆孔特征进行拟合求解, 测量系统的稳定性和精确性都高于传统人工测量方法。陈茜茜等[8]针对弹芯尺寸传统人工方式检测精度低等问题, 提出了一种亚像素级尺寸检测算法, 实现了对弹芯零件尺寸高精度的实时在线检测。

纵观近年来国内外对机器视觉尺寸检测技术的研究可以发现, 视觉检测不仅降低了企业的人力成本, 而且测量稳定性更好、 测量效率高, 因此, 采取基于机器视觉的尺寸检测方法是有意义的。但机器视觉尺寸检测技术仍存在许多不足, 应用该技术的测量对象大多具有相对简单的外观, 且待测项单一, 而电子线束产品外观复杂, 待测项较多, 不仅要对产品的总长、 总宽进行测量, 还要对局部尺寸进行测量, 以确保产品的关键部分符合设计要求, 所以需对机器视觉尺寸检测技术进一步研究。

本文结合国内外研究现状, 以被测尺寸参数较多, 外观较复杂的电子线束产品为尺寸检测对象, 研究分析了其外观尺寸的机器视觉检测方法, 搭建了视觉检测系统, 设计了完整的尺寸检测算法流程, 实现了对电子线束产品尺寸高效、 高精度的自动化在线检测。

1 视觉检测系统设计

1.1 系统组成及原理

视觉检测系统由硬件及软件两部分组成, 系统结构如图 1 所示。

硬件部分由计算机、 电荷耦合器件(Charge-Coupled Devices, CCD)工业相机、 镜头、 发光二极管(Light Emitting Diode, LED)光源、 光源控制器、 相机支架及检测平台组成, 负责采集待测产品图像并将图像信息通过网线传送给计算机软件。

软件部分包括相机标定、 图像采集、 尺寸检测和数据管理等模块, 负责给相机发送图像采集信号, 若接收到产品图像信息则调用检测算法完成电子线束产品所有待测尺寸项的检测, 并将检测结果进行显示与保存。

1.2 视觉检测系统搭建

根据视觉检测方案的原理, 选择合适的硬件设备, 最终搭建的视觉检测系统如图 2 所示。

本系统选择大恒图像的MER2-2000-6GC型号工业相机, 分辨率为5 496×3 672, 单个像元大小为2.4 μm。镜头选择大恒图像的HN-2520-20M-C1/1X型号镜头, 焦距f为25 mm, 相机工作距离D为500 mm。面阵相机的测量原理如图 3 所示。

检测系统的视场范围W×H计算公式为

W=w⋅Df, H=h⋅Df。

由式(1)计算得到本系统的视野范围约为211 mm×176 mm, 而电子线束产品总长为180 mm, 最大宽度为24 mm, 相机可以成功获取电子线束产品的完整图像。

系统的理论测量精度k为

k=单方向视场大小相机单方向分辨率。

由式(2)计算得到系统的理论测量精度约为0.038 mm, 而电子线束产品尺寸检测需求中最小的误差范围为±0.3 mm, 测量精度完全满足检测需求。

本系统软件部分使用Visual C++开发, 软件界面易于操作且功能完善, 如图 4 所示, 包括相机标定、 图像显示、 尺寸检测、 数据管理等功能模块。

系统的总体工作流程如图 5 所示。系统上电后, 各模块进行初始化, 调节光源控制器使光源亮度合适, 然后将电子线束产品水平放置在检测平台上, 按下尺寸检测按钮后, 相机采集产品图像并传给上位机, 上位机软件调用尺寸检测算法对产品图像进行处理, 返回并显示产品的尺寸检测结果。若相机位置未发生改变, 则不需要重新标定。

2 相机标定

由于无法保证相机完全平行于产品表面安装且要准确获得产品表面某点三维空间坐标与图像中对应点图像坐标变换关系, 以完成产品的尺寸检测, 必须建立相机成像的几何模型, 通过相机标定对相机内参、 外参等模型参数进行求解。

空间中任何一点P在图像中的成像位置可以用针孔成像模型近似表示[9], 如图 6 所示, 通过世界坐标系Ow, 相机坐标系Oc, 成像平面坐标系Of 和图像坐标系Oi 来描述。

三维空间中点P (xw,yw,zw ) 经过投影在图像中对应点p像素坐标为(u,v), 坐标满足以下变换关系

zcuv1=fdx0u000fdyv000010Rt01xwywzw1=
M1M2xwywzw1,

式中: dx, dy分别为单位像素在x, y轴方向上的物理尺寸; u0, v0 分别为图像宽、 高的一半; f为焦距; zc 为P点在相机坐标系z轴上的投影值; R 为相机坐标系Oc 相对于世界坐标系Ow 的3×3旋转矩阵; t 为3×1平移矩阵; M1为内参矩阵, 只与相机内部参数有关; M2为外参矩阵, 由相机坐标系相对于世界坐标系的位姿决定。

本文通过张正友标定法[10]对 M1, M2(旋转矩阵 R, 平移矩阵 t )进行求解, 标定结果如下

M1=2 304.388 302 747.502 304.388 31 835.5001,
R=0.999 20.035 60.015 4-0.036 40.998 00.050 6-0.013 6-0.051 10.998 5,
t=-71.741 8-46.248 9509.659 9T。

上述标定结果将用在尺寸检测算法中产品轮廓边缘测量点的图像坐标转世界坐标的计算中, 重投影误差为0.075 1个像素。

3 尺寸检测算法

相机采集到电子线束产品的图像, 如图 7 所示, 上位机软件自动调用尺寸检测算法对图像进行处理, 计算产品待测尺寸, 完成检测, 算法流程如图 8 所示。

3.1 边缘检测

为了保证尺寸检测的精度, 准确提取图像中产品轮廓边缘十分重要, 常用的边缘检测算子主要有罗伯特(Roberts)算子、 高斯-拉普拉斯(Laplacian of Gaussian)算子、 索贝尔(Sobel)算子、 普瑞维特(Prewitt)算子和坎尼(Canny)算子。对电子线束产品图像进行这5种常用的边缘检测算子实验对比, 结果如图 9 所示。

从实验对比图像中可以发现, Sobel算子、 Robert算子、 Laplacian算子和Prewitt算子检测的边缘完整性均较差, 要想完整和准确地提取图像边缘, 需准确设定阈值, 不适合实际应用场景。而Canny算子检测效果相比来说最好, 较为清晰准确地提取了产品轮廓边缘, 算法流程如图 10 所示, 其使用高、 低两个阈值分别检测强边缘和弱边缘, 并以此连接图像边缘, 具有较高的准确性和普适性[11‐13]。

但传统的Canny边缘检测算法使用固定的高、 低阈值来对边缘点类型进行划分, 容易受图像采集环境影响, 可能会导致边缘点漏检和误检[14], 本文改用自适应阈值的方法对非极大值抑制后的图像进行处理, 自适应获取高、 低阈值, 提高该算法的鲁棒性。方法步骤如下:

1) 统计非极大值抑制后的图像每个灰度级别i的像素个数ni, 灰度范围为[0, L], 图像像素总数为N。

2) 计算出各个灰度级别的像素概率分布

Pi=niN,i=0,1,2,...,L。

3) 遍历各个灰度级别, 计算出它作为阈值T时的类间方差。类间方差表示按阈值分成两类C0, C1后, 两类之间的差异程度, 方差越大, 说明两类之间的差异越大, 也就意味着分割结果更加准确。

C0由灰度值在[0, T]的像素点组成, C1则由灰度值在[T+1, L]的像素点组成, C0和C1的均值分别为

μ0=∑i=0TiPiw0, μ1=∑i=T+1LiPiw1,

式中: w0, w1分别为

w0=∑i=0TPi, w1=∑i=T+1LPi=1-w0。

类间方差的定义为

σ2=w0w1(μ0-μ1)2。

选取出现最大类间方差时的阈值作为Canny算法双阈值中的高阈值, 低阈值设为高阈值的一半。

如图 11 所示, (a)为固定阈值(75, 150)的Canny算法边缘检测效果, (b)为自适应阈值的检测效果, 可以较明显地看出固定阈值根据人为经验设置, 如果设置不当会导致检测的边缘不连续, 无法准确进行边缘提取, 而自适应阈值提高了算法的鲁棒性, 可以更好地保留边缘信息。

对边缘检测后的二值化图像进行形态学运算处理, 采用先膨胀后腐蚀的闭运算, 进一步保证产品轮廓边缘的连续性。

3.2 图像校正

由于电子线束产品在检测平台上摆放的角度是任意的, 不方便直接进行边缘采样点的提取, 需要通过图像变换对边缘检测后的图像进行校正, 使产品在图像中为水平状态。图像中像素点(x, y)以点(x0, y0)为旋转中心, 顺时针旋转角度θ的图像变换表达式为

uv1=10x001y0001cosθ-sinθ0sinθcosθ0001·10-x001-y0001xy1。

首先对边缘检测后二值化图像进行连通域查找, 根据连通域面积筛选出最大轮廓, 即电子线束产品的轮廓; 创建该轮廓的遮罩, 以消除产品轮廓以外的边缘干扰, 并对该轮廓内部进行填充, 如图 12 所示; 然后根据轮廓的最小外接旋转边界矩形来计算图像变换为水平状态需要旋转的角度θ; 对图像进行扩展, 使图像宽w、 高h均扩展为图像的对角线长度, 原图像上显示效果如图 13 所示, 以保证绕图像中心点w2, h2旋转后产品轮廓依然处于图像中。将图像中所有像素点坐标代入式(8)图像变换后结果如图 14 所示。

3.3 边缘测量点提取

根据产品的外观特征和待测尺寸项对校正后的图像按比例进行分区域处理, 方便进行后续边缘采样点的提取和轮廓边界直线拟合, 如图 15 所示, 划分为接头区域、 线束区域和主体区域。

对每个区域的像素点进行行遍历和列遍历, 当某点像素值由0变换至255, 则该点设为边缘采样点, 根据待测尺寸项提取一系列边缘采样点后, 使用最小二乘法进行直线拟合[15], 假如一条边界有n个采样点(xi, yi ) (0≤i<n), 拟合的直线方程为y=ax+b, 那么目标函数为

f(x)=∑i=0n-1(axi+b-yi)2。

分别求f(x)对a, b的偏导数, 并令偏导数值为0联立方程组求解, 使目标函数值最小, 拟合效果最好, 直线参数a, b的最佳估计值为

a=(∑xi2)(∑yi)-(∑xi)(∑xiyi)n(∑xi2)-(∑xi)2b=n(∑xiyi)-(∑xi)(∑yi)n(∑xi2)-(∑xi)2

待测边界直线拟合效果如图 16 所示, 并根据待测尺寸在边界上选取9个边缘测量点, 均为轮廓边界的中点, 根据式(8)进行图像逆变换获得原图像中测量点图像坐标(u, v)。

3.4 尺寸计算

根据9个测量点图像坐标, 结合相机标定的结果计算测量点在世界坐标系下的距离即可完成尺寸检测。记dij 表示测量点i与测量点j的空间距离, 完成所有尺寸检测需对d12, d25, d34, d67, d89和d16进行计算, 若所有尺寸满足设计要求给定的误差范围, 产品即为合格。

4 尺寸检测试验与分析

4.1 尺寸检测试验

为验证基于机器视觉的电子线束产品尺寸检测方法的准确性, 分别用数显游标卡尺和本文的视觉检测系统对电子线束产品的尺寸检测项进行测量。将游标卡尺的测量结果当作该件产品的实际尺寸, 用于验证视觉测量的误差。对同一件产品的不同摆放位置进行了4组视觉测量, 结果如表 1 所示。

根据表 1 的4组视觉测量结果绘制电子线束产品各检测项的误差变化曲线, 如图 17 所示。可以看出各检测项的测量误差在±0.1 mm以内, 满足检测需求, 而重复测量误差最大值为测量项3的测量结果极差, 为0.092 mm, 测量系统稳定性较好。

根据每组6个检测项的视觉测量结果, 计算出每组检测项测量误差平均值来表示每组测量的误差, 4组视觉测量试验的测量误差变化如图 18 所示。

基于图 18 对测量系统进行不确定度评估与分析, 计算4组测量误差的平均值f¯为0.039 mm, 将4组测量误差代入式(11)中, 计算测量结果的标准偏差s为0.008 47 mm, 根据莱以特准则, 测量结果中未出现异常值, 测量系统的A类不确定度u=s=0.008 47 mm。

s=14-1∑i=04(fi-fi¯)2。

通过对测量结果的处理与分析, 可以看出本文提出的视觉检测结果与传统游标卡尺检测结果虽存在些许误差, 但误差均远小于尺寸检测要求范围, 可以忽略, 证明本方法所检测的尺寸数据是可靠准确的, 各检测项的测量误差在±0.1 mm以内, 重复测量误差不超过0.1 mm, 测量系统不确定度为0.008 47 mm, 系统稳定性较好。单张产品图像进行视觉尺寸检测平均耗费时间在1 s以内, 远小于人工检测耗时, 极大地提高了检测效率。

4.2 试验误差分析

1) 相机像素精度带来的误差

本文使用的2 000万像素工业相机, 单像素精度为0.038 mm, 由分辨率和视野范围决定。

2) 相机标定的误差

相机参数标定的过程是非线性方程优化的过程, 基本上都是近似解, 本文相机标定的重投影误差为0.075 1个像素。

3) 测量点提取的误差

使用最小二乘法进行轮廓边界拟合, 本身存在些许误差。

5 结束语

本文以待测项较多, 外观较复杂的电子线束产品为尺寸检测对象, 通过分析其检测需求进行了视觉检测系统设计与搭建, 包括硬件选型和软件开发。提出一种改进的自适应阈值Canny算法提取图像中产品轮廓边缘, 提高了算法的鲁棒性。通过图像变换对图像进行水平校正和分区域处理, 降低了边缘采样点提取的难度。利用最小二乘法进行边界直线拟合, 通过计算测量点之间的空间距离完成产品的尺寸检测。与传统游标卡尺测量进行对比试验, 结果表明该方法重复测量误差和绝对测量误差均不超过0.1 mm, 平均检测耗时在1 s以内, 具有较高的检测精度和检测效率, 可以实现电子线束产品尺寸的快速、 准确检测。

参考文献

[1]

芦艳茹. 基于机器视觉的电子连接器塑壳尺寸测量及缺陷检测方法研究[D]. 西安: 西安理工大学, 2021.

[2]

杨文辉. 基于机器视觉的零件几何量测量技术研究与系统开发[D]. 西安: 西安理工大学, 2020.

[3]

王新雨. 基于机器视觉的电镀工件阻镀漆智能涂绘生产线[D]. 天津: 天津理工大学, 2022.

[4]

赵亚康. 基于机器视觉的轴承密封圈尺寸测量系统研究及实现[D]. 南京: 东南大学, 2021.

[5]

LU R S, LI Y F, YU Q. On-line measurement of the straightness of seamless steel pipes using machine vision technique[J]. Sensors and Actuators A: Physical, 2001, 94(1/2): 95-101.

[6]

KAWASUE K, KOMATSU T. Shape measurement of a sewer pipe using a mobile robot with computer vision[J]. International Journal of Advanced Robotic Systems, 2013, 10(1): 52.

[7]

谢红, 廖志杰, 邢廷文. 一种非接触式的圆孔形零件尺寸检测[J]. 电子设计工程, 2016, 24(19): 155-158.

[8]

XIE Hong, LIAO Zhijie, XING Tingwen. A non-contact detection of the dimensional of circular parts[J]. Electronic Design Engineering, 2016, 24(19): 155-158. (in Chinese)

[9]

陈茜茜, 王晓凯, 赵晓宏.基于Halcon的弹芯尺寸精密检测算法研究[J]. 测试技术学报, 2018, 32(2): 112-118.

[10]

CHEN Qianqian, WANG Xiaokai, ZHAO Xiaohong. Bullet core size precision detection algorithm research based on Halcon[J]. Journal of Test and Measurement Technology, 2018, 32(2): 112-118. (in Chinese)

[11]

杨昭辉. 高精度视觉三维测量中双目相机标定及多视拼接技术研究[D]. 合肥: 合肥工业大学, 2022.

[12]

ZHANG Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[13]

CAO Y, WU D, DUAN Y. A new image edge detection algorithm based on improved Canny[J]. Journal of Computational Methods in Sciences and Engineering, 2020, 20(2): 629-642.

[14]

KIM Y W, KRISHNA A V N. A study on the effect of Canny edge detection on downscaleed images[J]. Pattern Recognition and Image Analysis, 2020, 30: 372-381.

[15]

MOHAPATRA B N. Image edge detection techniques[J]. ACCENTS Transactions on Image Processing and Computer Vision, 2019, 5(15): 15-16.

[16]

倪洪启, 李宝立, 隋国于.基于机器视觉的波纹补偿器轴向尺寸检测方法[J]. 电子测量技术, 2023, 46(7): 159-164.

[17]

NI Hongqi, LI Baoli, SUI Guoyu. Axial dimension detection of corrugated compensator based on machine vision[J]. Electronic Measurement Technology, 2023, 46(7): 159-164. (in Chinese)

[18]

徐文, 李建为, 张浩. 空间直线拟合的混合最小二乘法[J]. 工程勘察, 2019, 47(1): 70-73.

[19]

XU Wen, LI Jianwei, ZHANG Hao. Hybrid total least squares for fitting spatial straight lines[J]. Geotechnical Investigation & Surveying, 2019, 47(1): 70-73. (in Chinese)

AI Summary AI Mindmap
PDF (2238KB)

871

访问

0

被引

详细

导航
相关文章

AI思维导图

/

〈 〉