多线程半全局立体匹配工件内部检测方法

吴洪臣 ,  陈晓荣 ,  李柏杨

中国机械工程 ›› 2025, Vol. 36 ›› Issue (11) : 2783 -2791.

PDF (4611KB)
中国机械工程 ›› 2025, Vol. 36 ›› Issue (11) : 2783 -2791. DOI: 10.3969/j.issn.1004-132X.2025.11.037
工程前沿

多线程半全局立体匹配工件内部检测方法

作者信息 +

Multi-threaded Semi-global Stereo Matching Method for Internal Inspection of Workpieces

Author information +
文章历史 +
PDF (4721K)

摘要

针对传统检测手段难以深入工件内部进行三维量化分析的问题,提出一种基于多线程半全局立体匹配(M-SGSM)的双目视觉检测方法。首先采用张正友标定法获取双目内窥镜参数,并对图像进行畸变矫正与极线矫正;然后设计多线程区域叠加分割策略优化立体匹配算法,提高视差图计算效率,生成三维彩色点云;最后,提出自标定面积测量法结合欧氏空间距离计算实现三维量化分析。实验结果表明,优化后立体匹配算法计算效率提高约30%,所提检测方法生成的三维点云结构清晰,欧氏距离测量误差小于3%,面积测量误差小于1.5%。该方法为工件内部三维检测提供了高效高精解决方案。

Abstract

To address the problems that traditional detection methods were difficult to conduct three-dimensional quantitative analysis inside workpieces, a binocular vision detection method was proposed based on multi-threaded semi-global stereo matching(M-SGSM). Firstly, the Zhang's calibration method was used to obtain the parameters of the binocular endoscope, and image distortion correction and epipolar rectification were performed. Secondly, a multi-threaded regional overlap segmentation strategy was designed to optimize the stereo matching algorithm, improve the efficiency of disparity map calculation, and generate a 3D color point cloud. Finally, a self-calibration area measurement method combined with Euclidean distance calculation was proposed to realize three-dimensional quantitative analysis. Experimental results show that the optimized stereo matching algorithm improves computational efficiency by approximately 30%, the generated 3D point cloud has a clear structure, the Euclidean distance measurement error is less than 3%, and the area measurement error is less than 1.5%. This method provides an efficient and high-precision solution for three-dimensional internal detection of workpieces.

Graphical abstract

关键词

双目视觉 / 立体匹配 / 三维重建 / 工件测量

Key words

binocular vision / stereo matching / 3D reconstruction / workpiece measurement

引用本文

引用格式 ▾
吴洪臣,陈晓荣,李柏杨. 多线程半全局立体匹配工件内部检测方法[J]. 中国机械工程, 2025, 36(11): 2783-2791 DOI:10.3969/j.issn.1004-132X.2025.11.037

登录浏览全文

4963

注册一个新账户 忘记密码

0 引言

在现代工业制造和工程领域中,精准的工件内部检测是保证产品质量和性能的关键。传统的接触式测量方法通常依赖于接触式测量仪器,如内径量表、内径千分尺和三坐标测量仪等,存在检测效率低、对工件表面有潜在损伤等问题1。随着测量技术的快速发展,非接触式测量2-3方法逐渐成为研究热点,基于双目视觉4-5的测量方法利用左右相机同时采集同一区域图像,分析两幅图像间的差异信息,构建目标区域的空间信息,具有高效、精确、非接触的特点,因此受到了广泛关注。

双目内窥镜作为一种新型的无损测量仪器,在高温高压、有毒有害等恶劣工况下的狭小空间中具有良好的性能,因此双目内窥镜已成为工业检测中非常重要的成像工具。在工业领域中,双目内窥镜可在复杂铸件、涡轮、齿轮箱、发动机等密闭器械在不拆解的情况下进行内部检测。我国高端内窥镜起步较晚,绝大多数内窥镜仅具备图传功能,不具备三维重建和三维测量等更优质的检测手段,目前该领域主要是欧美和日本处于领先地位。美国贝克休斯旗下的Everest Mentor Visual iQ™ HD Version型号工业内窥镜6可支持左右屏幕分别成像、三维测量以及应用场景三维点云重建等,同时利用人工智能和基于云端的数字化检测工具提高检测数据的准确性和可靠性;由德国雪力公司研发的FlexiVision 100型号工业内窥镜7可提供优质的全高清图像,清晰识别缺陷,检测物体表面异常;日本奥林巴斯推出的IPLEX NX型号工业内窥镜8采用了高分辨率CCD相机,结合降噪控制算法可提供高分辨率和高清晰度的图像,搭配超广角三维测量功能可实现对缺陷尺寸以及深度的精准测量。

在技术层面,作为双目视觉的核心,立体匹配生成视差图的质量与速度直接决定了检测的精度与效率9,FIRMANSYAH等10提出一种半全局匹配(semi-global matcing,SGM)算法与绝对差值求和(sum of absolut differences,SAD)算法相结合的策略用于无人机俯拍农田,通过分析作物长势,利用现场可编辑门阵列(field-programmable gate array,FPGA)对结合算法进行加速,加速后算法的计算时间可缩短至0.77 s;SHAHBAZI等11面对无人机航拍摄影测量中存在的大视差搜索问题提出了基于内禀曲线的高密度立体图像匹配方法,该方法有效地缩小了匹配过程中的视差搜索范围,提高了匹配效率;张泽琳等12提出了一种基于改进SGM算法的废旧机械零件彩色三维重建与检测方法,优化了算法在图像光照失真区域以及复杂结构处的匹配效果,使得重建的彩色三维模型纹理更加清晰;WANG等13通过改进绝对差值与Census变换(absolute difference and Census transform,AD-Census)混合算法,引入平均窗口像素代替中央像素值,提出区域自适应窗口匹配技术,发现改进后的算法在视差图中生成的物体轮廓更加清晰。GUO等14开发了一种双目内窥镜散斑系统来克服窄基线和拍摄图像大畸变的问题,提高了三维重建与检测的精度。随着近年来人工智能的发展,研究者们也将深度学习训练的方法应用到立体匹配中。HAMID等15分析了近十年来深度学习方法在立体匹配任务中的应用,比较了不同方法的网络结构和处理速度,并预测了基于深度学习的立体匹配研究在未来的应用前景;YU等16提出了一种基于深度学习的双目内窥镜三维测量方法,克服了传统立体匹配算法在弱纹理区域中鲁棒性差的问题。TAHMASEBI等17提出了一种双成本体立体匹配网络,由上层分组相关代价体和下层范数相关代价体构成,并通过一个耦合模块融合上下代价体提取的几何信息,具有较强的泛化能力,单对图像推理时间可缩短至67 ms。

综上所述,从市场角度分析,我国高端双目内窥镜技术起步较晚,目前该领域主要是欧美和日本等占据领先地位,这些品牌技术成熟性能稳定,但价格昂贵,不利于在实际工业生产中大面积地铺展利用,我国虽然在某些应用场景中已取得一定进展,但整体技术水平与国际先进水平仍有差距,特别是在高精度和高可靠性测量功能方面,存在一定的技术短板。从技术层面分析,深度学习方法虽然能够获得高质量的视差图,但由于缺乏工件内部的真实视差图和数据集导致效果不佳,且模型部署有一定的硬件算力要求,仍需更多的技术积累和突破。为此,本文提出了多线程半全局立体匹配(multi-threaded semi-global stereo matching,M-SGSM)的工件内部检测方法,利用双目立体视觉原理可快速、高精度地对工件内表面进行三维重建与测量。

1 检测方法

本文提出了一种M-SGSM的工件内部检测方法,具体流程如图1所示。该方法主要包括四个步骤:双目图像采集、图像矫正、立体匹配、重建测量。对双目内窥镜进行标定,获取其内外参数与畸变系数,并对采集图像进行畸变矫正与极线矫正。通过立体匹配获取视差图,将视差图转换为深度图,并将对应的彩色图像与深度图进行像素点匹配,从而获得工件内部的彩色三维点云模型。在立体测量中,利用立体匹配得到的视差图结合标定所得内外参数,通过空间三角变换计算各点在世界坐标系下的坐标,随后进行相关立体计算。

1.1 双目视觉系统

双目视觉的原理是利用两个摄像头获取图像信息,通过左右图像立体匹配寻找同名点,计算出视差,根据三角测量的原理得到深度信息18。双目视觉系统的本质是世界坐标系OWXWYWZW、相机坐标系OCXCYCZC、图像坐标系OIXIYI、像素坐标系OVXVYV这4个坐标系之间的相互转换,建立像素坐标系与世界坐标系之间的关系,如图2所示。

图2中,OCLOILOCROIR)之间的距离为相机的焦距f,点PW(xWP,yWP,zWP)为世界坐标系下真实存在的一点,点P在左右相机各自的像素坐标系下投影坐标分别为PVL(xVPL,yVPL)PVR(xVPR,yVPR),点P的世界坐标系坐标与像素坐标系坐标转换的齐次关系式如下:

zCPxVPyVP1=1dx0xV001dyyV0001f0000f000010内参RT01外参xWPyWPzWP1

其中,zCP 为点P在相机坐标系下的Z轴坐标,xVPyVP 分别为点P在像素坐标系下X轴与Y轴的坐标,dx、dy分别为像素坐标系下X轴与Y轴方向上单个像素点的实际物理尺寸,(xV0,yV0)为图像坐标系原点在像素坐标系下的坐标, R 为旋转矩阵, T 为平移矩阵, RT 二者共同用于世界坐标系与相机坐标系间的转化。

1.2 畸变矫正与极线校正

在镜头透镜的制作过程中,由于透镜自身表面的平滑度不一和曲率不均匀,导致光线经过透镜时发生了不规则的偏折,以及组装镜头时各个镜片间的对准精度不够,导致采集图像畸变的产生19-20,从而影响测量精度。同时搭建双目测量系统时无法实现两个摄像头的光轴绝对平行,从而增加了立体匹配算法的计算量。

为消除图像畸变和提高摄影测量精度,将立体匹配问题简化为一维搜索问题,本文依据张正友棋盘格标定法21求取图3所示的OV9734双目内窥镜的内外参数与畸变系数,结合内外参数与畸变系数对双目内窥镜左右摄像头进行畸变矫正与极线矫正。采用内角点个数为4×7的黑白棋盘格标定板,每个格子尺寸为1.5 mm×1.5 mm。采集标定板在不同姿态下的双目图像共45组,如图4所示。

使用OpenCV结合MATLAB中的Stereo Camera Calibration程序对所采集的棋盘格双目图像进行标定计算。本文双目内窥镜的最终标定误差与拍摄位姿如图5所示,标定重投影误差为0.11 pixel,满足实验误差要求,标定求得的内外参数和畸变系数如表1所示,其中k1k2k3为径向畸变系数,p1p2为切向畸变系数。

1.3 立体匹配算法研究

本文在立体匹配部分研究了块匹配(block matching,BM)算法、AD-Census局部半全局结合算法和半全局块匹配(semi-global block matching,SGBM)算法。BM算法的主要特点在于计算结构简单、具有较高的实时性,但仅依赖局部信息。该算法对噪声和遮挡较为敏感,导致匹配精度相对较低,尤其在图像边缘和纹理较少的区域,匹配效果较差。AD-Census算法结合了AD与Census变换的特性,用AD捕捉像素强度差异并通过Census变换增强对局部结构的鲁棒性。该算法在处理纹理丰富和纹理稀疏区域时均能取得良好的匹配效果,具有较强的鲁棒性。然而,由于计算复杂度较高,实时性欠缺。SGBM算法在局部块匹配的基础上引入了全局一致性约束,通过在多个方向上进行代价聚合来提高匹配精度22。这使得SGBM算法拥有更高的匹配精度和更好的视差平滑效果。SGBM算法流程如图6所示。

为对比BM、AD-Census、SGBM立体匹配算法各自效果,本文采用MiddleBurry双目视觉平台所提供测试集中的Art、Books、Moebius和Laundry双目图像作为实验对象23-24,选用ThirdSize等级分辨率,以64为最大搜索视差进行实验。实验环境配置如表2所示,匹配结果如图7所示(从上至下依次为Art、Books、Moebius、Laundry)。

由匹配结果可以看出,BM算法生成的视差图空洞较多;SGBM和AD-Census算法生成的视差图更加平滑,空洞较少,轮廓较为清晰,更加接近真实视差图。三者与真实视差图的结构相似性指数(structural similarity index measure,SSIM)、峰值信噪比(peak signal-to-noise ratio,PSNR)以及各自计算时间t表3所示,其中,SSIM值越接近1表明结构越相似,PSNR值越大表明图像质量越好。

1.4 改进的M-SGSM算法

表3中可以看出AD-Census算法生成的视差图的效果最好,但计算时间过于漫长,无法满足实时性;BM算法的计算速度最快,但生成的视差图不满足精度要求;SGBM算法生成的视差图满足一定精度,计算速度接近实时。

但内窥镜的使用场景多为狭小空间,待测区域与内窥镜的距离较近,视差搜索范围扩大。扩大视差搜索范围意味着增加算法计算负担,因此为提高程序运行的时效性,本文提出多线程半全局立体匹配(M-SGSM)算法,以提高处理左右图像时的运行速度。具体方法采用区域叠加分割策略,如图8所示。以Books的左视图为例,将图像均匀分割为左上①、右上②、左下③、右下④的4个图像子块,对水平相邻的子块朝竖直分割线一侧进行区域延展,形成重叠区域,延展区域的宽度为最大搜索视差,此分割方法可有效避免分割处边界像素视差计算的影响。左右图像分割完成后得到8个图像子块,一一对应组合构成4个图像子块对。使用POSIX线程库创建4个相互独立且彼此并行的子线程,每个子线程中使用相同参数配置的SGBM算法独立处理一个子块图像对,主线程等待所有子线程计算完毕后,截取子线程计算子视差图的非延展部分进行拼接,生成并输出完整视差图,其实现流程如图9所示。

为验证改进后算法在大视差搜索范围下的速度表现,继续使用分辨率为ThirdSize的Art、Books、Moebius和Laundry双目图像作为测试对象,并记录各算法的运行时间,其结果如表4所示。可知相较于SGBM算法,所提出的M-SGSM算法的计算时间缩短约30%。

1.5 自标定面积测量法

为重建出双目图像中的三维场景还需要获得图中的深度信息,将双目摄像头的两个平行的光心与世界坐标系中的任意一点视为一个三角形结构,如图10所示。

通过相似三角形原理,已知相机焦距f、基线距离B和世界坐标系下任意一点的视差d,可计算出该点的深度:

zWP=fBd
d=xVPL-xVPR
B-(xVPL-xVPR)B=zWP-fzWP

已知像素坐标系下任意两点的深度后,利用像素坐标系与世界坐标系之间的转换关系反推出这两点在世界坐标系下的坐标,结合空间欧氏距离计算出该两点间的距离。由于双目内窥镜采集工件内部结构图像时,内窥镜到工件内表面的距离可变,导致像素面积与实际面积间没有固定的转换系数,因此针对区域面积测量部分本文提出了一种系统自标定面积测量法,主要实现步骤如下:

1)求取待测区域的最大内接三角形,三角形角点在世界坐标系下的坐标可通过像素坐标系与世界坐标系之间的转换关系求得,利用距离公式计算出三角形三条边的边长l1l2l3

2)利用海伦公式计算该三角形的面积(即真实面积S0),其表达式如下:

S0=p(p-l1)(p-l2)(p-l3)
p=l1+l2+l32

3)统计三角形区域内包含的总像素个数,记为三角形区域的像素面积Ap

4)依据下式求得面积标定系数k:

k=S0Ap

5)截取待测目标区域,统计待测区域内像素个数,利用待测区域内像素个数乘以面积标定系数k,即可计算出目标区域真实面积S0

2 实验分析

本文选取了4种工件,使用双目内窥镜对其内部区域进行图像采集(即图11a所示的工件图红色框选区域),采用提出的M-SGSM算法生成视差图,将视差图转化为深度图并与所采集的彩色图像配准后,通过PCL点云库进行可视化,重建结果如图11所示。

从重建结果中可以看出,本文方法虽然在工件内部细微处有小部分的信息缺失,但整体的重建效果较好,表面纹理清晰,轮廓分明,细节突出。为了客观评价本文提出的立体测量方法的精度,本文设计并制作了验证立体测量精度的测试工件,在测试工件表面设计了规则与不规则凹槽作为测量对象,如图12所示。

设计并使用上位机如图13所示,读取内窥镜采集的图像,通过M-SGSM算法计算生成视差图并将计算出的数据在后台进行存储,具体测量功能会基于这些数据计算实现。上位机采取人机交互的工作模式,满足长度测量、多线段测量、面积测量和深度测量等多个功能。长度测量模式下,点击测量区域上任意两点可实现长度测量。多线段测量模式下,多次点击不同点可实现多段轮廓的连续长度测量,如图14所示。面积测量模式下,沿待测区域多次点击形成闭合轮廓,使用本文提出的面积测量法来实现面积测量,如图15所示。对圆形的直径、等边三角形的边长、大三角形的三边边长以及椭圆形、云朵形的面积进行多次测量,任取其中5次,具体测量结果如表5所示。

表5可知,长度测量实验的平均相对误差在3%以内。利用本文提出的面积测量法时,面积测量实验的平均相对误差在1.5%以内。

3 结论

为解决针对传统检测手段难以深入工件内部、现存双目内窥镜检测形式单一的问题,本文提出一种基于多线程半全局立体匹配(M-SGSM)算法的工件内部检测方法,得到如下结论:

1)基于M-SGSM算法对双目内窥镜采集的图像进行立体匹配,并对目标区域进行三维重建与结构三维测量。本研究拓展了双目内窥镜在工件内部检测的应用。

2)与原算法相比,M-SGSM算法计算时间缩短约30%,满足实际使用中的实时要求。

3)基于欧氏距离与海伦公式的结构测量法得到欧氏距离测量的相对误差小于3%,区域面积测量的相对误差小于1.5%,满足对工件内部结构测量的精度要求。

本文提出的基于M-SGSM算法的工件内部三维重建与三维测量方法通过双目内窥镜获取视差图并生成三维点云模型,实现了对工件内部结构的精确检测。实验结果表明,该方法在处理速度和测量精度方面较传统方法具有一定优势,能有效地提高检测效率,满足实际应用中的实时性和精度要求。本研究具有实际应用前景,后续将进一步优化算法模型以提高三维重建与测量效率。

参考文献

[1]

何宝凤, 丁思源, 魏翠娥, . 三维表面粗糙度测量方法综述[J]. 光学精密工程201927(1): 78-93.

[2]

HE BaofengDING SiyuanWEI Cuieet al. Review of Measurement Methods for Areal Surface Roughness[J]. Optics and Precision Engineering201927(1): 78-93.

[3]

那一鸣, 胡超, 邱业余, . 基于机器视觉的汽车车门三维定位引导 [J]. 中国机械工程202435(9): 1677-1687.

[4]

NA YimingHU ChaoQIU Yeyuet al. Three-dimensional Positioning Guidance of Automobile Doors Based on Machine Vision[J]. China Mechanical Engineering202435(9): 1677-1687.

[5]

易怀安,赵欣佳,唐乐,.基于彩色图像奇异值熵指标的磨削表面粗糙度视觉测量方法[J].中国机械工程202132(13):1577-1583.

[6]

YI HuaianZHAO XinjiaTANG Leet al. Vision Mearsurement Method for Ground Surface Roughness Based on Color Image Singular Value Entropy Index [J]. China Mechanical Engineering202132(13): 1577-1583.

[7]

曹旭明, 冯浩, 曹利钢, . 基于机器视觉螺栓类零件参数在线质检系统 [J]. 控制工程202128(6): 1187-1194.

[8]

CAO XumingFENG HaoCAO Liganget al. Online Quality Inspection System for Bolt Parts Parameters Based on Machine Vision [J]. Control Engineering of China202128(6): 1187-1194.

[9]

马大智, 于斌超, 张彦泽, . 基于双目视觉的大型高反光构件测量系统 [J]. 应用光学202142(4): 577-585.

[10]

MA DazhiYU BinchaoZHANG Yanzeet al. Measurement System for Large-scale High Reflective Component Based on Binocular Vision[J]. Journal of Applied Optics202142(4): 577-585.

[11]

HughesBaker.Remote Visual Inspection[EB/OL].Houston: Baker Hughes,2024[2025-06-11].

[12]

SCHÖLLY FIBEROPTIC GMBH.FLEXIVISO@100 INSPECTIONS[EB/OL].Freiburg:SCHÖLLY, 2022[2025-06-11].

[13]

Olympus.IPLEX NX Olympus's Most Advanced Industrial Videoscope[EB/OL].Tokyo:Olympus,2016[2025-06-11].

[14]

周富强, 王晔昕, 柴兴华, . 镜像双目视觉精密测量技术综述 [J]. 光学学报201838(8): 59-67.

[15]

ZHOU FuqiangWANG YexinCHAI Xinghuaet al. Review on Precise Measurement Technology Based on Mirror Binocular Vision [J]. Acta Optica Sinica201838(8): 59-67.

[16]

FIRMANSYAH IYAMAGUCHI Y, TMARU-YAMA, et al. FPGA-Based Stereo Matching for Crop Height Measurement Using Monocular Camera [J]. Microprocess and Microsystems2024108: 105063.

[17]

SHAHBAZI MSOHN GTHEO J. High-density Stereo Image Matching Using Intrinsic Curves [J]. ISPRS Journal of Photogrammetry and Remote Sensing2018146: 373-388.

[18]

张泽琳, 曹星, 王蕾, . 基于改进SGM的废旧机械零件彩色三维重建方法 [J]. 激光与光电子学进展202461(12): 114-124.

[19]

ZHANG ZelinCAO XingWANG Leiet al. Color 3D Reconstruction Method of Used Machinery Parts Based on Improved SGM [J]. Laser & Optoelectronics Progress202461(12): 114-124.

[20]

WANG YinaGU MengjiaoZHU Yufenget al. Improvement of AD-Census Algorithm Based on Stereo Vision [J]. Sensors202222(18): 6933.

[21]

GUO JunguangGU FeifeiYE Yupinget al. An Accurate Speckle 3D Reconstruction System Based on Binocular Endoscope[C]∥2021 IEEE International Conference on Real-time Computing and Robotics (RCAR). Xining, 2021: 703-708.

[22]

HAMID M SMANAP N AHAMZAH R Aet al. Stereo Matching Algorithm Based on Deep Learning: a Survey [J]. Journal of King Saud University: Computer and Information Sciences20225(34): 1663-1673.

[23]

YU HaoZHOU ChangjiangZHANG Wei . et al. A Three-dimensional Measurement Method for Binocular Endoscopes Based on Deep Learning[J]. Frontiers of Information Technology & Electronic Engineering202223(4):653-660.

[24]

TAHMASEBI M, HUQ S, MEEHAN Ket al. DCVSMNet: Double Cost Volume Stereo Matching Network [J]. Neurocomputing2024618: 129002.

[25]

YAN LongZHAO XingfangDU Huiqiu. Research on 3D Measuring Based Binocular Vision[C]∥2014 IEEE International Conference on Control Science and Systems Engineering. Yantai, 2014: 18-22.

[26]

HUANG WeiMIAO HuisiJIAO Shuminget al. A Planar Constraint Optimization Method to Improve Camera Calibration for Imperfect Planar Targets[J]. Optics and Lasers in Engineering2024180: 108273 .

[27]

ZHANG XiaowenTiegang LYUDAN Wanget al.High-precision Binocular Camera Calibration Method Based on a 3D Calibration Object[J]. Applied Optics202463(10): 2667-2682.

[28]

ZHANG Zhengyou. Flexible Camera Calibration by Viewing a Plane from Unknown Orientations[C] ∥Proceedings of the Seventh IEEE International Conference on Computer Vision. Kerkyra, 1999: 666-673.

[29]

HIRSCHMULLER H. Stereo Processing by Semiglobal Matching and Mutual Information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence200830(2): 328-341.

[30]

MOSTEGEL CRUMPLER MFRAUN-DORFER Fet al. Using Self-contradiction to Learn Confidence Measures in Stereo Vision[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. Las Vegas, 2016: 4067-4076.

[31]

MIANGOLEH S M HDILLE S, MAI L, et al. Boosting Monocular Depth Estimation Models to High-resolution via Content-adaptive Multi-resolution Merging[C]∥ Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. Nashville, 2021: 9680-9689.

基金资助

国家自然科学基金(52175513)

AI Summary AI Mindmap
PDF (4611KB)

0

访问

0

被引

详细

导航
相关文章

AI思维导图

/