基于深度学习图像配准的燃调表面缺陷检测算法

Research on Surface Defect Detection Algorithm of Fuel Pump Regulator Based on Deep Learning Image Registration

摘要

燃油泵调节器的外观检测目前仍采用人工目检方式， 存在效率低、 效果不稳定的问题。为此， 开展表面缺陷检测算法研究， 提出一种基于Lite-HRNet的深度学习图像配准网络模型和基于改进图像差分法的表面缺陷检测算法。使用整体和局部的图像增强和故障模拟方法制作数据集， 模型采用无监督方式训练。实验结果表明， 提出的图像配准算法具有更快的推理速度， 单张图片耗时约为传统算法的1/3； 表面缺陷检测算法准确率达97.1%， 误检率为4.7%。在光照条件变化的实际检测环境下， 算法仍具备良好的鲁棒性和适应性， 满足燃油泵调节器表面缺陷检测的实时性和准确性要求。

Abstract

The appearance inspection of the fuel pump regulator still adopts the manual visual inspection method， which has the problems of low efficiency and unstable effect. Therefore， the research on surface defect detection algorithms is carried out. A deep learning image registration model based on Lite-HRNet and a surface defect detection algorithm based on an improved image difference method were proposed. Datasets are made by using global and local image enhancement and fault simulation methods， and the model is trained in an unsupervised manner. The experimental results show that the proposed image registration algorithm has a faster inference speed， the time is about 1/3 of the traditional algorithm； the accuracy of the surface defect detection algorithm is 97.1%， and the false detection rate is 4.7%. In the actual detection environment of changing light conditions， the algorithm still has good robustness and adaptability， which meets the requirements of real-time and accuracy of surface defect detection of fuel pump regulators.

Graphical abstract

关键词

机器视觉 / 深度学习 / 图像配准 / 图像处理 / 表面缺陷检测

Key words

machine vision / deep learning / image registration / image processing / surface defect detection

0 引　言

燃油泵调节器是航空发动机动力控制系统中重要的执行机构， 其外观复杂、 结构精密、 集成度高^［1‐2］。目前， 针对各种燃油附件的外观检测仍采用人工目检方式， 检测效率低， 存在二次损伤的风险。因此， 研究表面缺陷检测算法实现燃油泵调节器自动化、 智能化检测具有重要意义。研究中存在的难题主要在于： 缺少缺陷样本集， 无法明确缺陷特征； 受硬件检测平台影响， 不同时刻下采集到的图像存在偏差； 图像采集容易受到环境光变化干扰。针对以上问题， 需要研究可靠性高、 通用性好的图像配准算法和表面缺陷检测算法。

传统的图像配准往往采用基于特征的方法， 从图像中提取关键特征点来对齐图像^［3］。这类方法严重依赖特征点信息， 对光照变化敏感， 容易受到噪声、 模糊等影响。近年来， 基于深度学习的图像配准方法取得了一定的研究成果^［4］。DeTone等^［5］用四点单应性参数化方法将图像中的4个角点映射到变换后的图像， 计算单应性矩阵作为数据集标签， 并进行网络训练。Nguyen等^［6］在DeTone的基础上， 提出一种无监督的图像单应性估计网络， 模型自适应学习数据的特征， 具有更好的精度和推理速度。余永维等^［7］构造深度卷积神经网络提取铸件微小缺陷区域特征， 实现在不同视角下投影图像中微小缺陷匹配点的准确定位。

目前， 基于机器视觉的表面检测技术发展较为成熟， 成为自动化无损检测的一个重要分支^［8］。Nand等^［9］利用背景减法和直方图阈值法检测钢材表面划伤、 气泡缺陷。朱寒等^［10］基于多方向Sobel算子改进模板匹配方法， 并使用图像差分法实现PCB图像的缺陷检测。Li等^［11］定义手机屏幕缺陷检测标准， 使用深度学习方法精确识别手机屏幕表面多种缺陷。黄景德等^［12］研究了多层玻璃结构的缺陷特征识别机制， 建立了基于支持向量机的缺陷分类模型和识别算法。

针对燃油泵调节器表面缺陷检测中的问题， 提出一种无监督方式的深度学习图像配准算法， 用以对齐模板图像和拍摄的待检测图像。改进图像差分算法使用直方图阈值分割法提取壳体表面缺陷。本文提出一种图像增强和故障模拟的方法， 一定程度上解决了环境光变化、 噪声、 局部反光等影响配准的问题。

1 图像配准算法

1.1 数据准备

图像预处理和数据增强是制作模型训练样本数据集的关键步骤。通过图像处理和数据增强模拟图像中常见的噪声、 遮挡、 局部反光等不利因素， 制作缺陷样本图像。基于机器视觉的缺陷检测一般使用黑白工业相机， 因此图像均基于灰度图进行处理。

首先， 对样本图像进行预处理， 调整为512×512像素的灰度图。其次， 对整幅图像施加某种图像增强操作， 比如， 添加高斯噪声， 调整图像亮度、 对比度等。同时， 使用随机生成的掩膜对图像局部区域施加额外的图像增强操作， 如图 1（b） 所示。采用以上图像增强方式， 能够实现更多样化的数据增强效果。

工业场景下的含缺陷图像与标准图像的配准中， 缺陷的大小、 形状等因素也会影响配准效果。因此， 在图像增强的基础上， 采用一种缺陷模拟方式。在图像的随机位置和形状区域内填充其它图像， 如图 1（c） 所示。

最后， 对图像进行透视变换。借鉴DeTone等^［5］使用的四点单应性参数化方法， 对图像中特定矩形区域的4个角点施加随机扰动， 根据偏移前后的坐标对产生单映射矩阵， 用以施加透视变换。此外， 使用同样的单映射矩阵对原灰度图进行透视变换， 如图 1（d） 所示， 该图像将用于评估网络生成图像和目标图像之间的相似度。

使用以上图像处理方法制作训练数据集， 可以改变图像的某些外观属性， 模拟真实工业检测场景中的噪声干扰， 降低局部反光、 遮挡等不利因素带来的影响。

1.2 图像配准神经网络

图像配准用于将多幅图像在空间上对齐， 使得图像在相同坐标系下对应相似的位置。轻量级高分辨率神经网络（Lite-HRNet）的多尺度特征有助于获取图像的细节和全局信息， 更好地保留空间信息， 提高配准精度^［13］。

HRNet的基本思想是保持高分辨率的特征图， 并设计多层次的连接来融合不同分辨率的信息。它包含高分辨率的子网络， 用以处理不同分辨率的输入， 并在不同层次上进行融合， 以充分利用多尺度的信息。在保持基本结构的同时， 通过调整一些模块和参数来减轻计算负担， 获得Lite-HRNet， 如图 2 所示^［14］。引入了Shuffle block模块， 并使用跨分支的通道加权替换大量存在的1×1卷积， 显著提高了计算效率， 使网络更适用于计算资源受限的场景。

模型由输入层、 主干网络、 输出层构成， 结构如图 3 所示。Lite-HRNet网络有4个输出分支， 支持3种不同的输出表示方式， 模型使用高分辨率特征图的输出， 以保留更多的空间特征。网络自动排除输入图像对中存在的干扰， 并学习图像I_A到图像I_B的形变信息， 经过一系列层次结构处理， 网络输出原分辨率大小的推理图I_D。比较输出图像I_D与目标图像I_C， 计算光度损失， 反向传播损失值， 更新神经网络的权重。光度损失用于衡量模型生成的图像与目标图像之间的亮度差异， 此处使用均方误差计算训练损失值， 如式（1）所示。

L_{\mathrm{p}\mathrm{h}\mathrm{o}\mathrm{t}\mathrm{o}\mathrm{m}\mathrm{e}\mathrm{t}\mathrm{r}\mathrm{i}\mathrm{c}}=\frac{\mathrm{1}}{N}{\sum }_{i=\mathrm{1}}^N{\left(I_D\left(x_i\right)-I_C\left(x_i\right)\right)}^{\mathrm{2}},（1）

式中： N为像素的数量； I_D\left(x_i\right)为网络输出图像在位置x_i的灰度值； I_C\left(x_i\right)为目标图像在位置x_i的灰度值。

1.3 网络训练

训练基于PyTorch 1.12.0框架， 使用CUDA 11.7和cuDNN 8.5， 采用Python 3.7作为主要编程语言。硬件条件为Intel（R）Core（TM）i5-12490F CPU@ 3.0 GHz， NVIDIA GeForce RTX 3060Ti GPU和16 G RAM。选择MS COCO公共数据集中10 000张图片作为训练集， 1 000张图片作为验证集。

网络训练策略和超参数设置如下： 训练轮次200， 批次大小32。使用动态学习率调整策略， 在前10轮迭代中， 学习率从0.000 1线性增加到0.001， 有助于加快模型找到合适的权重； 后续训练采用余弦退火调整策略， 学习率曲线如图 4 所示。使用Adam优化器， 权重衰减设置为0.000 1。

在上述条件下， 模型在迭代170轮左右表现出收敛趋势， 损失函数趋于稳定， 故提前终止训练。每轮训练大约耗时40 min。训练集和验证集的损失和准确率曲线如图 5、 图 6 所示。网络训练准确率稳定在0.951， 训练损失值为25.28， 满足训练要求。

2 表面缺陷检测算法

完成深度学习图像配准模型训练后， 待检测图像与模板图像的位置偏移问题基本解决。基于配准后的图像进行燃油泵壳体表面的缺陷定位与提取。提出一种基于改进图像差分法的表面缺陷检测算法， 主要包括提取目标区域、 图像亮度调整、 缺陷提取与判断三部分， 算法具体流程如图 7 所示。

2.1 图像预处理算法

由于燃油泵调节器结构复杂， 存在较多的曲面、 阶梯面以及其他配件， 常用的阈值分割、 边缘检测等算法无法提取壳体表面待检测区域。借助图像配准网络模型对齐待检测图像和模板图像。因此， 使用掩膜复制的方法提取预定位置处的目标区域， 避免了图像前期处理的困难， 如图 8 所示。

在实际工业检测环境中， 待测物体的图像是在光源和外界环境光的共同照射下采集到的。变化的光照条件可能导致图像中出现阴影、 反光或亮度变化， 这些不利因素会影响使用图像差分法的缺陷检测效果， 造成缺陷误检的问题。因此， 使用一种基于伽马校正的图像亮度调整方法， 对图像进行全局光照归一化调整。伽马校正是一种非线性亮度调整方法， 可以改变图像的对比度和亮度分布， 如式（2）和式（3）所示。

\gamma =\frac{\mathrm{l}\mathrm{o}\mathrm{g}(V_{\mathrm{s}\mathrm{t}\mathrm{d}}/\mathrm{255.0})}{\mathrm{l}\mathrm{o}\mathrm{g}(V_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{y}}/\mathrm{255.0})},（2）

I_{\mathrm{o}\mathrm{u}\mathrm{t}}=I_{\mathrm{i}\mathrm{n}}^{\gamma },（3）

式中： \gamma为计算的伽马值； V_{\mathrm{g}\mathrm{r}\mathrm{a}\mathrm{y}}为图像平均灰度值； V_{\mathrm{s}\mathrm{t}\mathrm{d}}为图像目标灰度值， 设为128； I_{\mathrm{o}\mathrm{u}\mathrm{t}}为校正后的灰度值； I_{\mathrm{i}\mathrm{n}}为原始灰度值。

使用伽马校正分别对待检测图像和模板图像进行亮度调整， 如图 9 所示。

调整后的图像亮度分布基本一致， 大大降低了图像亮度不一致对差分算法的影响。

2.2 图像差分算法

壳体表面可能的缺陷主要有划痕、 磕碰、 油污等。图像差分法通过比较不同图像对应像素的灰度值来检测图像中的变化， 具有简单易实现、 计算速度快的优点， 但缺点在于对光照等噪声敏感， 复杂情况下容易产生误检。针对此问题， 算法从调整阈值分割方法和缺陷判定来加以改善。

将待检测图像与模板图像逐像素相减得到差分图像， 其中灰度值差异较大的区域可能为缺陷。为了从差分图像中提取缺陷， 阈值分割方法最为关键。使用灰度直方图法动态获取阈值， 选择曲线中梯度第一次大于0时的灰度值作为阈值， 如图 10 所示。使用图像形态学变换的开运算对图像进行处理， 连接相近的区域， 并剔除多余噪点， 如图 11 所示。通过设定面积阈值， 进一步判断提取的白色区域是否为缺陷。

3 实验结果与分析

3.1 实验平台

实验平台主要由工控机、 机械手、 图像采集模块、 旋转底座构成， 如图 12 所示。图像采集模块使用分辨率为5 496（H）×3 672（V）的面阵CMOS相机， 焦距8 mm的镜头和低角度环形光源。工控机配备NVIDIA GeForce RTX3060 GPU， 借助LibTorch 1.12.1组件， 加载和使用图像配准模型。使用VS 2019开发软件系统， 配置OpenCV库实现图像处理， 软件界面如图 13 所示。

3.2 图像配准实验

为了说明图像配准模型在燃油泵调节器的外观检测算法中的作用， 开展不使用图像配准和使用提出的深度学习图像配准算法的实验， 图像差分效果如图 14 所示。

根据两种情况下的差分图像对比， 可以明显看出待检测图像与模板图像间存在的偏移带来的干扰， 而图像配准能够有效消除图像间的位置偏差。在未配准情况下， 差分图像中将存在较多的干扰， 影响缺陷的提取。

从算法的准确性、 推理速度和对光照变化的鲁棒性角度出发， 开展使用SIFT算法、 ORB算法和有监督配准算法^［5］与提出的无监督算法的实验对比研究。采用1.1节的图像增强和透视变换方法， 制作包含具有不同程度变形的100对燃油泵调节器表面图像。使用均方误差计算配准图像与目标图像的相似性作为算法准确性的评估标准。为了体现光照变化对算法鲁棒性的影响， 选择不同时刻采集的图像进行实验， 实验结果如表 1 所示。

结果表明， SIFT算法和ORB算法的配准精度很高， 但速度较慢， 且存在因未检测到足够的特征点而配准失败的问题； 有监督学习方法改善了以上问题， 但配准精度较低； 而本文提出的无监督算法显著提高了图像配准效果， 改善了精度降低的问题。对于图像特征信息较少、 光照变化、 局部反光等复杂情况， 本文算法仍具有稳定且良好的配准效果。

3.3 缺陷检测实验

借助燃油泵调节器表面缺陷检测平台， 针对5套燃油泵调节器进行缺陷检测实验， 对提出的深度学习图像配准和图像差分法的缺陷检测效果进行验证。每套燃油泵调节器有71个待检测区域， 相机采集图像后上传至工控机进行处理， 软件界面实时显示检测结果。对于燃油泵调节器表面常见的污斑、 划痕、 磕碰、 漆面损伤4种缺陷， 本文算法能够有效检测到， 结果如图 15 所示， 图中红色曲线为算法检测的缺陷区域。不同时刻下的5组燃油泵调节器的检测准确率、 误检率、 漏检率如表 2 所示。

实验结果表明， 本文算法在燃油泵调节器的表面缺陷检测中具有优秀的表现， 5组缺陷检测实验的平均准确率达97.1%， 可以保证每台燃油泵调节器缺陷漏检个数不超过1个。平均误检率为4.7%， 误检主要由于现场环境光强度过高导致的壳体曲面处存在局部反光， 后续采用物理手段进行遮光， 可以进一步减少误检问题发生的可能性。

4 结　论

针对燃油泵调节器的复杂壳体表面缺陷检测中人工目检方式效率低、 稳定性差的问题， 提出一种基于无监督方式的深度学习图像配准方法， 并改进图像差分算法用于检测壳体表面缺陷。算法考虑了实际工业检测环境中可能存在的位置偏差和光照条件影响， 并开展实验进行了验证。实验结果表明， 算法具备良好的准确性和鲁棒性。并且， 本文方法可以推广到其他工业产品的表面检测环节， 结合相应图像自动化采集装置， 实现实时、 准确的外观检测。

声明

本刊已许可中国知网、万方数据知识服务平台、超星网等多家单位以数字化方式复制、汇编、发行、信息网络传播本刊全文。本刊支付的稿酬已包含上述各家网络著作权使用费，所有署名作者向本刊提交文章发表之行为视为同意上述声明。如有异议，请在投稿时说明， 本刊将按作者说明处理。

参考文献

[1] 谢小平， 张学军， 贺孝涛， 等. 某型航空发动机燃油流量调节器建模与故障仿真［J］. 航空发动机， 2011， 37（4）： 15-19.

[2] XIE Xiaoping， ZHANG Xuejun， HE Xiaotao， et al. Modeling and fault simulation of an aeroengine fuel regulator［J］. Aeroengine， 2011， 37（4）： 15-19. （in Chinese）

[3] 王珂. 航空发动机燃油调节器建模与故障诊断［D］. 大连： 大连理工大学， 2018.

[4] LOWE D G. Distinctive image features from scale-invariant keypoints［J］. International Journal of Computer Vision， 2004， 60（2）： 91-110.

[5] 陈建明， 曾祥津， 钟丽云， 等. 基于深度学习的图像配准方法研究进展［J］. 量子电子学报， 2022， 39（6）： 899- 926.

[6] CHEN Jianming， ZENG Xiangjin， ZHONG Liyun， et al. Research progress of image registration methods based on deep learning［J］. Chinese Journal of Quantum Electronics， 2022， 39（6）： 899-926. （in Chinese）

[7] DETONE D， MALISIEWICZ T， RABINOVICH A. Deep image homography estimation［J/OL］.arXiv： 1606.03798，2016.

[8] NGUYEN T， CHEN S W， SHIVAKUMAR S S， et al. Unsupervised deep homography： a fast and robust homography estimation model［J］. IEEE Robotics and Automation Letters， 2018， 3（3）： 2346-2353.

[9] 余永维， 杜柳青， 曾翠兰， 等. 基于深度学习特征匹配的铸件微小缺陷自动定位方法［J］. 仪器仪表学报， 2016， 37（6）： 1364-1370.

[10] YU Yongwei， DU Liuqing， ZENG Cuilan， et al. Automatic localization method of small casting defect based on deep learning feature［J］. Chinese Journal of Scientific Instrument， 2016， 37（6）： 1364-1370. （in Chinese）

[11] CZIMMERMANN T， CIUTI G， MILAZZO M， et al. Visual-based defect detection and classification approaches for industrial applications： a survey［J］. Sensors， 2020， 20（5）： 1459.

[12] NAND G K， NOOPUR， NEOGI N. Defect detection of steel surface using entropy segmentation［C］//2014 Annual IEEE India Conference （INDICON）， 2014： 1-6.

[13] 朱寒， 林丽， 王健华， 等. 基于改进模板匹配及图像差分法的PCB板缺陷多级检测方法［J］. 应用光学， 2020， 41（4）： 837-843.

[14] ZHU Han， LIN Li， WANG Jianhua， et al. Multi-level detection method for PCB board defects based on improved template matching and image difference［J］. Journal of Applied Optics， 2020， 41（4）： 837-843. （in Chinese）

[15] LI C S， ZHANG X M， HUANG Y J， et al. A novel algorithm for defect extraction and classification of mobile phone screen based on machine vision［J］. Computers & Industrial Engineering， 2020， 146： 106530.

[16] 黄景德， 姜晨波， 肖启巡. 基于机器视觉的多层玻璃结构缺陷特征识别机制研究［J］. 测试技术学报， 2022， 36（2）： 106-112.

[17] HUANG Jingde， JIANG Chenbo， XIAO Qixun. Research on defect feature recognition mechanism of multi-layer glass structure defect based on machine vision［J］. Journal of Test and Measurement Technology， 2022， 36（2）： 106- 112. （in Chinese）

[18] 窦凯云， 樊永生. 基于高分辨网络的空间目标位姿估计方法［J］. 测试技术学报， 2023， 37（4）： 356-361.

[19] DOU Kaiyun， FAN Yongsheng. Post estimation algorithm of spatial based on high resolution network［J］. Journal of Test and Measurement Technology， 2023， 37（4）： 356-361. （in Chinese）

[20] WANG J D， SUN K， CHENG T H， et al. Deep high-resolution representation learning for visual recognition［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2021， 43（10）： 3349-3364.

基金资助

国家自然科学基金资助项目(51975293)

航空科学基金资助项目(2019ZD052010)