基于YOLOv11-Seg与Transformer模型的刀具磨损多步向前实时预测方法

Multi-step Ahead Real-time Prediction of Tool Wear Based on YOLOv11-Seg and Transformer Model

摘要

针对传统刀具磨损预测精度低、泛化能力差、难以实现磨损状态实时预测的问题，提出一种融合YOLOv11-Seg模型与Transformer模型的刀具磨损多步向前实时预测方法。搭建数控机床刀具磨损在机监测实验平台，采用PMC编程实现刀具自动切削和磨损区域自动拍照。采用改进YOLOv11-Seg模型进行刀具磨损量检测，引入CoordAtt坐标注意力机制和Shape-IoU损失函数以提高磨损区域分割的精度。基于刀具磨损时序数据和实时磨损量数据构建改进Transformer多步向前刀具磨损预测（AFTWP）模型，并在改进Transformer模型中引入残差校正机制，提高了MFTWP模型预测的精度和稳定性。采用公开数据集和实验数据集测试改进模型，将结果与传统预测模型进行比较，验证了提出的多步向前实时预测模型的精确性和泛化能力。

Abstract

To address the problems of low prediction accuracy， poor generalization capability， and difficulty in achieving real-time prediction of tool wear states in traditional methods， a multi-step forward real-time prediction method for tool wear was proposed by integrating the YOLOv11-Seg model with a Transformer model. An on-machine monitoring experimental platform for tool wear of CNC machines was constructed， and PMC programming was employed to realize automatic cutting of tools and automatic photographing of wear regions. An improved YOLOv11-Seg model was adopted for tool wear measurement， where the CoordAtt coordinate attention mechanism and the Shape-IoU loss function were introduced to improve the accuracy of wear region segmentation. Based on tool wear time-series data and real-time wear measurement data， an improved Transformer multi-step forward real-time prediction model was established under the MFTWP mode， where the residual error correction mechanism was introduced to enhance the accuracy and stability of MFTWP mode prediction. The proposed model was tested on both of public datasets and experimental datasets， and was compared with traditional prediction models. The results show that the proposed multi-step forward real-time prediction model exhibits high accuracy and good generalization capability.

Graphical abstract

关键词

刀具磨损监测 / 多步向前刀具磨损预测 / YOLOv11-Seg模型 / Transformer模型

Key words

tool wear monitoring / multi-step forword tool wear prediction（MFTWP） / YOLOv11-Seg model / Transformer model

0 引言

刀具是数控机床装备的核心部件之一，其磨损状态直接影响产品加工质量与成本。研究表明，刀具故障引起的停机时间占机床总停机时间约22%，对生产效率影响显著^［1］。为了满足制造业智能化和数字化转型的需求，刀具磨损在线智能化预测研究具有重要的理论价值与实践意义^［2］。

近年来，机器视觉与嵌入式技术的发展为刀具磨损直接检测提供了技术支撑^［3］。李维刚等^［4］改进了YOLOv3网络结构，采用K-means聚类优化初始锚框，显著提高了模型平均精度均值（mean average precision， mAP）；曹大理等^［5］将传感器数据视为一维图像，利用卷积神经网络（CNN）实现了特征自适应提取；秦奥苹^［6］设计了面铣刀图像采集系统，提出主轴旋转状态下的连续图像采集方案；张春霖等^［7］引入深度迁移学习策略，提高了变工况下模型的监测精度和泛化能力。同时，许多研究者通过挖掘磨损宽度与刀具状态的关系，开展了基于机器视觉的刀具磨损预测研究。MARANI等^［8］利用长短时记忆（LSTM）神经网络学习数据的长期依赖关系，对刀具磨损值进行了预测。何彦等^［9］将LSTM与CNN级联建立网络模型，以减少噪声的影响，从而提高预测的准确性。朱锟鹏等^［10］利用带反馈结构将刀具磨损状态的历史估计值和历史输入特征值反馈到当前输入向量中，实现了刀具磨损状态的多步预测。然而，现有预测方法大多基于插值，依赖有限的历史数据进行短期预测，难以感知长期磨损趋势。此外，这些方法往往在数据采集后进行离线计算，缺乏实时预测能力，难以满足制造过程中对刀具状态的实时感知和决策需求。因此，本文提出一种基于机器视觉的刀具磨损实时预测模型，对刀具磨损状况进行实时预测。

1 刀具磨损实验平台搭建

1.1 硬件平台

刀具磨损实验平台硬件主要由数控机床、电子显微镜、刀具、工件及计算机等组成。数控机床为宝鸡一机MCK46车铣复合机床，该机床采用FANUC 0i-TF数控系统，倾斜导轨设计，最大回转直径为400 mm，主轴转速为70~3000 r/min；显微镜选用奥斯微AO-HK380-0318大景深电子工业显微镜，该显微镜配备4K CMOS相机和大景深宽视野变焦镜头。实验工件选用不易产生积屑瘤的铸铁棒料，实验刀具选择WNMG080404-TC型铸铁专用外圆车刀，搭建实验平台如图1所示。

1.2 图像采集与处理

刀具磨损实验平台的自动化拍照功能通过数控机床的NC代码与Focas通信协议的协同配合实现。NC代码负责控制工件的移动轨迹，完成工件的车削加工和定点拍摄；Focas通信协议连接机床状态与拍照软件，实现刀具磨损在机拍照。显微镜拍照获得稳定、剧烈磨损两阶段图像如图2所示。相机拍摄刀具磨损图像后，首先通过LabelMe 5.5图像标记软件进行人工标注，采用多边形框选出磨损区域轮廓并进行分类，如图3所示。然后将输出的JSON格式文件通过代码批量转换为TXT格式坐标信息与PNG格式的掩码图像，整理为包含三类文件的实验数据集。

1.3 刀具磨损量测量

刀具在加工过程中与工件摩擦、挤压导致温度升高和变形。后刀面直接接触工件，承受较大压力与热量，磨损更明显，直接影响切削力与加工精度，因此本文采用后刀面最大磨损宽度D衡量刀具的磨损程度，其中D_{\mathrm{1}}和D_{\mathrm{2}}分别为毫米尺度以及像素尺度下的磨损宽度。通过显微相机标定比例尺，测量全画幅长边距离L，并结合图像像素数N，得到计算式如下：

D_{\mathrm{1}}=D_{\mathrm{2}}\frac{L}{N}

由于相机在加工过程中存在细微偏移，刀具磨损区域底边的位置难以保持一致，因此，为减小误差，本文采用最小外接矩形方法测量最大磨损宽度。提取原始磨损图像及掩码图像中磨损区域轮廓，并确定最小外接矩形。根据实验设定，将矩形中0°~30°的边视为磨损区域底边，否则选取邻边作为底边。

2 基于改进YOLOv11-Seg和Transformer的刀具磨损实时预测模型

基于Transformer的多步向前预测方法用于刀具磨损预测，克服了传统时间窗口预测方法计算效率低的问题，通过将预测值反馈至下一轮输入，实现连续预测功能。该方法在YOLOv11-Seg模型中引入注意力机制和损失函数，增强磨损特征提取能力；同时结合Transformer的时间序列建模优势，构建高精度预测模型。针对多步向前刀具磨损预测（multi-step forword tool wear prediction，MFTWP）模型存在的累积误差问题，设计残差校正策略（residual correction strategy， RCS），可显著提高预测稳定性。如图4所示，该模型架构有效整合了视觉检测与时序预测的优势，实现了刀具磨损的高精度连续预测。

2.1 基于改进YOLOv11-Seg的刀具磨损检测模型

YOLOv11-Seg作为YOLO的改进版本，在工业检测中表现优异，但在刀具磨损检测任务上仍存在不足。为此，本文引入CoordAtt注意力模块和Shape-IoU损失函数来增强特征提取和目标定位能力，从而提高磨损区域的检测精度与分割效果。

2.1.1 CoordAtt注意力模块

刀具磨损区域边界模糊且形状不规则，而YOLOv11-Seg原始卷积块注意力模块（convolutional block attention module， CBAM）计算量大，难以对空间信息进行精准建模，针对此，本文引入一种基于坐标的注意力机制CoordAtt（coordinate attention）优化磨损区域检测性能，其结构如图5所示。在YOLOv11-Seg的Backbone和Neck中插入CoordAtt，可增强跨通道空间依赖，提高磨损区域识别精度。

2.1.2 Shape-IoU边界框损失函数

刀具磨损检测的核心任务之一是边界框回归预测，Shape-IoU结合语义分割IoU计算方式，更适用于不规则目标区域。相比传统矩形框 IoU，Shape-IoU直接针对刀具磨损区域匹配不规则形状，能显著减小边界框误差。其中L_s-IoU为对应的边界框回归损失；IoU Loss为目标检测中用于优化边界框回归的损失函数，通过直接优化预测框与真实框的交并比（IoU）来提高定位精度。1-L_IoU为IoU Loss（intersection over union loss）的基础部分，用来衡量预测框与真实框的重叠程度；d^{\mathrm{s}}为结合目标形状进行加权的距离；{\Omega }^{\mathrm{s}}用来衡量预测框与真实框在宽高形状上的差异。L_s-IoU\mathrm{计算}\mathrm{公式}\mathrm{为}

L_s-IoU=\mathrm{1}-L_{\mathrm{I}\mathrm{o}\mathrm{U}}+d^{\mathrm{s}}+\mathrm{0.5}{\Omega }^{\mathrm{s}}

2.2 基于自注意力机制的刀具磨损实时预测模型

Transformer利用自注意力机制实现并行计算，相比传统的RNN/LSTM神经网络效率更高。为减少MFTWP的累计误差，引入残差校正策略（RCS）。当预测误差Δ小于阈值δ时，采用预测结果与历史数据结合作为后续输入，否则使用真实历史数据抑制误差累积。该机制有效平衡了预测效率与精度。通过上述改进，构建了一种基于YOLOv11-Seg和Transformer的刀具磨损多步向前实时预测方法。

3 实验验证

本文通过公开数据集和自主搭建的实验平台双重验证所提模型的有效性。实验环境配置为：Windows11系统，i7-12100F CPU，NVIDIA RTX 2060显卡，32 GB内存，基于PyTorch 2.2.2框架（CUDA 11.8.0）实现。首先利用公开数据集验证预测模型，再通过实验平台验证实时预测性能。

对于刀具磨损实时预测模型，本文选取均方根误差（\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}）、平均百分比误差（\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}）、最大绝对误差（\mathrm{M}\mathrm{A}\mathrm{E}）和决定系数（R^{\mathrm{2}}）来评估模型性能^［11］。四个评价指标计算公式如下：

{\sigma }_{\mathrm{R}\mathrm{M}\mathrm{S}\mathrm{E}}(g,\widehat{g})=\sqrt[]{\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}(g_i-{\widehat{g}}_i{)}^{\mathrm{2}}}

{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{P}\mathrm{E}}(g,\widehat{g})=\frac{\mathrm{1}}{N}\left|\frac{g_i-{\widehat{g}}_i}{g_i}\right|

{\sigma }_{\mathrm{M}\mathrm{A}\mathrm{E}}(g,\widehat{g})=\frac{\mathrm{1}}{N}\left|g_i-{\widehat{g}}_i\right|

R^{\mathrm{2}}(g,\widehat{g})=\mathrm{1}-\frac{{\displaystyle \sum _{i=\mathrm{1}}^N}(g_i-{\widehat{g}}_i{)}^{\mathrm{2}}}{{\displaystyle \sum _{i=\mathrm{1}}^N}({\overline{g}}_i-{\widehat{g}}_i{)}^{\mathrm{2}}}

式中：N为样本数量；g_i为观测值；{\widehat{g}}_i为预测值；{\overline{g}}_i为g_i的平均值。

3.1 公开数据的实验结果与分析

本文首先采用PHM2010公开数据集验证所提MFTWP模型的性能。该数据集包含C_{\mathrm{1}}、C_{\mathrm{4}}、C_{\mathrm{6}}三个实验，各315个刀具磨损宽度数据样本，可直接用于预测研究。实验设置训练集、验证集比例为80∶20，批大小为128，初始学习率为0.001，训练200个轮次。为评估RCS机制的有效性，对比分析了不同时间窗口T_{\mathrm{1}}和预测步长T_{\mathrm{2}}下是否包含RCS的预测结果，如表1和表2所示。

表1和表2结果显示，未采用RCS校正的MFTWP模式预测精度较差，R^{\mathrm{2}}甚至出现负值。引入RCS机制后，各项指标显著改善，R²稳定在99%以上，表明模型具有更好的稳定性。进一步分析误差阈值\delta的影响，得到结果见表3。发现当\delta取适当值时，随着误差校正次数n增加，预测值与真实磨损值误差显著减小。实验表明，MFTWP-RCS模型不仅降低了预测耗时和对历史数据的依赖，同时显著提高了预测精度和稳定性。

最后，为了验证基于Transformer的多步向前磨损预测模型的精度和实用性，当T_{\mathrm{1}}=\mathrm{3}，T_{\mathrm{2}}=\mathrm{1}时，在MFTWP-RCS情况下对测试集进行预测，将结果与卷积神经网络（convolutional neural network， CNN）、时序卷积网络（temporal convolutional network，TCN）、BiLSTM和门控循环单元（gated recurrent unit，GRU）模型的预测结果进行比较，得到数据如表4所示。可看出改进Transformer预测模型在三组数据集中几乎均获得了最低的RMSE、MSE、MAE指标，同时其R^{\mathrm{2}}达到了99.9 %以上，显著优于相同条件下的其他模型。表明Transformer模型能够更有效地捕捉刀具磨损趋势，并且具有较强的泛化能力。

3.2 实验数据的测试结果与分析

在公开数据实验验证基础上，使用搭建实验平台验证刀具磨损预测模型的有效性。实验工件材料选择HT400铸铁，刀具选用威杰科WNMG080408-TC铸铁专用刀片；加工参数设定如下：进给速度20\mathrm{m}\mathrm{m}/\mathrm{m}\mathrm{i}\mathrm{n}，走刀长度100\mathrm{m}\mathrm{m}，主轴转速600\mathrm{r}/\mathrm{m}\mathrm{i}\mathrm{n}，背吃刀量1.0\mathrm{m}\mathrm{m}。在相同工艺参数和刀片情况下，采用搭建刀具磨损实验平台独立进行了3组实验，实验数据集分别用E₁、E₂和E₃表示。改进模型在实验计算机GPU上训练，训练迭代总次数为300。为了加快模型计算速度，将输入模型的数据集图像分辨率压缩到960 pixel×960 pixel。

3.2.1 刀具磨损检测模型验证

为了客观评估刀具磨损检测模型精度，本文采用召回率（R）、精确率（P）和平均精度均值（\mathrm{m}\mathrm{A}\mathrm{P}）指标比较模型性能^［12］。其中，平均精度均值指标\mathrm{m}\mathrm{A}\mathrm{P}@\mathrm{50}-95相较于\mathrm{m}\mathrm{A}\mathrm{P}@\mathrm{50}，结合了多个IoU阈值（0.50～0.95），能够更全面、更精确地评估模型性能，故本文采用前者作为平均精度均值评判指标。召回率、精确率、平均精度均值的公式如下：

R=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{N}}}P=\frac{T_{\mathrm{P}}}{T_{\mathrm{P}}+F_{\mathrm{P}}}

{\overline{P}}_{\mathrm{m}\mathrm{A}\mathrm{P}}=\frac{\mathrm{1}}{\mathrm{10}}{\displaystyle \sum _{t=\mathrm{50}}^{\mathrm{95}}}\frac{\mathrm{1}}{I}{\displaystyle \sum _{i=\mathrm{1}}^I}{P}_{I,t}

式中：T_P为模型准确预测出的目标像素点数量；F_P为模型错误地将非目标像素预测为目标像素的数量；F_N为模型错误地把目标像素判定为背景像素的数量；N为目标类别数；t为IoU阈值；P_{I,t}为类别I在IoU阈值t下的平均精度。

为验证改进点对模型性能的具体影响，设计消融实验，在相同的训练与测试条件下，分别对不同改进模块的添加与否进行对比分析。结果如表5所示，其中“×”表示未作改动，“√”表示作出改动。

表5表明，所提出的注意力机制与损失函数改进均能有效提高检测精度，且二者具有协同优化作用。改进后的YOLOv11-Seg在保持高效检测的同时获得了最优精度，验证了方案的有效性。

为进一步验证改进YOLOv11-Seg模型刀具磨损检测模型性能，将改进YOLOv11-Seg模型与全卷积网络（FCN）、Lraspp、DeepLabV3及YOLOv5-Seg模型在相同条件下进行实验，得到各模型的性能评估指标如表6所示。

改进后的YOLOv11-Seg模型在精确率、召回率和mAP@50-95指标上均优于对比算法，特别是mAP@50-95得到显著提高，验证了模型在不同IoU阈值下的稳定检测性能。

为验证磨损区域测量方法，随机选取3张测试集图像对比相机拍摄软件与改进YOLOv11-Seg的测量结果。实验结果如图6所示，模型测量的最大磨损宽度D与手动测量值平均误差小于0.5%，验证了检测精度。

3.2.2 刀具磨损实时预测模型验证

为进一步验证实时预测模型性能，基于实验平台采集3组分别有292、260、162个刀具磨损宽度的数据集E_{\mathrm{1}}、E_{\mathrm{2}}和E_{\mathrm{3}}，将其按8∶2划分为训练集、验证集。采用T_{\mathrm{1}}=\mathrm{10}，T_{\mathrm{2}}=\mathrm{5}参数设置，对比分析是否包含RCS机制的MFTWP模型预测效果，结果见表7。

表7结果显示，未采用RCS机制的MFTWP模型预测性能仍较差，而引入RCS后，RMSE、MAPE和MAE明显降低，R^{\mathrm{2}}稳定在99%以上，验证了误差修正机制的有效性。进一步在T_{\mathrm{1}}=\mathrm{3}，T_{\mathrm{2}}=\mathrm{1}的条件下对比不同模型在实验数据集上的实验结果，如表8所示。改进Transformer模型性能显著优于其他对比模型，证实了模型在多步预测中的稳定性和泛化能力。

采用表8中效果较好的CNN、BiLSTM模型对实验数据集进行计算得到表9所示模型计算时间。可以看出， 改进模型预测时间会随误差修正次数增加而延长，但均短于其他算法，从而证明了MFTWP-RCS模式的Transformer模型的高精度和实时性。

同时，由图7可以看出，改进模型预测的刀具磨损曲线与真实曲线趋势具有较高的一致性。此外，受手工测量刀具后刀面磨损值误差影响，模型预测结果与真实值之间会产生一定附加偏差。改进模型的预测值和刀具磨损真实值的误差最大不超过0.02 mm，最小趋近于0，进一步验证了改进模型预测刀具磨损状态的有效性和准确性。

4 结论

1）刀具在机磨损自动监测平台集成了高分辨率相机、光源和PMC编程技术，实现了切削-拍照自动化循环。针对样本数量较少的问题，通过显微相机软件优化和图像增强处理，有效提高了数据采集质量和效率。

2）提出一种基于YOLOv11-Seg和Transformer的多步向前刀具磨损实时预测方法。引入CoordAtt坐标注意力机制、边界框损失函数Shape-IoU，显著提高了模型对刀具磨损区域的检测精度；结合残差校正策略（RCS），有效抑制了累积误差，确保了长期预测的稳定性和准确性。相比于CNN、TCN、BiLSTM和GRU等传统方法，多步向前刀具磨损实时预测方法在RMSE、MAPE、MAE和R^{\mathrm{2}}等指标上均表现出显著优势，并具备更快的响应速度和更强的实时预测能力，验证了其在刀具磨损预测中的应用价值。

参考文献

[1] LINS R G， GUERREIRO B， MARQUES de ARAUJO P R， et al. In-process Tool Wear Measurement System Based on Image Analysis for CNC Drilling Machines［J］. IEEE Transactions on Instrumentation and Measurement， 2020， 69（8）： 5579-5588.

[2] 钱海章， 张强， 李帅. “十四五”规划下中国制造供给能力及发展路径思考［J］. 数量经济技术经济研究， 2022， 39（1）： 28-50.

[3] QIAN Haizhang， ZHANG Qiang， LI Shuai. Research on Development Path of China's Intelligent Manufacturing Supply Capacity under Background of 14th Five-Year Plan［J］. The Journal of Quantitative & Technical Economics， 2022， 39（1）： 28-50.

[4] 刘强. 数控机床发展历程及未来趋势［J］. 中国机械工程， 2021， 32（7）： 757-770.

[5] LIU Qiang. Development History and Future Trends of Numerical Control Machine Tools［J］. China Mechanical Engineering， 2021， 32（7）： 757-770.

[6] 李维刚， 叶欣， 赵云涛， 等. 基于改进YOLOv3算法的带钢表面缺陷检测［J］. 电子学报， 2020， 48（7）： 1284-1292.

[7] LI Weigang， YE Xin， ZHAO Yuntao， et al. Strip Steel Surface Defect Detection Based on Improved YOLOv3 Algorithm［J］. Acta Electronica Sinica， 2020， 48（7）： 1284-1292.

[8] 曹大理， 孙惠斌， 张纪铎， 等. 基于卷积神经网络的刀具磨损在线监测［J］. 计算机集成制造系统， 2020， 26（1）： 74-80.

[9] CAO Dali， SUN Huibin， ZHANG Jiduo， et al. In-process Tool Condition Monitoring Based on Convolution Neural Network［J］. Computer Integrated Manufacturing Systems， 2020， 26（1）： 74-80.

[10] 秦奥苹. 基于机器视觉的刀具磨损在机自动检测系统研究［D］. 成都：西南交通大学， 2021.

[11] QIN Aoping. Research on On-machine Automatic Detection System of Tool Wear Based on Machine Vision［D］. Chengdu：Southwest Jiaotong University， 2021.

[12] 张春霖， 周婷婷， 胡天亮， 等. 刀具切削变工况数字孪生模型构建方法［J］. 计算机集成制造系统， 2023， 29（6）： 1852-1866.

[13] ZHANG Chunlin， ZHOU Tingting， HU Tianliang， et al. Construction Method of Digital Twin Model for Cutting Tools under Variable Working Conditions［J］. Computer Integrated Manufacturing Systems， 2023， 29（6）： 1852-1866.

[14] MARANI M， ZEINALI M， SONGMENE V， et al. Tool Wear Prediction in High-speed Turning of a Steel Alloy Using Long Short-term Memory Modelling［J］. Measurement， 2021， 177： 109329.

[15] 何彦， 凌俊杰， 王禹林， 等. 基于长短时记忆卷积神经网络的刀具磨损在线监测模型［J］. 中国机械工程， 2020， 31（16）： 1959-1967.

[16] HE Yan， LING Junjie， WANG Yulin， et al. In-process Tool Wear Monitoring Model Based on LSTM-CNN［J］. China Mechanical Engineering， 2020， 31（16）： 1959-1967.

[17] 朱锟鹏， 黄称意， 李俊. 刀具磨损状态的多步向前智能预测［J］. 计算机集成制造系统， 2024， 30（9）： 3038-3049.

[18] ZHU Kunpeng， HUANG Chengyi， LI Jun. Multi-step Forward Intelligent Prediction of Tool Wear Condition［J］. Computer Integrated Manufacturing Systems， 2024， 30（9）： 3038-3049.

[19] 张贺， 邵琪越， 薄翠梅. 基于注意力机制混合网络模型的刀具磨损监测［J/OL］. 控制工程， 1-8 ［2025-03-29］.

[20] ZHANG He， SHAO Qiyue， BO Cuimei. Tool Wear Monitoring Based on a Hybrid Network Model with Attention Mechanism［J/OL］. Control Engineering of China， 1-8 ［2025-03-29］.

[21] 张宇杰， 蔡乐才， 成奎， 等. 改进YOLOv5金属表面缺陷检测方法［J］. 四川轻化工大学学报（自然科学版）， 2022， 35（4）： 32-41.

[22] ZHANG Yujie， CAI Lecai， CHENG Kui， et al. An Improved YOLOv5 Method for the Detection of Metal Surface Defects［J］. Journal of Sichuan University of Science & Engineering （Natural Science Edition）， 2022， 35（4）： 32-41.

基金资助

高端数控机床与基础制造装备科技重大专项(2024ZD0707501)

国家重点研发计划政府间国际科技创新合作专项(2022YFE0114200)