基于JITL-XGBoost的烧结终点预测模型

Prediction Model of Burning Through Point Based on JITL-XGBoost

摘要

烧结终点（burning through point，BTP）位置是烧结过程中重要的参数，直接影响烧结机效率.由于烧结生产过程具有多工况、时变等特性，使得全局模型预测性能不足，为此提出了一种在即时学习框架中使用极端梯度提升（extreme gradient boosting，XGBoost）作为局部模型的烧结终点预测模型，即JITL（just-in-time learning）-XGBoost.首先采用KL散度（Kullback-Leibler divergence）相似性度量方法提取待测样本的特性，选出与待测样本最相关的数据集.然后将该数据集作为XGBoost模型的输入来预测烧结终点的位置.此外，考虑了相关数据集数量对模型预测精度和计算时间的影响.最后与其他模型对比，结果表明，所建模型在合理的时间内具有最佳预测精度，为提高烧结机效率提供新的指导方向.

Abstract

The burning through point （BTP） is an important parameter in the sintering process， which directly affects the efficiency of the sintering machine. Due to the multi-working conditions and time-varying characteristics of the sintering production process， the prediction performance of the global model is insufficient. Therefore， a burning through point prediction model using XGBoost as a local model in the just-in-time learning framework is proposed， namely JITL-XGBoost. Firstly， the KL divergence similarity measurement method is used to extract the characteristics of the sample to be tested， and the most relevant data set of the sample to be tested is selected. Secondly， this dataset is used as input to the XGBoost model to predict the location of the burning through point. In addition， the impact of related dataset numbers on model prediction accuracy and model computation time is considered. Finally， by comparing with other models， the results show that the model built has the best prediction accuracy within a reasonable time， providing new guidance for improving the efficiency of sintering machines.

Graphical abstract

关键词

烧结矿 / 烧结终点 / 预测模型 / 即时学习 / 极端梯度提升

Key words

sintering ore / burning through point / prediction model / just-in-time learning / extreme gradient boosting

理想的BTP是指原材料混合物在烧结机上进行完全燃烧的位置.如果BTP位于目标位置的前面，烧结机的有效面积不会得到充分利用，如果BTP位于目标位置的后面，烧结卸料时料层无法完全燃烧，导致烧结矿返矿率增加、产量减少^［1］.因此，精准预测BTP位置可以使烧结机机速得到及时、准确的调整，进而提高烧结机效率和减少经济成本.

由于涉及多种物理和化学现象，烧结过程表现出高度的非线性、不确定性、强耦合和多工况.因此预测BTP的位置非常具有挑战性，并且一直是研究的热点.目前，对BTP进行预测的方法主要有两种，一种是机理模型，另一种是数据驱动模型.机理模型通常是根据第一性原理的静态参数和物理化学反应.Patisson等^［2］以烧结理论为基础，开发了烧结料层温度分布的数学模型，并在实验装置中对模型结果进行了验证.Cumming等^［3］研究了烧结过程中的物理化学反应，建立了烧结过程的数学模型，并在计算机上进行了计算验证.但上述模型都是建立在假设基础上的简化模型，限制了它们在实际烧结过程中的适用性.

近年来，随着烧结领域大量历史数据的积累和大数据技术的发展，数据驱动模型受到广泛关注.与机理模型不同，数据驱动模型基于实际烧结过程数据，不需要考虑难以描述的多个耦合物理化学反应，着重探讨数据之间的相关性^［4］.Du等^［5］提出了基于模糊时间序列的BTP预测模型，为铁矿石烧结过程的稳定控制奠定了基础.Chen 等^［6］提出了BTP的Takagi-Sugeno模糊模型，分析了影响时变运行的因素条件.Liu等^［7］提出了一种梯度推进决策树算法来建立BTP和BTP温度的预测模型.Wang等^［8］运用烟花算法和遗传算法优化模型参数，构建了一种基于支持向量机的BTP预测模型.尽管传统的BTP预测模型具有很强的非线性拟合能力，但随着时间的推移，离线训练的模型无法适应工业过程的时变，导致模型性能随时间退化甚至失效.频繁地重新训练模型以保持准确性又将增加时间和经济成本.

针对传统模型存在的局限性，即时学习建模框架采用“边建模、边预测”的方式，通过相似度计算选出与待测样本最相关的样本集构建局部模型，实现短时间内高精度预测^［9］.当前，即时学习算法已在部分领域用于构建预测模型.任明仑等^［10］将即时学习算法引入灰铸铁抗拉强度预测，并与传统全局模型对比验证即时学习算法的有效性.王通等^［11］利用即时学习算法来提高油田液面测量的精度.针对烧结过程中时变导致预测性能不足的问题，本文首先对烧结数据进行预处理，得到可以直接建模的有效数据.其次，通过最大互信息系数（maximal information coefficient，MIC）得到26个与BTP最相关的变量.然后，利用KL散度相似性度量方法计算出查询样本和历史数据库的距离，进而选取相关数据集.最后将选取的相关数据集作为XGBoost模型的输入，得到查询样本的最终BTP预测值，并将BTP数据库及时更新.烧结生产过程中的实际数据验证了该模型的优越性和可靠性，对BTP的及时、准确预测具有重要意义.

1 数据分析与处理

1.1 数据预处理

实验数据来自某烧结工厂3号烧结机共12 920组样本，可以将全部烧结过程参数分为以下4种：原料参数、混合料参数、操作参数以及状态参数，结合经验和工艺分析，最终在表1列出52种可能和BTP有关的生产参数.铁矿石烧结过程的生产顺序为配料、混合、制粒、加料、点火、烧结、通风、破碎、冷却、筛分^［12］.首先通过混合制粒机将原料搅拌成混合料并送到烧结台车上.当混合料通过点火器时，其表面被点燃，然后在风机的作用下，混合料在台车里自上向下燃烧，废气沿烟道流出.在混合料燃烧过程中，混合料首次完全燃烧的地方被称为BTP.由于没有仪器可以直接测量BTP值，一种基于风箱中废气温度的间接测量方法被提出^［13］.因此，本文采用风箱的数量来衡量BTP，一共22个风箱，BTP的位置一般出现在倒数第2个风箱附近.一般来说，从实际生产现场获得的数据不能直接用于建模，因为原始数据中可能存在传感器检测异常、恶劣环境等条件导致的异常数据.这些数据可能会影响模型的预测精度和可靠性.因此，需要对原始数据进行预处理.本文采用箱形图的异常值检测方法来检测并处理异常值.箱形图的原理是：用3条分位线将图形分为4个区域，每个区域占比1/4. 3条分位线分别为下四分位线（Q1）、中位数（median，MD）、上四分位线（Q3），上四分位线与下四分位线之间的距离为四分位距（interquartile range，IQR）.\mathrm{Q}\mathrm{1}-\mathrm{1.5}\mathrm{I}\mathrm{Q}\mathrm{R}和\mathrm{Q}\mathrm{3}+\mathrm{1.5}\mathrm{I}\mathrm{Q}\mathrm{R}是正常和异常数据的分界线，如图1所示.边界线内的数据为正常值，边界线外的数据为异常值.图2为箱形图法识别异常数据点的结果.对于缺失值和异常值数据点，本文采用其前后的5个正常数据点的平均值进行替换.由于不同变量之间的量纲不同，如果直接训练模型，会影响模型的结果.因此，要对处理完异常值和缺失值的数据进行标准化处理.

1.2 关键特征选择

烧结过程各变量之间存在高度的非线性，且有些变量和BTP的相关性不大.因此，需要对各变量进行特征选择.常见的特征选择方法有线性相关分析方法和非线性分析方法.面对高度非线性的烧结数据，引入可计算非线性相关的最大互信息系数（C_MI），提取与BTP相关性最强的几个关键参数作为输入变量.C_MI ^［14］的定义为

C_{\mathrm{M}\mathrm{I}}=\underset{|x||y|\ll B}{\mathrm{m}\mathrm{a}\mathrm{x}}\frac{{\sum }_{x,y} P\left(x,y\right)\mathrm{l}\mathrm{n}\frac{P\left(x,y\right)}{P\left(x\right)P\left(y\right)}}{\mathrm{l}\mathrm{n}\left[\mathrm{m}\mathrm{i}\mathrm{n}\left(|x|,|y|\right)\right]}.（1）

式中：|x|和|y|分别为变量x和变量y划分的区间数量； P(x)为样本点落在变量x上的概率；P(y)为样本点落在变量y上的概率；P(x,y)为变量x与变量y联合概率密度；B为划分的最大网格数量，是样本量的0.6次方.如果C_MI值接近1，说明该输入变量和输出关系密切；反之，当C_MI值接近0，说明它们几乎不相关.经过计算，按C_MI大小顺序选取的26个输入变量如表2所示.

由表2可知，和BTP相关的过程参数主要有风箱废气温度、原料下料量和风箱真空度等.风箱废气温度可以反映料层表面的温度变化，是判断BTP位置的关键因素.焦粉等原料在烧结过程中会自上向下燃烧，下层原料的燃烧需要由上层的燃烧热给予支持，同时原料下料量的变化会影响到烧结小球的成分和结构，从而影响BTP的位置.风箱真空度可以影响烧结料层的氧化还原性质和气相组成.当风箱真空度过大时，会使料层中的氧气含量减少，导致燃烧不充分，从而使BTP偏后；反之则会使BTP靠前.

2 BTP预测模型

2.1 相似性度量方法

即时学习算法之所以可以适应不断变化的过程环境，原因在于它是从数据库中选择最相似的样本形成相关数据集，不同于全局模型使用数据库中所有的数据，这种做法更具有针对性，对烧结过程的时变特性具有更强的适应性.在JITL方法中，一定数量的输入输出参数存储在数据库中.XGBoost等模型是通过该数据库开发的.该数据库是由KL散度计算出的数据组成的.KL散度计算公式如下：

D_{\mathrm{K}\mathrm{L}}\left(P_{\mathrm{d}}|P_{\mathrm{q}}\right)={\displaystyle \sum _{i=\mathrm{1}}^N}{P}_{\mathrm{d}}\left(x_i\right)\mathrm{l}\mathrm{o}\mathrm{g}\frac{P_{\mathrm{d}}\left(x_i\right)}{P_{\mathrm{q}}\left(x_i\right)}.（2）

式中：P_{\mathrm{d}}和P_{\mathrm{q}}为数据库和查询数据的概率分布值；N为数据集大小.KL散度获得的值越小，说明样本间相似度越高.

2.2 XGBoost算法

XGBoost是一种基于树模型的集成学习算法，通过引入正则化和优化技术来防止过拟合，能够有效地处理烧结过程中复杂的非线性关系，为BTP的预测提供有力支持.该算法中对于回归问题构造平方项损失作为目标函数，用泰勒级数对目标函数进行二项展开以解决目标函数优化困难的问题，并且用梯度下降算法进行优化求解^［15］.该算法的目标函数一般形式如下：

{\widehat{y}}_i={\displaystyle \sum _{k=\mathrm{1}}^T}{f}_k\left(x_i\right),（3）

O_{\mathrm{b}\mathrm{j}}={\displaystyle \sum _{i=\mathrm{1}}^n}l\left(y_i,{\widehat{y}}_i\right)+{\displaystyle \sum _{k=\mathrm{1}}^K}\left(\gamma T+\mathrm{\lambda }\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{j=\mathrm{1}}^T}{w_j}^{\mathrm{2}}\right).（4）

式中：y_i为第i个样本的实际值；{\widehat{y}}_i为第i个样本的预测值；f_k(x_i)为第k个数对第i个数据样本的预测结果；l\left(y_i,{\widehat{y}}_i\right)为第i个样本的损失函数；\gamma和\lambda为模型复杂度变量；T为叶子节点个数；w_j为叶子节点的权重；n为测试样本数.对式（4）目标函数泰勒展开后求偏导并令其等于0，此时的目标函数为

O_{\mathrm{b}\mathrm{j}}=\frac{\mathrm{1}}{\mathrm{2}}{\displaystyle \sum _{i=\mathrm{1}}^T}\frac{\sum g_i}{\sum h_i+\lambda }+\gamma T.（5）

式中：g_i和h_i分别为目标函数的一阶导数、二阶导数.

2.3 JITL-XGBoost模型

本文采用JITL-XGBoost模型对BTP进行预测，图3为预测模型流程图.其基本原理如下：

1） 将中国某烧结工厂3号烧结机的实际生产数据进行数据预处理和特征向量选择之后，得到BTP数据集（n个输入、输出）；

2） 将从传感器得到的查询数据与BTP数据库进行相似度计算，得到相似度值；

3） 从BTP数据库中挑选k个数据集作为最相关数据集（k<n）；

4） 采用k个数据来训练XGBoost模型，得到预测结果；

5） 将预测结果和查询数据一起存入烧结终点数据库，并且删除相似度最小的数据.

为了避免数据库数量随着时间增加而扩大，应该摒弃数据库中较坏的数据.因此，本文采用数据库更新技术，通过这种方式使BTP数据集大小固定，同时递归地更新数据来解决烧结过程中的时变问题.

2.4 模型评价指标

本文介绍了4种不同的评价指标，即相关系数（C_C）、平均绝对误差（e_{\mathrm{M}\mathrm{A}}）、均方误差（e_{\mathrm{M}\mathrm{S}}）和均方根误差（e_{\mathrm{R}\mathrm{M}\mathrm{S}}），用来评价该方法的准确性.其中，相关系数表示一个变量与另一个依赖关系的量化.相关系数越接近一个稳定数值、误差越小，模型的准确度越高.其计算公式如下：

C_C=\frac{{\displaystyle \sum _{i=\mathrm{1}}^n}\left(y_i-{\widehat{y}}_i\right)\left({\widehat{y}}_i-\overline{{\widehat{y}}_i}\right)}{\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n}{\left(y_i-{\widehat{y}}_i\right)}^{\mathrm{2}}{\displaystyle \sum _{i=\mathrm{1}}^n}{\left({\widehat{y}}_i-\overline{{\widehat{y}}_i}\right)}^{\mathrm{2}}}}；（6）

e_{\mathrm{M}\mathrm{A}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n} \left|y_i-{\widehat{y}}_i\right|；（7）

e_{\mathrm{M}\mathrm{S}}=\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n} {\left({\widehat{y}}_i-y_i\right)}^{\mathrm{2}}；（8）

e_{\mathrm{R}\mathrm{M}\mathrm{S}}=\sqrt[]{\frac{\mathrm{1}}{n}{\displaystyle \sum _{i=\mathrm{1}}^n} {\left(y_i-{\widehat{y}}_i\right)}^{\mathrm{2}}}.（9）

式中：\overline{{\widehat{y}}_i}表示所有预测值的平均值.

3 模型预测性能对比与分析

本文将数据比例划分为8∶2，前部分用来训练数据，后部分用来测试模型的训练能力.本文使用的软件环境是python 3.8和scikit learn 1.0.2，硬件环境是Intel（R） Core（TM） i5-7200U CPU和8 GB内存.

在JITL框架中，确定最佳相关数据集的数量是决定BTP预测性能好坏的一个重要因素.

为了确定最佳数据集数量，采用网格搜索法基于1 000到9 000的数据集数量开发了局部模型（XGBoost， SVR， GPR），得到相关系数（C_C）和相关数据集数量之间的依赖关系，如图4所示.

从图4可以看出，最佳的数据集数量在3 000附近，预测精度较高，在数据集大于3 000时虽然预测精度值继续上升，但是预测精度的提高可以忽略不计.因此，将最佳数据集数量定为3 000.同样可以看出，JITL-XGboost的性能均优于其他算法模型的性能.

为了更好地展示所提模型解决烧结过程中时变的能力，本文通过不同方法在不同时间段的数据子集进行建模，来评估所建模型的预测优势.即将所建模型与JITL-SVR，JITL-GPR和XGBoost模型进行对比，图5为过程状态发生变化前BTP预测结果，图6为过程状态发生变化后BTP预测结果.从图5可以看出，与其他模型相比，JITL-XGBoost模型预测值与实际值之间误差最小，XGBoost模型的预测值也与实际值差距不大.当过程状态发生变化时，从图6可以看出，与JITL-XGBoost模型相比，全局模型XGBoost预测性能降低，而JITL-XGBoost模型的预测结果依然非常准确，这说明JITL-XGBoost模型可以较好处理烧结过程中时变特性导致预测精度不足的问题.

另外，模型计算时间的长短决定模型是否可以快速地得到BTP预测结果.模型的计算时间涉及相似度计算和局部模型开发，本文采用每个模型运行3次的结果，取这3次的平均值用于比较.经计算，计算时间在1.0 s和1.4 s之间，这种计算时间说明相关数据集数量为3 000用于预测是可以接受的，因为其远小于传感器测量的时间间隔.

不同预测模型的预测性能对比如表3所示.XGBoost模型预测精度较低，预测时间较长，是因为其采用全部数据，易被其他无关样本干扰，导致其对时变的BTP适应性较差；JITL-SVR模型对于高维数据易出现处理困难，导致模型预测性能下降；JITL-GPR模型对超参数选择较为敏感，选择不当也会导致预测精度下滑；而JITL-XGBoost是即时学习与梯度提升决策树相结合的模型，能够很好地处理以上模型存在的问题，因此，其预测性能较高.

4 结 语

针对烧结实际生产过程中的时变特性所导致预测精度不足的问题，本文采用JITL-XGBoost模型进行BTP预测.将可以适应烧结实际生产过程的JITL和可以处理复杂非线性的XGBoost算法相结合来解决上述问题，并在此基础上，考虑了相关数据集对预测性能和预测时间的影响.通过与其他模型对比，本文所建模型的e_{\mathrm{M}\mathrm{A}}，e_{\mathrm{R}\mathrm{M}\mathrm{S}}和e_{\mathrm{M}\mathrm{S}}均比其他3种模型低，说明所建模型预测能力较强.综上所述，本文所建模型为烧结的实际生产提供了一种新的评判方法，后续可以根据模型预测结果来调整烧结机参数，从而减少资源浪费.

参考文献

[1] Du S， Wu M， Chen L F， et al. A fuzzy control strategy of burn-through point based on the feature extraction of time-series trend for iron ore sintering process［J］. IEEE Transactions on Industrial Informatics， 2020， 16（4）： 2357-2368.

[2] Patisson F， Bellot J P， Ablitzer D， et al. Mathematical modelling of iron ore sintering process［J］. Ironmaking & Steelmaking， 1991， 18（2）： 89-95.

[3] Cumming M J， Thurlby J A. Developments in modelling and simulation of iron ore sintering［J］. Ironmaking & Steelmaking， 1990， 17（4）： 245-254.

[4] Chen X X， Shi X H， Tong C D. Multi-time-scale TFe prediction for iron ore sintering process with complex time delay［J］. Control Engineering Practice， 2019， 89： 84-93.

[5] Du S， Wu M， Chen L F， et al. Prediction model of burn-through point with fuzzy time series for iron ore sintering process［J］. Engineering Applications of Artificial Intelligence， 2021， 102： 104259.

[6] Chen X， Hu J， Wu M， et al. T–S fuzzy logic based modeling and robust control for burning-through point in sintering process［J］. IEEE Transactions on Industrial Electronics， 2017， 64（12）： 9378-9388.

[7] Liu S， Lyu Q， Liu X J， et al. A prediction system of burn through point based on gradient boosting decision tree and decision rules［J］. ISIJ International， 2019， 59（12）： 2156-2164.

[8] Wang D D， Yang K， He Z J， et al. Application research based on GA-FWA in prediction of sintering burning through point［C］//Proceedings of 2018 International Conference on Computer， Communications and Mechatronics Engineering. Shanghai，2018： 378-385.

[9] 赵济民， 何杨， 刘建华， 等. 基于即时学习算法的铸坯质量预测方法［J］. 连铸， 2022， 47（6）： 54-60， 67.

[10] Zhao Ji-min， He Yang， Liu Jian-hua， et al. Predictive method of casting slab quality based on just-in-time learning algorithm［J］. Continuous Casting， 2022， 47（6）： 54-60， 67.

[11] 任明仑， 宋月丽， 褚伟. 灰铸铁抗拉强度预测的局部加权线性回归建模［J］. 电子测量与仪器学报， 2019， 33（3）： 65-71.

[12] Ren Ming-lun， Song Yue-li， Chu Wei. Locally weighted linear regression modeling for tensile strength prediction of gray cast iron［J］. Journal of Electronic Measurement and Instrumentation， 2019， 33（3）： 65-71.

[13] 王通， 高宪文， 刘文芳. 基于改进即时学习算法的动液面软测量建模［J］. 东北大学学报（自然科学版）， 2015， 36（7）： 918-922.

[14] Wang Tong， Gao Xian-wen， Liu Wen-fang. Soft sensor for determination of dynamic fluid levels based on enhanced just-in-time learning algorithm［J］. Journal of Northeastern University （Natural Science）， 2015，36（7）： 918-922.

[15] Xia G L， Wu Z X， Liu M Y， et al. Prediction interval estimation of sinter drum index based on light gradient boosting machine and kernel density estimation［J］. Ironmaking & Steelmaking， 2023， 50（8）： 909-920.

[16] Li D C， Huang W T， Chen C C， et al. Employing box plots to build high-dimensional manufacturing models for new products in TFT-LCD plants［J］. Neurocomputing， 2014， 142： 73-85.

[17] Simon N， Tibshirani R. Comment on “detecting novel associations in large data sets” by reshef et Al， science dec 16， 2011［EB/OL］.（2014-06-14）［2023-05-15］. 2014： 1401.7645.

[18] Li G Y， Li W， Tian X L， et al. Short-term electricity load forecasting based on the XGBoost algorithm［J］. Smart Grid， 2017， 7（4）： 274-285.

基金资助

河北省教育厅科学技术研究项目(BJ2021099)