基于DCC⁃RVM的多模态间歇过程质量变量在线预测方法

An online prediction of quality variables based on DCC⁃RVM for multimode batch processes

摘要

间歇过程具有多模态特性，现有的间歇过程模态划分方法忽略了模态中心与过程特性的因果关系，制约了模态划分结果准确性和合理性的提升，直接影响了质量变量预测模型的精度和泛化性。提出一种基于深度因果聚类相关向量机（deep causal clustering⁃relevance vector machine，DCC⁃RVM）的多模态间歇过程质量变量在线预测方法。首先结合密度峰值聚类，考虑间歇过程数据的强非线性特征，利用深度自编码器提取过程数据的深层特征，构建基于长短时记忆网络（long short⁃term memory，LSTM）间歇过程的过程模型，以模态中心数据样本与LSTM过程模型输出的因果关系为约束，构建间歇过程模态中心选取策略，获得合理的模态中心；然后考虑过程数据的时序特征，依据样本间的相对距离将非模态中心样本分配至对应模态，获得各个模态的切换点及数据集；最后，通过各模态RVM预测模型在线预测间歇过程质量变量。青霉素发酵过程的实验结果表明，DCC模态划分结果较合理，所建立的多模态RVM模型预测均方根误差RMSE为0.010 4，R²为0.999 5，有效提高了质量变量的预测精度。

Abstract

Batch processes have multimode characteristics， and the existing methods of mode partition for batch processes ignore the causal relationship between the process characteristics and the mode centers， which directly affects the accuracy and reasonableness of the mode partition results and the prediction precision and generalizability of the models. A method for the online prediction of quality variables based on deep causal clustering-relevance vector machine （DCC-RVM） for multimode batch processes is proposed in this work. By combining density peak clustering， with the strong nonlinearity of the batch process data， the deep features of the process data are first extracted using a deep autoencoder. The process model for batch processes based on long short-term memory （LSTM） is then constructed， with the causal relationship between mode centers and the LSTM process model as a constraint， and the mode centers selection strategy is constructed to obtain reasonable mode centers； Subsequently， by considering the temporal features of the process data， the non-mode center samples are assigned to the corresponding modes based on the relative distance between samples， and the partition points and data sets are obtained for each mode； Finally， the quality variable prediction model for each mode is established using RVM， and the batch process quality variable is predicted online. The experimental results show that the mode partition by DCC is reasonable. The root mean square error （RMSE） and R² for predictiions using our DCC-RVM model are 0.010 4 and 0.999 5， respectively.

引言

间歇过程具有灵活性高、适应性强的优势，已成为现代制造业重要的生产方式之一^［1-2］。在线测量间歇生产过程质量变量是实现质量控制的重要前提^［3］。软测量技术利用过程数据建立易测辅助变量和不易测主导变量的数学模型，从而在线测量主导变量^［4］，已被用于间歇过程质量变量在线预测。现有的间歇过程质量变量在线预测方法大多是建立全局预测模型，忽略了间歇过程的多模态特性，限制了质量变量预测模型精度的提升^［5］。因此，准确获得间歇过程模态切换点及各模态的数据集，并建立多模态质量变量预测模型，有助于提高间歇过程质量变量的预测精度，对实现间歇过程质量控制具有重要意义。

现有的基于时序特征分析的模态划分方法通过提取及分析过程变量的时序特征，将变量特征发生显著变化的点作为模态切换点。但该方法对异常值敏感，易产生不合理的模态划分结果。基于模型识别的模态划分方法通过建立统计模型捕捉过程变量的特征信息，从而确定模态切换点^［6-7］。然而，该方法需要原始数据满足特定分布，难以直接用于具有非高斯数据特征的间歇过程。

基于聚类分析的模态划分方法通过无监督学习将具有相似特征的数据样本划分为同一模态^［8-9］，无需原始数据满足特定分布。Lu等^［10］将k均值聚类（k⁃means）算法应用于模态划分，通过分析聚类负载矩阵并添加阈值实现了模态划分；Ng等^［11］利用模糊c均值（fuzzy c⁃means，FCM）聚类通过隶属度函数量化数据点对各模态的隶属程度，通过最小化目标函数获得了合理的模态划分结果。但以上方法均忽略了过程数据的时序特征，使得模态划分结果存在时序错乱。Luo等^［12］提出一种基于时序约束模糊C均值的模态划分方法，然而该方法易受初始模态中心及输入参数的影响，模态划分结果的一致性较差。

密度峰值聚类（density peaks clustering，DPC）算法通过非迭代的方式获得聚类结果^［13-14］。刘聪等^［15］将DPC引入间歇过程模态划分，通过样本点间的K近邻关系定义样本点分配策略，将非模态中心样本分配至所属模态，然后利用各模态的数据集建立预测模型。然而间歇过程数据的高维特征限制了质量变量预测模型的精度。针对该问题，周新杰等^［16］提出一种基于改进密度峰值聚类的模态划分方法，提高了间歇过程模态划分的合理性，建立的多模态质量变量预测模型具有较高的预测精度。受操作切换的影响，间歇过程的过程特性存在阶段性变化，使得整个过程具有多个模态中心，过程特性与模态中心具有稳定的因果关系，引入因果关系约束模态中心的选择并分配非模态中心样本点，获得准确的模态划分结果，能够进一步提高质量变量预测模型的预测精度。

为提高间歇过程质量变量预测的准确性，本文提出了一种基于深度因果聚类相关向量机（DCC-RVM）的多模态间歇过程质量变量在线预测方法。在密度峰值聚类的基础上，利用深度自编码器获得原始数据的深层特征，建立长短时记忆网络（long short⁃term memory，LSTM）过程模型，以模态中心数据样本与过程模型输出的因果关系为约束，构建模态中心选取策略，并将非模态中心样本分配至对应模态，获得各个模态的切换点和数据集。然后，利用各模态数据集建立多模态RVM质量变量预测模型。最后通过实验验证了本文所提方法的有效性。

1 基于深度因果聚类的间歇过程模态划分

1.1 深度因果聚类

密度峰值聚类算法^［17］的步骤如下。

1）计算所有样本点的局部密度\rho，计算式为

（1）

式中，d_{ij}为样本{\mathit{x}}_i和{\mathit{x}}_j间的欧氏距离；d_{\mathrm{c}}表示截断距离；d表示d_{ij}和d_{\mathrm{c}}的距离之差。

2）计算每个样本点到更高密度样本点的相对距离\delta

{\delta }_i=\left\{\begin{array}{l}\underset{{\rho }_j>{\rho }_i}{\mathrm{m}\mathrm{i}\mathrm{n}}(d_{ij}),{\rho }_i\mathrm{非最}\mathrm{大}\\ \mathrm{m}\mathrm{a}\mathrm{x}(d_{ij}),{\rho }_i\mathrm{最大}\end{array}\right.（2）

构建样本{\mathit{x}}_i的决策值{\gamma }_i的计算式，将{\gamma }_i值较大的样本作为聚类中心，并依据相对距离将非聚类中心样本分配至对应类别。决策值{\gamma }_i的计算式为

{\gamma }_i={\rho }_i\times {\delta }_i（3）

1.1.1 深度特征提取

间歇过程原始数据中存在的冗余特征会降低聚类算法的性能，因此本文利用深度自编码器（deep autoencoder，DAE）提取过程数据的深层特征，之后再进行聚类，以提高聚类结果的准确性。

DAE包含编码器和解码器两个部分，编码器f_{\phi }(\mathit{x})将可测过程变量\mathit{x}映射到\mathit{z}，可表示为

\mathit{z}=f_{\phi }(\mathit{x})（4）

f_{\phi }(\mathit{x})=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_{\mathrm{3}}\times \mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}({\mathit{W}}_{\mathrm{2}}\times \mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}({\mathit{W}}_{\mathrm{1}}\mathit{x}+b_{\mathrm{1}})+

b_{\mathrm{2}})+b_{\mathrm{3}})（5）

式中，{\mathit{W}}_{\mathrm{1}}、{\mathit{W}}_{\mathrm{2}}和{\mathit{W}}_{\mathrm{3}}为编码器权重；b_{\mathrm{1}}、b_{\mathrm{2}}和b_{\mathrm{3}}为偏置项。

解码器g_{\theta }(\mathit{z})对\mathit{z}进行重构，其计算式为

\widehat{\mathit{x}}=g_{\theta }(\mathit{z})（6）

g_{\theta }(\mathit{z})=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_{\mathrm{6}}\times \mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}({\mathit{W}}_{\mathrm{5}}\times \mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}({\mathit{W}}_{\mathrm{4}}\mathit{x}+b_{\mathrm{4}})+b_{\mathrm{5}})+b_{\mathrm{6}})（7）

式中，{\mathit{W}}_{\mathrm{4}}、{\mathit{W}}_{\mathrm{5}}和{\mathit{W}}_{\mathrm{6}}为解码器权重；b_{\mathrm{4}}、b_{\mathrm{5}}和b_{\mathrm{6}}为偏置项。

DAE损失函数L的计算式为

L=\sqrt[]{\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}({\mathit{x}}_i-{\widehat{\mathit{x}}}_i{)}^{\mathrm{2}}}（8）

式中，N表示样本量；{\mathit{x}}_i为第i个样本；{\widehat{\mathit{x}}}_i为重构后的第i个样本。

DAE网络结构如图1所示，使用\mathrm{R}\mathrm{e}\mathrm{L}\mathrm{U}激活函数加速模型训练并避免梯度消失。在网络最后一层使用\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}激活函数以压缩特征至［-1，1］的范围内，增强模型的表达能力。

1.1.2 因果关系约束的样本相似性度量和模态中心选择

间歇过程具有多个运行模态，不同模态具有不同的过程特性，模态中心是过程特性在数据上的集中体现，因此过程特性的变化会导致模态中心的变化，模态中心和过程特性间存在稳定的因果关系。 间歇过程的过程特性可以通过过程模型进行表征。由于LSTM捕捉时间序列中的长期依赖关系能力较强^［18］，因此本文利用LSTM建立时间序列模型以表征间歇过程的过程特性。给定间歇过程变量{\mathit{X}}_i\in {\mathbb{R}}^{K\times J},i=\mathrm{1,2},\cdots ,I（I为批次数，K为样本数，J为可测过程变量数），基于LSTM的过程模型可表示为

\widehat{\mathit{x}}(t)=f(p,\mathit{x}(t-\mathrm{1}),\mathit{x}(t-\mathrm{2}),\cdot \cdot \cdot ,\mathit{x}(t-w))（9）

式中，\widehat{\mathit{x}}(t)是过程模型第t个时刻的输出；p为模型参数；t为时间；w为时间窗。

建立的过程模型包含多个LSTM单元，LSTM单元的结构如图2所示。每个LSTM单元根据式（10）中的遗忘门f_t、输入门i_t、输出门o_t和记忆细胞C_t来处理每个时间步的数据，生成的隐藏特征向量{\mathit{h}}_t将作为下一个时间步的输入。通过LSTM单元捕捉时间序列的长期依赖关系和动态变化，从而建立不同时刻样本间的联系。LSTM单元可表示为

\begin{array}{l}{f}_t=\sigma ({\mathit{W}}_f\cdot \left[{\mathit{h}}_{t-\mathrm{1}},{\mathit{x}}_t\right]+b_f)\\ i_t=\sigma ({\mathit{W}}_i\cdot \left[{\mathit{h}}_{t-\mathrm{1}},{\mathit{x}}_t\right]+b_i)\\ {\tilde{C}}_t=\mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}({\mathit{W}}_C\cdot \left[{\mathit{h}}_{t-\mathrm{1}},{\mathit{x}}_t\right]+b_C)\\ C_t=f_t\odot C_{t-\mathrm{1}}+i_t\odot {\tilde{C}}_t\\ o_t=\sigma ({\mathit{W}}_o\cdot \left[{\mathit{h}}_{t-\mathrm{1}},{\mathit{x}}_t\right]+b_o)\\ {\mathit{h}}_t=o_t\odot \mathrm{t}\mathrm{a}\mathrm{n}\mathrm{h}(C_t)\end{array}（10）

式中，\sigma表示sigmoid激活函数；{\mathit{x}}_t为t时刻的样本；{\mathit{h}}_{t-\mathrm{1}}表示t-\mathrm{1}时刻的隐藏特征；{\tilde{C}}_t表示候选记忆细胞，b_f\mathrm{、}{b}_i\mathrm{、}{b}_C\mathrm{、}{b}_o为偏置项。

t-\mathrm{1}时刻的隐藏特征由LSTM单元传递至输出层，得到t时刻的预测结果，计算式为

\widehat{\mathit{x}}(t)={\mathit{W}}_L\times {\mathit{h}}_{t-\mathrm{1}}+b_L（11）

式中，{\mathit{W}}_L和b_L分别为输出层的权重和偏置项。

将t-w至t-\mathrm{1}时刻的样本输入至LSTM过程模型，对t时刻样本进行预测，将K个时刻的模型预测值和真实值之间的误差作为衡量不同样本对应时刻模型预测行为差异程度的依据。t时刻过程模型的预测误差m_t计算式为

m_t=\sqrt[]{{\displaystyle \sum _{t=\mathrm{1}}^w}(\widehat{\mathit{x}}(t)-\mathit{x}{(t))}^{\mathrm{2}}}（12）

由于过程模型的输出从第w时刻开始，因此前w时刻过程模型的输出用真值代替，修正后的预测误差m_t的计算式为

m_t=\left\{\begin{array}{l}\mathrm{0},t\in [\mathrm{1},w]\\ \sqrt[]{{\displaystyle \sum _{t=\mathrm{1}}^w}(\widehat{\mathit{x}}(t)-\mathit{x}{(t))}^{\mathrm{2}}},t\in [w+\mathrm{1},K]\end{array}\right.（13）

最后将过程预测误差矩阵\mathit{m}=\left[m_{\mathrm{1}},m_{\mathrm{2}},\cdots ,m_K\right]进行z⁃score标准化得到\widehat{\mathit{m}}。

DPC算法利用欧式距离度量样本间相似性，然而随着样本维数的增加，基于欧氏距离的相似性度量易出现“距离集中”的现象，导致距离度量失去区分性。针对该问题，本文引入\mathrm{C}\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{e}函数^［19］度量高维空间中两样本的相似度，\mathrm{C}\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{e}函数的计算式为

\mathrm{C}\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{e}({\mathit{x}}_i,{\mathit{x}}_j)=\frac{\sum {\mathrm{e}}^{-|{\mathit{x}}_i-{\mathit{x}}_j|}}{d}（14）

式中，{\mathit{x}}_i和{\mathit{x}}_j分别表示第i和j个样本，d为样本维度，\mathrm{C}\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{e}({\mathit{x}}_i,{\mathit{x}}_j)越大，则{\mathit{x}}_i和{\mathit{x}}_j越相似。

相似样本的变化趋势应保持一致，其对应时刻的过程模型应具有相近的预测行为，即过程模型在两相似样本对应时刻的预测误差应接近。因此，本文改进的高维样本距离计算式为

d_{ij}=\frac{\mathrm{1}}{\mathrm{C}\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{e}({\mathit{x}}_i,{\mathit{x}}_j)}+\left|\frac{\mathrm{1}}{{\widehat{m}}_i}-\frac{\mathrm{1}}{{\widehat{m}}_j}\right|（15）

考虑间歇过程数据的时序特征，定义过程数据样本间的相对距离{\delta }_i^{\text{'}}为

{\delta }_i^{\text{'}}=\left\{\begin{array}{l}\underset{{\rho }_j>{\rho }_i}{\mathrm{m}\mathrm{i}\mathrm{n}}(d_{ij}+\left|i-j\right|),{\rho }_i\mathrm{非最}\mathrm{大}\\ \mathrm{m}\mathrm{a}\mathrm{x}(d_{ij}),{\rho }_i\mathrm{最大}\end{array}\right.（16）

以样本采样时间的差值作为时序约束，确保聚类结果在时间上的连续性，从而有效避免了时间上不连续但相关性较高的非相似样本被分在同一个类别中的问题，使得聚类结果更加准确。

DPC直接将{\gamma }_i较大的样本作为模态中心，当高密度区域非模态中心样本的决策值高于低密度区域模态中心样本的决策值时，难以准确选择模态中心。而模态中心数据样本与LSTM过程模型输出间存在因果约束，与过程模型输出偏离较大的数据样本不应被选为模态中心数据样本。因此，本文构建了一种因果关系约束的模态中心选择策略，将每个样本的局部密度、相对距离和预测误差组成新的样本{\mathit{p}}_i=({\rho }_i,{\delta }_i,{{\widehat{m}}_i}^{-\mathrm{1}})，改进后的决策值{\theta }_i的计算式为

{\theta }_i=({\mathit{p}}_i-\overline{\mathit{p}}){\mathit{\Sigma }}^{-\mathrm{1}}({\mathit{p}}_i{-\overline{\mathit{p}})}^{\mathrm{T}}（17）

式中，{\mathit{\Sigma }}^{-\mathrm{1}}为协方差矩阵的逆；\overline{\mathit{p}}为样本均值。

最后将非模态中心样本分配给与其相对距离最小的样本所属类别，完成所有样本的聚类。

1.2 基于DCC的间歇过程模态划分方法

基于DCC的间歇过程模态划分步骤如下：

（1）对历史数据集{\mathit{X}}_i\in {\mathbb{R}}^{K\times J\times I}（I为批次个数，K为采样点个数，J为过程变量个数）进行标准化和累计批次标准化，得到{\tilde{\mathit{X}}}_i\in {\mathbb{R}}^{K\times J\times I}和\overline{\mathit{X}}\in {\mathbb{R}}^{K\times J}；

（2）将{\tilde{\mathit{X}}}_i输入式（10）、（11）训练得到LSTM过程模型，输入式（4）~（8）训练得到DAE模型；

（3）将\overline{\mathit{X}}输入LSTM过程模型，依据式（12）得到\widehat{\mathit{m}}，将\overline{\mathit{X}}输入DAE模型得到\widehat{\mathit{X}}；

（4）依据式（15）得到d_{ij}，代入式（1）和式（16）得到\rho和\delta，再依据式（17）得到决策值\mathit{\theta }；

（5）对\mathit{\theta }降序，将前c个样本点作为模态中心，依据式（16）实现非模态中心点分配，完成模态划分。

间歇过程模态划分流程如图3所示，算法伪代码如下。

算法：基于DCC的间歇过程模态划分

输入：间歇过程的可测过程变量\mathit{X}\in {\mathbb{R}}^{K\times J\times I}，epoch，学习率lr，模态中心数量u。

输出：模态中心c，所有数据点的模态标签label\in {\mathbb{R}}^{K\times \mathrm{1}}。

标准化\mathit{X}获得\tilde{\mathit{X}}\in {\mathbb{R}}^{K\times J\times I}；

Fori=1 to epoch do

\widehat{\mathit{X}}\leftarrow \mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(\tilde{\mathit{X}},{\mathit{W}}_{\mathrm{1}})，\check{\mathit{X}}\leftarrow \mathrm{D}\mathrm{A}\mathrm{E}(\tilde{\mathit{X}},{\mathit{W}}_{\mathrm{2}})；

{\mathit{W}}_{\mathrm{1}}\leftarrow {\mathit{W}}_{\mathrm{1}}-lr\times \nabla loss\left(\widehat{\mathit{X}}-\tilde{\mathit{X}}\right)，{\mathit{W}}_{\mathrm{2}}\leftarrow {\mathit{W}}_{\mathrm{2}}-lr\times \nabla loss\left(\check{\mathit{X}}-\tilde{\mathit{X}}\right)；

End for

沿批处理方向取平均并标准化获得\overline{\mathit{X}}\in {\mathbb{R}}^{K\times J}；

\widehat{\mathit{X}}\leftarrow \mathrm{L}\mathrm{S}\mathrm{T}\mathrm{M}(\overline{\mathit{X}},{\mathit{W}}_{\mathrm{1}})，\check{\mathit{X}}\leftarrow \mathrm{D}\mathrm{A}\mathrm{E}(\overline{\mathit{X}},{\mathit{W}}_{\mathrm{2}})；

Fori=1 to K do

计算各样本的m_i，{\rho }_i，{\delta }_i；

{\mathit{p}}_i\leftarrow \left[{\rho }_i,{\delta }_i,{m_i}^{-\mathrm{1}}\right]；

{\theta }_i=\left({\mathit{p}}_i-\overline{\mathit{p}}\right){\mathit{\Sigma }}^{-\mathrm{1}}{\left({\mathit{p}}_i-\overline{\mathit{p}}\right)}^{\mathrm{T}}；

End for

\mathit{\theta }降序排序得到\tilde{\mathit{\theta }}\in {\mathbb{R}}^{\mathrm{1}\times K}；

c_i\leftarrow {\left\{\tilde{\mathit{\theta }}\right\}}_{i=\mathrm{1}}^u；

Fori=1 to K-u do

{\delta }_i=\mathrm{m}\mathrm{i}\mathrm{n}\left(m_i+\left|i-t_c\right|\right)；

c_i\leftarrow {\mathit{x}}_i,labl{e}_i\leftarrow u If {\delta }_i is \mathrm{m}\mathrm{i}\mathrm{n}\left(\mathit{\delta }\right)；

End for

Return c，lable

2 基于DCC⁃RVM的多模态间歇过程质量变量在线预测

2.1 相关向量机质量变量预测建模

相关向量机通过最大化边缘似然选择相关向量，并估计相关向量的权重建立预测模型，在处理高维数据和小样本数据时表现出色^［20］。

给定输入变量{\left\{{\mathit{x}}_n\right\}}_{n=\mathrm{1}}^N和质量变量{\left\{{\mathit{t}}_n\right\}}_{n=\mathrm{1}}^N，利用RVM建立的质量变量预测模型可表示为

\mathit{t}=\mathit{y}(\mathit{x},\mathit{w})+\epsilon =\left({\displaystyle \sum _{i=\mathrm{1}}^N}{w}_{i}K(\mathit{x},{\mathit{x}}_i)+w_{\mathrm{1}}\right)+\epsilon（18）

式中，\epsilon ~N(\mathrm{0},{\sigma }^{\mathrm{2}})为随机噪声；w_i是模型的权值；K(\mathit{x},{\mathit{x}}_i)为高斯核函数。

\mathit{t}的后验条件概率计算式为

p(\mathit{t}|\mathit{w},{\sigma }^{\mathrm{2}})=(\mathrm{2}\mathrm{\pi }{\sigma }^{\mathrm{2}}{)}^{-\frac{N}{\mathrm{2}}}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{{‖\mathit{t}-\mathit{\Phi }\mathit{w}‖}^{\mathrm{2}}}{\mathrm{2}{\sigma }^{\mathrm{2}}}\right\}（19）

式中，\mathit{w}=(w_{\mathrm{1}},w_{\mathrm{2}},\cdots ,w_{N+\mathrm{1}}{)}^{\mathrm{T}}；\mathit{t}=(t_{\mathrm{1}},t_{\mathrm{2}},\cdots ,t_N{)}^{\mathrm{T}}；\mathit{\Phi }是N\times (N+\mathrm{1})维的矩阵。

为避免模型过拟合，模型参数的约束条件为

p(\mathit{w}|\mathit{\alpha })={\displaystyle \prod _{i=\mathrm{1}}^N}N(w_i|\mathrm{0},{{\alpha }_i}^{-\mathrm{1}})（20）

式中，\mathit{\alpha }为N+\mathrm{1}维超参数。

RVM对每个权值参数单独引入超参数，保证模型的稀疏性。根据贝叶斯公式，未知参数的后验概率为

p(\mathit{w},\mathit{\alpha },{\sigma }^{\mathrm{2}}|\mathit{t})=p(\mathit{w}|\mathit{t},\mathit{\alpha },{\sigma }^{\mathrm{2}})p(\mathit{\alpha },{\sigma }^{\mathrm{2}}|\mathit{t})（21）

p(\mathit{w}|\mathit{t},\mathit{\alpha },{\sigma }^{\mathrm{2}})={(\mathrm{2}\mathrm{\pi })}^{-\frac{N+\mathrm{1}}{\mathrm{2}}}{\left|\mathit{\Sigma }\right|}^{-\frac{\mathrm{1}}{\mathrm{2}}}\mathrm{e}\mathrm{x}\mathrm{p}\left\{-\frac{\mathrm{1}}{\mathrm{2}}{(\mathit{w}-\mathit{\mu })}^{\mathrm{T}}{\mathit{\Sigma }}^{-\mathrm{1}}(\mathit{w}-\mathit{\mu })\right\}(\mathrm{22})

式中，\mathit{\mu }={\sigma }^{-\mathrm{2}}\mathit{\Sigma }{\mathit{\Phi }}^{\mathrm{T}}\mathit{t}；\mathit{\Sigma }=({\sigma }^{-\mathrm{2}}{\mathit{\Phi }}^{\mathrm{T}}{\mathit{\Phi }+\mathit{A})}^{-\mathrm{1}}；\mathit{{\rm A}}=\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}({\alpha }_{\mathrm{1}},{\alpha }_{\mathrm{2}},\cdots ,{\alpha }_N)。

超参数\mathit{\alpha }和方差{\sigma }^{\mathrm{2}}的计算式为

{\alpha }_i^{\mathrm{n}\mathrm{e}\mathrm{w}}=\frac{\mathrm{1}-{\alpha }_i{\mathrm{\Sigma }}_{ii}}{{\mu }_i^{\mathrm{2}}}（23）

({\sigma }^{\mathrm{2}}{)}^{\mathrm{n}\mathrm{e}\mathrm{w}}=\frac{{‖\mathit{t}-\mathit{\Phi }\mathit{\mu }‖}^{\mathrm{2}}}{N-{\displaystyle \sum _{i=\mathrm{1}}^N}(\mathrm{1}-{\alpha }_i{\mathrm{\Sigma }}_{ii})}（24）

式中，\mathit{\Phi }={\left[\varphi ({\mathit{x}}_{\mathrm{1}}),\varphi ({\mathit{x}}_{\mathrm{2}}),\cdot \cdot \cdot ,\varphi ({\mathit{x}}_N)\right]}^{\mathrm{T}}；{\Sigma }_{ii}为\mathit{\Sigma }的第i个对角元素。

给定在线样本{\mathit{x}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}，RVM模型的预测值{\widehat{\mathit{y}}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}及其方差{\widehat{\sigma }}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}^{\mathrm{2}}的计算式为

{\widehat{\mathit{y}}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}={\mathit{\mu }}^{\mathrm{T}}\varphi ({\mathit{x}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}})（25）

{\widehat{\sigma }}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}^{\mathrm{2}}={\sigma }_{\mathrm{M}\mathrm{P}}^{\mathrm{2}}+\varphi ({\mathit{x}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}}{)}^{\mathrm{T}}\mathit{\Sigma }\varphi ({\mathit{x}}_{\mathrm{t}\mathrm{e}\mathrm{s}\mathrm{t}})（26）

2.2 基于DCC⁃RVM的多模态间歇过程质量变量在线预测方法实现

如图４所示，本文首先利用DCC方法划分间歇过程模态；然后依据各模态的切换点和数据集建立多模态RVM质量变量预测模型{\left\{\mathrm{R}\mathrm{V}{\mathrm{M}}_m\right\}}_{m=\mathrm{1}}^M；最后依据在线样本{\mathit{x}}_{\mathrm{n}\mathrm{e}\mathrm{w}}的采样时刻判断{\mathit{x}}_{\mathrm{n}\mathrm{e}\mathrm{w}}所属模态m，{\mathit{x}}_{\mathrm{n}\mathrm{e}\mathrm{w}}时刻模型的预测值为

{\widehat{\mathit{y}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}=\mathrm{R}\mathrm{V}{\mathrm{M}}_m\left({\overline{\mathit{x}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}\right)（27）

式中，{\overline{\mathit{x}}}_{\mathrm{n}\mathrm{e}\mathrm{w}}由{\mathit{x}}_{\mathrm{n}\mathrm{e}\mathrm{w}}标准化得到。

3 实验结果与讨论

3.1 数值仿真

设计具有5个过程变量和2个模态的数值仿真过程验证DCC方法的有效性。共生成5个批次的数据，每批次的样本数为100，前50个样本属于第一模态，后50个样本属于第二模态。该过程表示为

\mathrm{模态}\mathrm{一}:\left\{\begin{array}{l}{\mathit{x}}_{\mathrm{1}}(t)=t^{\mathrm{2}}+\epsilon \\ {\mathit{x}}_{\mathrm{2}}(t)=t^{\mathrm{2}}+t+\epsilon \\ {\mathit{x}}_{\mathrm{3}}(t)=\mathrm{0.1}\times t^{\mathrm{2}}+t+\epsilon \\ {\mathit{x}}_{\mathrm{4}}(t)=\mathrm{0.2}\times \sqrt[]{t}+t^{\mathrm{2}}+\epsilon \\ {\mathit{x}}_{\mathrm{5}}(t)=b+\epsilon \end{array}\right.（28）

\mathrm{模态}\mathrm{二}:\left\{\begin{array}{l}{\mathit{x}}_{\mathrm{1}}(t)=-t^{\mathrm{2}}+\mathrm{0.2}\times t+\epsilon \\ {\mathit{x}}_{\mathrm{2}}(t)=t^{\mathrm{3}}-\mathrm{0.2}\times t+\epsilon \\ {\mathit{x}}_{\mathrm{3}}(t)=t^{\mathrm{2}}+t+\epsilon \\ {\mathit{x}}_{\mathrm{4}}(t)=\sqrt[]{t}+t^{\mathrm{3}}+\epsilon \\ {\mathit{x}}_{\mathrm{5}}(t)=b+\epsilon \end{array}\right.（29）

式中，t表示采样时间；\epsilon ~N(\mathrm{0,0.1})为高斯噪声。

选择sequential constrained fuzzy c‑means（SCFCM）方法^［12］、DPC^［13-14］方法和improved density peaks clustering（IDPC）方法^［16］作为对比方法，采用纯度（Purity）^［21］作为模态划分的评价指标。

Purity={\displaystyle \sum _{i=\mathrm{1}}^k}\frac{m_i}{m}{p}_i（30）

式中，k为模态的数目；m为批次样本的数目；m_i为第i模态样本的数目；p_i为第i模态最多数目的样本占总体样本的比例。Purity反映了正确模态划分的样本数占总样本的比例，其取值范围为［0，1］，值越大表示模态划分结果越好。

不同方法数值仿真的模态划分结果如图5所示，其中绿色虚线为数值仿真的实际模态切换点，红色实线则对应不同方法得到的模态切换点。从图5可看出，SCFCM方法的纯度为0.89；DPC方法的纯度为0.57；图5（c）的IDPC方法将数据划分成两个模态，但纯度与图5（d）方法相比降低了0.05；图5（d）为本文DCC方法，模态切换点与绿色虚线最为接近，纯度达到0.95。DPC没有考虑时序约束，导致模态划分结果出现了多个模态切换点，模态划分准确性较低；SCFCM和IDPC未考虑过程特性与模态中心的因果关系，模态切换点与实际相差较大。本文DCC方法的模态划分结果即Purity值相较于SCFCM、DPC和IDPC分别提高了6.74%、66.67%和5.56%，表明本文模态划分方法具有较高的准确性。

3.2 青霉素发酵过程

青霉素发酵仿真平台Pensim采用Birol机理模型^［22］，该模型不仅包含过程控制变量，如通风率、反应器温度和pH值等，也包含生产过程中一些关键的状态量，如产热量、青霉素浓度和二氧化碳浓度等。

本文利用Pensim仿真平台生成23个批次过程数据，其中20个批次作为训练集，3个批次作为测试集，等间隔采样400个数据点。用于预测模型建模的过程变量如表1所示，其中青霉素浓度为发酵过程待测质量变量。

不同方法的模态划分结果如图6所示。由图6可以看出，由于DPC未考虑样本的时序性，模态划分结果出现时序错乱，而SCFCM、IDPC和DCC方法均加入了时序约束，因此模态划分结果较合理。分别建立各模态的质量变量预测模型，利用网格搜索获得RVM模型的最优核参数，搜索范围为［0.001，0.005，0.01，0.05，0.1，0.5，1］。质量变量预测模型的评价指标为均方根误差（RMSE）^［23］和判定系数（R²）^［24］。RMSE越小、R²越接近1，表明模型的预测精度越高，其计算式分别为

RMSE=\sqrt[]{{\displaystyle \sum _{k=\mathrm{1}}^K}({\widehat{y}}_k-y_k{)}^{\mathrm{2}}/K}（31）

R^{\mathrm{2}}=\mathrm{1}-{\displaystyle \sum _{k=\mathrm{1}}^K}({\widehat{y}}_k-y_k{)}^{\mathrm{2}}/{\displaystyle \sum _{k=\mathrm{1}}^K}({\widehat{y}}_k{-\overline{y})}^{\mathrm{2}}（32）

式中，y_k、{\widehat{y}}_k和\overline{y}分别表示质量变量的真值、预测值和均值。

不同预测模型在各批次上的预测结果如图7所示。可以看出RVM预测模型未考虑间歇过程的多模态特性，预测精度较差。与RVM、DPC⁃RVM、SCFCM⁃RVM和IDPC⁃RVM相比，DCC⁃RVM具有较高的预测精度。由图8可知，RVM模型由于忽略了间歇过程的多模态特性，在质量变量预测浓度为0～0.25 g/L时预测误差超过20%，预测精度较低。与DPC⁃RVM、SCFCM⁃RVM和IDPC⁃RVM模型相比，DCC⁃RVM模型的预测误差较小。

如表2所示，由于SCFCM⁃RVM和DPC⁃RVM的预测模型在模态划分时均采用欧式距离度量样本间的相似性，影响了模态划分结果的合理性，使得模型预测精度低于IDPC⁃RVM和DCC⁃RVM预测模型。本文方法充分考虑模态中心与过程特性的因果关系，合理地将间歇过程划分为多个模态，建立的多模态RVM质量变量预测模型的平均RMSE和R²优于其他模型，有效提高了质量变量预测模型的预测精度。

4 结论

为了提高多模态间歇过程质量变量的预测精度，本文提出了一种基于DCC⁃RVM的多模态间歇过程质量变量在线预测方法。该方法利用DAE提取间歇过程数据的深层特征，降低数据非线性对模态划分的影响，并建立LSTM过程模型，构建因果关系约束的模态中心选取策略，使得模态中心选择更加合理。引入时序约束分配非模态中心样本，避免模态划分结果出现时序错乱。最后，结合各模态数据集建立多模态RVM质量变量预测模型。青霉素发酵过程实验的结果表明，本文建立的质量变量预测模型在3个测试批次上预测的平均RMSE为0.010 4，平均R²为0.999 5，优于其他比较模型，具有较高的预测精度。

参考文献

[1] CHANG P， DING C H. Monitoring multi⁃domain batch process state based on fuzzy broad learning system［J］. Expert Systems with Applications， 2022， 187： 115851.

[2] LIU K， ZHAO X Q， MOU M， et al. Quality prediction of multi⁃stage batch process based on integrated ConvBiGRU with attention mechanism［J］. Applied Intelligence， 2025， 55： 123.

[3] SUN Y N， QIN W， XU H W， et al. A multiphase information fusion strategy for data⁃driven quality prediction of industrial batch processes［J］. Information Sciences， 2022， 608： 81-95.

[4] REN J C， LIU D， WAN Y. VMD⁃SEAE⁃TL⁃based data⁃driven soft sensor modeling for a complex industrial batch processes［J］. Measurement， 2022， 198： 111439.

[5] JI C， MA F Y， WANG J D， et al. Profitability related industrial⁃scale batch processes monitoring via deep learning based soft sensor development［J］. Computers and Chemical Engineering， 2023， 170： 108125.

[6] ZHANG S M， BAO X L. Phase partition and online monitoring for batch processes based on Harris hawks optimization［J］. Control Engineering Practice， 2023， 138： 105554.

[7] CHU F， WANG J C， ZHAO X， et al. Transfer learning for nonlinear batch process operation optimization［J］. Journal of Process Control， 2021， 101： 11-23.

[8] WANG Z J， CHEN B， ZHENG Y， et al. Sparse representation and modified density peak clustering⁃based state identification for multimode processes［J］. Measurement Science and Technology， 2023， 34： 025016.

[9] GUO R X， ZHANG N， WANG J Q， et al. Phase partition and identification based on a two⁃step method for batch process［J］. Transactions of the Institute of Measurement and Control， 2018， 40（16）： 4472-4483.

[10] LU N Y， GAO F R， WANG F L. Sub⁃PCA modeling and on⁃line monitoring strategy for batch processes［J］. AIChE Journal， 2004， 50（1）： 255-259.

[11] NG Y S， SRINIVASAN R. An adjoined multi⁃model approach for monitoring batch and transient operations ［J］. Computers and Chemical Engineering， 2009， 33（4）： 887-902.

[12] LUO L J， BAO S Y， MAO J F， et al. Fuzzy phase partition and hybrid modeling based quality prediction and process monitoring methods for multiphase batch processes［J］. Industrial & Engineering Chemistry Research， 2016， 55（14）： 4045-4058.

[13] YAN H， WANG M Z， XIE J Y. ANN⁃DPC： density peak clustering by finding the adaptive nearest neighbors［J］. Knowledge⁃Based Systems， 2024， 294： 111748.

[14] ZANG W K， LIU X C， MA L L， et al. DPC⁃MFP： an adaptive density peaks clustering algorithm with multiple feature points［J］. Neurocomputing， 2025， 618： 129060.

[15] 刘聪， 谢莉， 杨慧中. 基于改进DPC的青霉素发酵过程多模型软测量建模［J］. 化工学报， 2021， 72（3）： 1606-1615.

[16] LIU C， XIE L， YANG H Z. Multi⁃model soft sensor development for penicillin fermentation process based on improved density peak clustering［J］. CIESC Journal， 2021， 72（3）： 1606-1615. （in Chinese）

[17] 周新杰， 王建林， 艾兴聪， 等. 基于IDPC⁃RVM的多模态间歇过程质量变量在线预测［J］. 化工学报， 2022， 73（7）： 3120-3130.

[18] ZHOU X J， WANG J L， AI X C， et al. IDPC⁃RVM based online prediction of quality variables for multimode batch processes［J］. CIESC Journal， 2022， 73（7）： 3120-3130.（in Chinese）

[19] XU M L， LI Y H， LI R X， et al. EADP： an extended adaptive density peaks clustering for overlapping community detection in social networks［J］. Neurocomputing， 2019， 337： 287-302.

[20] FENG Z K， ZHANG J S， NIU W J. A state⁃of⁃the⁃art review of long short⁃term memory models with applications in hydrology and water resources［J］. Applied Soft Computing， 2024， 167： 112352.

[21] 邵昌昇， 楼巍， 严利民. 高维数据中的相似性度量算法的改进［J］. 计算机技术与发展， 2011， 21（2）： 1-4.

[22] SHAO C S， LOU W， YAN L M. Optimization of algorithm of similarity measurement in high⁃dimensional data［J］. Computer Technology and Development， 2011， 21（2）： 1-4.（in Chinese）

[23] QIU K P， WANG J L， ZHOU X J， et al. Soft sensor based on localized semi⁃supervised relevance vector machine for penicillin fermentation process with asymmetric data［J］. Measurement， 2022， 202： 111823.

[24] NGUYEN T H T， DINH D T， SRIBOONCHITTA S， et al. A method for k⁃means⁃like clustering of categorical data［J］. Journal of Ambient Intelligence and Humanized Computing， 2023， 14（11）：15011-15021.

[25] BIROL G， ÜNDEY C， ÇINAR A. A modular simulation package for fed⁃batch fermentation： penicillin production［J］. Computers and Chemical Engineering， 2002， 26（11）： 1553-1565.

[26] HODSON T O. Root⁃mean⁃square error （RMSE） or mean absolute error（MAE）： When to use them or not［J］. Geoscientific Model Development， 2022， 15： 5481-5487.

[27] 黎宏陶，王振雷，王昕.基于即时学习的改进条件高斯回归软测量［J］.化工学报，2024，75（6）： 2299-2312.

[28] LI H T， WANG Z L， WANG X. Improved conditional Gaussian regression soft sensor based on just⁃in⁃time learning［J］. CIESC Journal， 2024， 75（6）： 2299-2312.（in Chinese）