基于Transformer的业务流程剩余时间预测及编码方式评估方法

摘要

业务流程剩余时间预测对于预防流程超时风险有着重要意义。深度学习模型的应用显著提高了剩余时间预测的准确率，但由于输入信息单一，难以发挥模型自身优势；此外，有效的活动编码包含丰富的上下文关系，有助于提升预测效果。针对上述问题，本研究提出一种基于Transformer的业务流程剩余时间预测方法。首先，基于Transformer网络架构构建剩余时间预测模型，选取活动和时间属性作为模型的输入特征。然后，为捕获业务流程活动间的时序关系，选取4种主流自然语言处理领域的编码方式训练活动的表示向量，以编码方式与剩余时间预测任务的匹配性、编码维度两个角度对4种编码方式进行评估。最后，采用6个真实事件日志进行实验测试，结果表明本研究所提方法与已有方法相比预测准确率显著提升，采用连续词袋模型方式训练的活动编码取得了更好的预测效果，并且基于不同规模的事件日志推荐了适用的编码维度。

关键词

Transformer / 业务流程 / 剩余时间预测 / 深度学习 / 编码方式

基金资助

国家自然科学基金项目(62472264,52374221); 山东省泰山学者工程专项基金项目(tsqn201909109,ts20190936); 山东省自然科学基金优秀青年基金项目(ZR2021YQ45); 山东省高等学校青创科技计划创新团队项目(2021KJ031)