基于强化学习的晶圆炉管区设备维护调度联合优化方法

摘要

针对晶圆炉管区加工过程中晶圆动态到达、不同工艺类型晶圆不相容和设备预测性维护等问题，以最小化最大完工时间和总拖期为目标，考虑炉管区组批、设备维护选择和批次排序，构建炉管区设备维护-调度联合优化的数学模型。提出基于多目标近端策略优化(MPPO)强化学习的实时调度优化方法。设计组批智能体，根据动态到达的晶圆信息，实现相同工艺类型晶圆的组批；设计设备智能体，根据设备的预维护区间，提出一种预维护区间维护调度联合优化策略，依据该优化策略维护设备并确定维护开始时间；设计排序智能体，根据批次的紧急程度和晶圆不同层尽量在同一设备加工的约束，进行批次排序加工决策。引入长短期记忆网络(LSTM)对炉管区调度信息进行记忆和预测，排序智能体进行排序时，读取组批和设备智能体的决策，并将晶圆加工结束时间反馈给组批和设备智能体，实现智能体之间的交互。根据企业实际生产情况进行案例设计，并与其他算法进行比较，验证了所提MPPO算法的有效性，其具有良好的综合调度性能。

关键词

强化学习 / 炉管区 / 设备预维护 / 批处理设备 / 多目标优化