考虑异构运输资源的柔性作业车间集成调度问题

Integrated Scheduling for Flexible Job Shops with Heterogeneous Transport Resources

摘要

针对天车与自动引导小车构成的异构运输资源在柔性作业车间中的集成调度问题，以最小化最大完工时间和总能耗为优化目标，提出一种融合强化学习机制的多目标进化算法。设计了三种混合初始化策略以提升种群质量与多样性；引入强化学习以实现遗传算子参数的自适应控制，构建基于关键路径的混合邻域结构以同时优化最大完工时间和总能耗，引导算法高效探索高质量解空间。最后，通过消融实验与对比实验验证了所提算法在求解异构运输资源柔性作业车间调度问题中的有效性与稳定性。

Abstract

This paper addresses the integrated scheduling problem of heterogeneous transportation resources—comprising an overhead crane and automated guided vehicles—in flexible job shops. A reinforcement learning-based multi-objective evolutionary algorithm is proposed to minimize both makespan and total energy consumption. Three hybrid initialization strategies are designed to enhance population quality and diversity. Subsequently， a reinforcement learning mechanism is introduced for adaptive control of genetic operator parameters， and a critical-path-based hybrid neighborhood structure is constructed to simultaneously optimize makespan and energy consumption， thereby guiding efficient exploration of high-quality solutions. Finally， ablation and comparative experiments validate the effectiveness and stability of the proposed algorithm in solving the heterogeneous-transportation-resource flexible job shop scheduling problem.

Graphical abstract

关键词

柔性作业车间 / 异构运输资源 / 强化学习增强NSGA-Ⅱ算法 / 邻域结构

Key words

flexible job shop / heterogeneous transportation resources / reinforcement learning-based NSGA-II / neighborhood structure

0 引言

随着制造企业对数字化转型和精细化管理的需求不断增多，生产模式正由传统的大批量、单一产品制造转向“多品种、小批量”的柔性化生产^［1］。在大型装备制造、车辆装配和船舶模块化制造等典型生产场景中，工件通常体积大、质量大、搬运频繁，车间物流对运输资源的多样化需求日益突出。

不同运输设备在结构特性、承载能力和运行方式上存在明显差异，其协同调度显著增加了车间调度模型的复杂性。为满足复杂搬运需求，现代制造系统引入自动引导小车（AGV）、天车等多种类型的运输设备，以实现高效、安全、低碳的工件搬运作业。异构运输资源的并行调度为系统带来更高的运输柔性，但也显著增加了调度模型的复杂性。现有研究多将运输过程简化处理，运输时间被模糊化。同时，大多数研究聚焦于同构运输设备的应用，忽略了不同工件运输设备之间的差异性，因此，有必要开展面向异构运输资源的柔性作业车间集成调度问题（integrated scheduling of flexible job shop problem with heterogeneous transportation resources， IFJSP-HTR）研究，以实现科学合理的生产调度和运输资源配置。

目前的研究多集中于单一运输资源或同构运输资源的应用，对异构运输资源的集成调度研究较少。DU等^［2］研究了单台天车运输过程中的8种运输阶段与3种典型机器状态，设计了解码规则以组织运输调度。李西兴等^［3］考虑AGV在装卸与搬运过程中的应用，提出了路径规划与车间调度相融合的优化模型。张国辉等^［4］建立了有限AGV运输资源约束下的的集成调度模型，并分析了AGV数量对调度效果的影响。LIU等^［5］面向具有AGV与可变加工速度约束的柔性车间，构建了混合整数线性规划模型，以同步优化最大完工时间与能耗。李文贵等^［6］针对考虑异构AGV和机器顺序相关准备时间的柔性作业车间生产与物流集成调度问题，提出一种基于变邻域搜索的改进遗传算法。朱光宇等^［7］提出了AGV与机器协同利用绿色能源的调度模型。这些研究正逐步突破同构运输资源的局限，迈向多运输资源的集成调度。

为解决考虑运输资源约束的柔性作业车间调度问题，学者在优化算法上进行了大量探索。王亚昆等^［8］在考虑运输与节能约束的基础上提出一种改进的NSGA-Ⅱ算法。CHEN等^［9］融合Q-learning与NSGA-Ⅱ算法，提高了NSGA-Ⅱ在动态运输资源条件下的适应性。王赟等^［10］引入非线性收敛因子和自适应权重改进了鲸鱼优化算法。刘超等^［11］面向AGV与变速加工问题，设计了可变邻域搜索策略。李俊青等^［12］综合运输、准备时间等约束，以最大完工时间和能耗为优化目标，提出了改进的人工蜂群算法。上述算法研究不断融合启发式机制与自适应控制策略，显著提高了多约束调度问题的求解能力和效率。

与此同时，绿色制造理念的深化推动了节能目标在调度优化中的广泛研究。刘璐等^［13］在兼顾机器与工人资源的调度中，引入学习效应与运输时间约束，提出了生物迁徙优化算法。ZHANG等^［14］将绿色指标融入生产与物流一体化调度，提高了系统整体能效。王玉芳等^［15］将工件的运输时间和模具的设置时间纳入柔性作业车间调度模型，建立了以最小化最大完工时间和能耗为目标的多时间约束柔性作业车间节能调度模型。YAO等^［16］研究了带移动机器人的高能效柔性作业车间调度问题，提出基于知识引导的多目标进化算法（KBMOEA）。张洪亮等^［17］构建了包含运输时间的分布式柔性作业车间绿色调度模型，优化目标涵盖完工时间与总能耗。由此可见，节能调度问题已逐渐成为运输型柔性调度研究的重要方向，调度优化目标正由传统的效率导向，逐步向绿色低碳与智能协同并重转变。

已有研究在运输建模、优化算法与绿色调度等方面取得进展，但在涉及天车与AGV协同运输的复杂制造场景中，如何实现高效、安全、低碳的调度仍面临挑战。异构运输设备在功能、能耗特性及适用场景上的显著差异，使其协同调度模型更加复杂，同构运输资源调度方法难以直接应用。针对上述问题，本文面向异构运输资源，建立以最小化最大完工时间和总能耗为目标的数学模型，并提出融合强化学习机制的多目标进化算法RLNSGA-Ⅱ。算法采用三段式编码和多种初始化策略提高种群质量，并结合关键路径信息，针对最大完工时间与能耗设计了3种邻域结构。实验结果表明，该方法在求解IFJSP-HTR时具有较好的性能和适应性。

1 问题描述与模型建立

1.1 问题描述

IFJSP-HTR是在单台天车与多台AGV集成运输条件下调度工件在多台机器之间完成全部工序的柔性作业车间调度问题。假设车间内有n个工件、m台机器、β个运输设备。每个工件至少有一道工序，每道工序可由若干台可选机器完成，且这些机器完成该工序的加工时间与能耗不同。工件完成一道工序后，若下道工序的机器还在工作，则可暂存于该机器旁的工件缓冲区，直到该机器空闲。根据工件的质量选择合适的运输设备在机器之间转运工件。其中，当工件的首道工序开始前，需要由运输设备将其从原材料区运送至所选加工机器；某道工序完成后，若下一道工序分配在另一些机器上，则需要将工件由当前机器运送至下一道工序对应的机器；若相邻两道工序由同一台机器连续加工，则无需运输。运输过程中，首先根据工件质量及运输任务特征匹配合适的运输设备，然后在运输设备空闲、工件已完工且目标机器满足接收条件时执行转运作业运输完成后，工件方可进入下一道工序加工；若目标机器尚未空闲，则工件可先暂存于目标机器旁缓冲区等待加工。

如图1所示，某车间有工件、加工机器、1个天车、轻载与重载AGV。为保障员工安全，车间进行了功能区域划分，其中，原料区存放运输设备和待加工工件，安全区域供非工作人员通行，低安全区域主要用于工人通行，危险区域限制非操作人员进入。此布局下，不同运输设备具有不同的适用场景和运行特性，天车适用于长距离、高负载运输，AGV用于短距离、快速响应任务。加工过程中，每台运输设备每次只能运输一个工件。运输设备在运输过程中存在多种不同能耗的状态。基于上述生产场景，本文对IFJSP-HTR进行建模，以实现加工与运输资源的高效协同调度。

IFJSP-HTR的相关假设如下：①所有机器和运输设备在零时刻均可用；②所有工件和运输设备的起始位置在原料区；③不考虑运输设备之间的路径冲突与碰撞问题；④每个工件同一时间只能在一台机器上加工；⑤每台机器同一时间只能加工一个工件；⑥一个工件的相邻两道工序在同一台机器上连续完成时，不需要运输作业；⑦每台机器旁边均有存放待加工工件的缓冲区；⑧工件的加工不能中断；⑨一个工件的工序存在前后约束，但工件之间相互独立；⑩能耗包括机器能耗和运输能耗； ⑪运输设备一次只能运输一个工件。

1.2 问题建模

以最小化最大完工时间和最小总能耗为优化目标，其目标函数和约束函数如下：

\mathrm{m}\mathrm{i}\mathrm{n}F=\left(f_{\mathrm{1}},f_{\mathrm{2}}\right)=\left(C_{\mathrm{m}\mathrm{a}\mathrm{x}},\mathrm{E}\right)（1）

C_{\mathrm{m}\mathrm{a}\mathrm{x}}=\underset{i\in I}{\mathrm{m}\mathrm{a}\mathrm{x}}{C}_i（2）

\begin{array}{cc}\sum _{k\in M_{ij}}{x}_{i,j,k}=\mathrm{1}& \forall i\in I,\forall j\in J_i\end{array}（3）

\begin{array}{cc}{B}_{i,j}\ge C_{i,j-\mathrm{1}}& \forall i\in I,\forall j\in J_i\end{array}（4）

\begin{array}{cc}{C}_{i,j}=B_{i,j}+\sum _{k\in M_{i,j-\mathrm{1}}}{T}_{i,j-\mathrm{1},k}^{\mathrm{r}\mathrm{u}\mathrm{n}}{x}_{i,j-\mathrm{1},k}& \forall i\in I,\forall j\in J_i\end{array}（5）

\begin{array}{cc}\sum _{v\in S}{W}_{i,\mathrm{1},v}=\mathrm{1}& \forall i\in I\end{array}（6）

\begin{array}{cc}\sum _{v\in S}{w}_{i,j,v}=\mathrm{1}-\sum _{k\in (M_{i,j-\mathrm{1}}\bigcap M_{i,j})}{y}_{i,j-\mathrm{1},j,k}& \forall i\in I,\forall j\in J_i-\left\{\mathrm{1}\right\}\end{array}（7）

\begin{array}{c}{C}_{i,j-\mathrm{1}}\le S{T}_{i,j,v}({\tau }_{i,j})+M_{\mathrm{m}\mathrm{a}\mathrm{x}}(\mathrm{1}-W_{i,j,v})\\ \forall i\in I,\forall j\in J_i-\{\mathrm{1}\},\forall v\in S\end{array}（8）

\begin{array}{c}\begin{array}{l}E{T}_{i,j,v}({\tau }_{i,j})\le B_{i,j}+M_{\mathrm{m}\mathrm{a}\mathrm{x}}(\mathrm{1}-W_{i,j,v})\\ \forall i\in I,\forall j\in J_i,\forall v\in S\end{array}\end{array}（9）

\begin{array}{cc}{W}_{i,j,v}{\omega }_{i,j}\le Q_v& \forall i\in I,j\in J_i,v\in S\end{array}（10）

\begin{array}{cc}{E}_{i,j}^{\mathrm{p}}=\sum _{k\in M_{i,j}}{x}_{i,j,k}{p}_{i,j,k}^{\mathrm{r}\mathrm{u}\mathrm{n}}{T}_{i,j,k}^{\mathrm{r}\mathrm{u}\mathrm{n}}& \forall i\in I,j\in J_i\end{array}（11）

\begin{array}{cc}{E}_k^{\mathrm{i}}=p_k^{\mathrm{i}\mathrm{d}\mathrm{l}\mathrm{e}}{T}_k^{\mathrm{i}\mathrm{d}\mathrm{l}\mathrm{e}}& \forall k\in M\end{array}（12）

E_{\mathrm{p}}=\sum _{i\in I}\sum _{j\in J_i}{E}_{i,j}^{\mathrm{p}}+\sum _{k\in M}{E}_k^{\mathrm{i}}（13）

式（1）表示双目标优化函数，其中，f₁、f₂分别表示最大完工时间和系统总能耗；式（2）定义了最大完工时间C_max；式（3）确保每道工序只能分配给一台候选机器完成；式（4）表示工序的开始时间不得早于紧前工序的完成时间；式（5）定义工序O_i，j 的完成时间等于工序开始时间与对应完成时间之和；式（6）表示每个工件在进入首道工序前必须由一台设备完成运输；式（7）表示同一工件的相邻两道工序若分配在同一台机器上，则无需运输；式（8）表示工序完成后才能运输；式（9）表示运输完成后工件方可进入对应工序加工，即运输结束时间不得晚于对应工序的开始时间；式（10）表示被分配的运输设备必须满足工件重量要求。

本文的相关变量符号及定义如表1所示。

2 异构运输资源能耗

本文研究考虑一台天车和两种AGV构成的异构运输系统的运输能耗问题。天车状态包括水平方向的空载移动和负载移动，垂直方向的空载上升、空载下降、负载上升和负载下降。AGV在地面负责工件的转运，有空载和负载两种运行状态。运输总能耗为天车和AGV的能耗总和。

天车主要分为龙门架、小车和起重机构，如图2所示，龙门架负责控制Y向的水平移动，小车负责控制X向的水平移动，起重机构负责控制Z向（垂直方向）的移动。考虑工件的当前位置与前一道工序位置、天车的位置，天车运输有6种操作：空载水平移动、空载下降、负载上升、负载水平移动、负载下降、空载上升。

图3描述了一个完整的天车运输过程。最后一个操作完成之后，天车停在机器M₁上方，而工件正在机器M₂上加工。工件的紧后工序若在当前机器上完成，则不需要运输。若工件需移至机器M₃完成紧后工序，则天车需空载运行到机器M₂上方，空载下降抓取工件，然后负载上升（携带工件向上），再负载移动到机器M₃上方，接着负载下降（携带工件向下）并放下工件，最后空载上升，从而完成整个运输过程。机器旁设置工件临时存放区，天车运输过程中不考虑空载待机和负载待机的过程。天车不执行运输任务时，处于关机状态。水平运输时，天车的龙门架与小车同时运动，将产生两种能耗。上述6种操作构成天车运输的完整过程，每种操作对应不同的能耗。

上述过程中的移动时间与运输能源分别为

\begin{array}{cc}{T}_q^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})=\frac{d_{i,j}^{q}f({\omega }_{i,j})}{V}& q\in \{x,y\}\end{array}（14）

\begin{array}{cc}{T}_q^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})=\frac{d_{i,j}^q}{V}& q\in \{x,y\}\end{array}（15）

E_{x,y}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})=p_x^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}{T}_x^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})+p_y^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}{T}_y^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})（16）

E_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{m}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})=p_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}{T}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})（17）

E_{\mathrm{u}\mathrm{p}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})=p_{\mathrm{u}\mathrm{p}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}{T}_{\mathrm{u}\mathrm{p}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})（18）

E_{x,y}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})={\omega }_{ij}(p_x^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}{T}_x^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})+p_y^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}{T}_y^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j}))（19）

E_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})={\omega }_{ij}{p}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}{T}_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})（20）

E_{\mathrm{u}\mathrm{p}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})={\omega }_{ij}{p}_{\mathrm{u}\mathrm{p}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}{T}_{\mathrm{u}\mathrm{p}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})（21）

\begin{array}{l}{E}^c=\sum _{i\in I}\sum _{j\in J_i}(E_{x,y}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})+E_{\mathrm{u}\mathrm{p}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})+E_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{e}\mathrm{m}\mathrm{p}\mathrm{t}\mathrm{y}}({\tau }_{i,j})+\\ E_{x,y}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})+E_{\mathrm{u}\mathrm{p}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j})+E_{\mathrm{d}\mathrm{o}\mathrm{w}\mathrm{n}}^{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}({\tau }_{i,j}))\end{array}（22）

E^a=\sum _{i,j,v}{W}_{i,j,v}(w_{i,j}{p}_v^{load}{T}^{load}({\tau }_{i,j})+p_v^{empty}{T}^{empty}({\tau }_{i,j}))（23）

E=E^p+E^c+E^a（24）

其中，式（14）为天车在水平方向负载状态下的移动时间计算公式；式（15）为天车在水平方向空载状态下的移动时间计算公式；式（16）表示天车水平方向空载移动的运输能耗；式（17）表示天车垂直方向空载下降的运输能耗；式（18）表示天车垂直方向空载上升的运输能耗；式（19）表示天车水平方向负载移动的运输能耗；式（20）表示天车垂直方向负载下降的运输能耗；式（21）表示天车垂直方向负载上升的运输能耗；式（22）表示天车运输总能耗；式（23）表示AGV运输总能耗；式（24）表示总能耗。

3 改进的NSGA-Ⅱ算法

3.1 编码与解码

3.1.1 三段式编码

为描述 IFJSP-HTR 的调度方案，将决策过程划分为机器选择、工序排列和运输设备选择三个子问题，并据此构建三段式编码结构，如图4所示。机器选择编码段和运输设备选择编码段中的每个编码位置均与一道工序一一对应。在这两段编码中，编码值不是机器或运输设备的编号，而是工序在其可选资源集合中的序号，因此，不同位置上的相同编码值不一定对应同一台机器或同一台运输设备。机器选择编码段和运输设备选择编码段右方的白色方框给出了各工序对应的可选资源，蓝色方框表示编码位置最终选定的加工机器或运输设备。工序排列编码段采用基于工件编号的工序序列表达方式，用于确定工序的解码顺序。对于同一工件，其编号在编码序列中的出现次序与该工件各道工序的工艺顺序保持一致。工序排列编码段中工件编号的排列顺序由初始化过程随机生成，编码序列不要求固定以某一工件编号开头。图4中不同颜色的编码块仅用于区分不同工件及其对应工序，便于展示编码结构，不代表额外的决策含义。

（1）机器选择编码。用于确定各工序的加工机器，编码值表示工序在其可选加工机器集合中的序号。图4所示的机器选择编码中，第1、2个基因分别对应工件J₁的工序O₁₁、O₁₂，这两个基因的数值“2”表示工序O₁₁、O₁₂均在对应可选加工机器集合的排序第2的机器上完成。基因3~5分别对应工件J₂的工序 O₂₁、O₂₂、O₂₃，3个基因的数值“2、3、1”表示这三道工序分别在对应可选加工机器集合中的第2、第3和第1台机器上完成。

（2）工序排列编码。该编码段采用基于工件编号的序列表达方式，用于确定工序的解码顺序。工序排列编码中的数字表示工件编号，如“1、2、3”分别对应工件J₁、J₂、J₃。某工件编号出现的次数等于该工件的工序数。图4所示的工序排列编码中，前3个基因“1、2、2”分别表示工件J₁的第1道工序、工件J₂的第1道工序和第2道工序。

（3）运输设备选择编码。该编码段的编码方式与机器选择编码一致，用于确定各工序选用的运输设备。编码值不表示运输设备编号，而表示该工序可选运输设备集合中的序号。各工序的可选运输设备集合根据工件重量及运输设备载重约束预先确定。图4所示的运输设备选择编码中，第1、2个基因分别对应工件J₁的工序O₁₁、O₁₂，这两个基因的数值“1、2”表示工序O₁₁、O₁₂对应可选运输设备集合中的第1个和第2个运输设备，即S₄和S₂。

3.1.2 左插式解码

解码就是将编码形成的初始解转化为可执行的调度方案。该过程需同时考虑作业之间的工序优先级约束和运输资源的调度限制。为尽可能缩短最大完工时间，本文提出一种融合运输约束的左移解码方案，在满足运输时间窗口约束和资源可用性的条件下尽量将操作向前插入，即在满足工序顺序约束、运输时间约束及资源可用性的条件下将该工序尽可能安排在更早的可行位置，以减少调度中的空闲时间，使调度尽可能紧凑，从而减少总空闲时间。左移解码方案的细节如图5所示，若工序O₂₁的完成时间T₂₁<TE_k -TS_k，则可插入；若工序O₂₁的完成时间T₂₁≥TE_k -TS_k，则不能插入。

3.2 种群初始化

为提高初始解的质量，参考文献［18］中的初始化思路，并结合IFJSP-HTR的特点，设计了三种初始化策略：①以完全随机的方式分配工序、加工机器和运输设备；②在随机选取工序与运输设备的基础上优先选择加工时间最短的机器，提高初始调度的效率；③优先调度剩余加工时间最长的工序，但随机选择加工机器与运输设备，以缓解系统调度拥堵。这三种策略将等比混合应用于种群初始化。

3.3 操作算子

本文采用多点交叉与多点变异操作来提高种群多样性。交叉通过重组工序顺序、机器选择和运输设备等基因，实现优良调度结构的继承与组合；变异通过局部扰动三个基因探索天车与AGV的更多组合方式。交叉与变异有助于拓展异构运输资源参与下的调度解空间，提高全局搜索能力。具体方式如下：

（1）交叉算子。如图6所示，针对不同结构的三段编码分别设计交叉方式。对于机器选择编码段，随机选取两个父代个体并互换相同位置处的基因值，生成新的子代个体。机器选择编码段中每个基因位置均与工序一一对应，因此交换操作仅在相同基因位置之间进行，以保证解在交叉后的可行性。对于工序排列编码段，随机选取两个父代个体并随机确定需要保留的工件编号集合。生成子代时，首先保留父代中对应工件编号所在位置及其基因值；随后，将另一个父代中未被保留的基因按其原有出现顺序依次填入子代的空缺位置，从而实现两父代工件编号序列的重组与交换，生成新的工序排列序列。运输设备选择编码段的交叉方式与机器选择编码段相同，在此不再赘述。

（2）变异算子。如图7所示，对于机器选择编码段，在当前解（父代）中随机选择多个变异点并改变其基因，生成新解（子代）。对于工序排序编码段，随机选择多对变异点并交换每对变异点的基因，生成新解。运输设备选择编码段采用与机器选择编码段相同的变异方式，在此不再赘述。

3.4 邻域结构

以邻域结构为主导的局部搜索可显著提高算法的搜索能力^［19］，是高效解决调度问题的关键。笔者为IFJSP-HTR设计了以2个优化目标为导向的3种邻域结构，以保证每一次迭代都能快速找到最优解。关键路径上的扰动操作可有效地改变最大完工时间^［20］。图8所示为IFJSP-HTR的关键路径与关键块。

3.4.1 以最大完工时间最小化为导向的邻域结构

（1）多样式关键块扰动策略NL1。解码当前解，识别关键路径及其关键块。若关键块仅含一个工序，则不作处理。若关键块含有多个工序，则根据关键块在关键路径中的位置采用不同的交换策略：关键块为关键路径上的第一个关键块时，交换该关键块的最后两个工序；关键块为关键路径上的最后一个关键块时，交换该关键块的最前两个工序；中间关键块的工序若少于4个，则交换首尾工序，否则前两个工序互换、后两个工序互换。交换后重新解码，若新解的最大完工时间更短，则接受新解，否则保留原解。上述策略的伪代码如下：

（2）关键工序资源优化策略NL2。首先解码当前解，提取关键路径，并遍历关键路径上的关键工序。关键路径末端工序的完成时间直接影响最终的最大完工时间。某工序若存在多个可选机器，则优先选择加工时间最短的机器，以缩短工序时长。某关键工序在调度中涉及两次运输，即运输设备移动到工件和将工件移动到下一个加工机器位置时，运输过程存在优化空间。若可选运输设备数量大于1，则在排除当前运输设备的基础上随机重新分配其他可用运输设备，以期减少运输耗时。完成资源替换后，重新解码、生成新解，若新解的最大完工时间优于原解，则接受新解，否则保留原解。关键工序资源优化策略的过程伪代码如下：

3.4.2 以能耗最小化为导向的邻域结构

（1）基于运输能耗的局部重分配策略NL3。算法首先解码当前调度解，识别关键路径及关键块，并重点关注关键路径中长度为1的关键块。遍历关键块中的关键工序，两次运输表明运输安排可能存在能耗过高或资源分配不合理的情况，因此从该关键工序的可选运输设备集合中剔除当前设备，构建新的候选集合，并结合可选运输设备的当前负载与运输功率，计算边际运输能耗。选取边际能耗最低的运输设备替换当前运输设备。替换后，重新评估调度方案的总能耗，若新解的能耗更低，则接受该解，否则保留原解。该策略通过优化运输设备的选择，降低关键运输环节的局部能耗，实现整体能耗的降低与运输负载的均衡。基于运输能耗的局部重分配策略的伪代码如下：

3.5 算法流程

首先，采用3种初始化策略生成初始种群。随后，随机选取交叉概率P_c和变异概率P_m。通过交叉和变异操作生成新种群，并基于种群适应度的变化确定当前状态及对应奖励。接着，基于所选算法更新Q表。为进一步提高解的质量，算法引入面向双目标优化的关键路径邻域结构，对当前解进行局部优化，从而加快收敛并避免陷入局部最优。最后，结合局部搜索和全局搜索，获得高质量的非支配解集。图9展示了RLNSGA-Ⅱ算法的整体框架。

4 融合强化学习的参数自适应控制策略

传统遗传算法中，固定的交叉概率P_c和变异概率P_m通常无法兼顾全局搜索与局部收敛^［21］。本文引入强化学习机制，融合SARSA（state-action-reward-state-action）与Q-learning，自适应调整参数以提高算法性能。SARSA 采用在线更新机制，并基于当前策略生成的交互经验进行学习，因此有助于在算法执行初期增强探索能力。Q-learning属于离策略学习方法，通过最大化期望回报更新Q值，在算法执行过程中能引导搜索逐渐向更优区域收敛。SARSA与Q-learning的结合使参数自适应调整兼具SARSA的稳定性与Q-learning的全局性。Q-learning、SARSA的更新公式分别为

Q_{t+\mathrm{1}}^{\mathrm{Q}}(s,a)\leftarrow Q_t^{\mathrm{Q}}(s,a)+\alpha (r+\gamma \underset{a^{\text{'}}}{\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{m}\mathrm{a}\mathrm{x}{Q}_t^{\mathrm{Q}}(s^{\text{'}},a^{\text{'}})-Q_t^{\mathrm{Q}}(s,a))（25）

Q_{t+\mathrm{1}}^{\mathrm{S}}(s,a)\leftarrow Q_t^{\mathrm{S}}(s,a)+\alpha (r+\gamma Q_t^{\mathrm{S}}(s^{\text{'}},a^{\text{'}})-Q_t^{\mathrm{S}}(s,a))（26）

式中：上标Q、S分别表示Q-learning和SARSA；下标t表示当前迭代时刻；下标t+1表示执行动作a后的下一迭代时刻；s表示当前状态；a表示当前状态下选择的动作；s'表示执行动作a后转移得到的下一状态；a'表示在状态s'下依据当前策略实际选择的下一动作；\underset{a^{\text{'}}}{\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{m}\mathrm{a}\mathrm{x}{Q}_t^{\mathrm{Q}}(s^{\text{'}},a^{\text{'}}) 为在状态s'下遍历所有可选动作后的最大状态-动作价值；\alpha为学习率，用于控制新旧经验的融合程度，\alpha \in (\mathrm{0,1})；r 为即时奖励；\gamma 为折扣因子，用于衡量未来奖励的重要性，\gamma \in (\mathrm{0,1})。

采用集合覆盖率（SC）、间距（SP）与多样性（D）分别衡量解集的优越性、分布均匀性和多样化程度，表达式分别为

SC(A,B)=\frac{\left|\left\{y\in B\left|\right.\exists x\in A,x\prec y\right\}\right|}{\left|B\right|}（27）

SP(A)=\frac{\mathrm{1}}{|A|-\mathrm{1}}{\displaystyle \sum _{i=\mathrm{1}}^{|A|}}|r_i-\overline{r}|（28）

D(B)=\frac{\mathrm{1}}{(N-\mathrm{1})\overline{d}}{\displaystyle \sum _{i=\mathrm{1}}^{N-\mathrm{1}}}|d_i-\overline{d}|（29）

式中：A、B为两个不同的解集；x为解集A中的任一解；y为解集B中的任一解；x\prec y表示解x支配解y；\left|B\right|为解集B中解的总数；|A|表示解集A中解的总数；r_i 为解x_i （x_i ∈A）的目标函数（向量）与其在解集A中最近邻解的目标函数（向量）的欧氏距离；\overline{r}为r_i 的均值；N为非支配解数量；d_i 为解集B中两个相邻点的欧氏距离；\overline{d}为d_i 的均值。

并用这三个指标构建综合适应度函数：

Fi{t}_i=W_{\mathrm{1}}SC(P_{\mathrm{1}},P_i)+W_{\mathrm{2}}\frac{SP(P_i)}{SP(P_{\mathrm{1}})}+W_{\mathrm{3}}\frac{D(P_{\mathrm{1}})}{D(P_i)}（30）

式中：下标i表示第i代种群；W₁、W₂、W₃为权重，W₁=W₃=0.4，W₂=0.2；P₁为参考帕累托解集；P_i 为第i代种群得到的帕累托解集，i=2，3，…，G_th；G_th为转换代数。

式（27）的分子表示解集A中的解所支配的解集B中的解的数量。

本文基于群体整体的综合适应度Fit对状态进行离散化^［23］，即将适应度区间［0，2］按照步长0.05划分为40个连续子区间，对应离散状态集合Ω=｛Ω₁，Ω₂，…，Ω₄₀｝，其中，Ω₁、Ω₂、…、Ω₄₀表示40个不同的离散状态，适应度Fit>2对应第41个状态Ω₄₁。

（1）动作定义。强化学习中的“动作”对应交叉概率和变异概率的取值组合。交叉概率和变异概率均离散化为10个取值区间，构成联合动作空间，其中，交叉概率P_c的取值范围是［0.5，1.0］，变异概率P_m的取值范围是［0.01，0.11］，智能体通过选择不同动作，实现遗传算子参数的动态调整，如表2所示。

（2）奖励机制。算法执行过程中，初始阶段采用 SARSA 更新策略，通过比较交叉与变异操作前后种群多样性的变化来构建奖励。种群多样性指标提升时给予正向奖励，否则给予负向奖励，以促进算法对解空间进行更充分的探索。随着算法迭代的推进，后续阶段采用Q-learning 更新策略，以增强对高质量解区域的收敛能力。算法初始阶段的奖励函数定义为

R_{\mathrm{1}}=\left\{\begin{array}{cc}\mathrm{1}& D(A_{\mathrm{1}})/D(B_{\mathrm{1}})>\mathrm{1}\\ -\mathrm{1}& D(A_{\mathrm{1}})/D(B_{\mathrm{1}})\le \mathrm{1}\end{array}\right.（31）

式中：A₁、B₁分别为交叉变异前后的种群。

算法后期迭代的奖励为

R_{\mathrm{2}}=\left\{\begin{array}{cc}\mathrm{1}& SC(A_{\mathrm{1}},B_{\mathrm{1}})>\mathrm{1}\\ -\mathrm{1}& SC({\mathrm{A}}_{\mathrm{1}},{\mathrm{B}}_{\mathrm{1}})\le \mathrm{1}\end{array}\right.（32）

（3）动作选择策略。本文采用经典的ε-greedy策略作为动作选择机制，该策略对应的数学公式为

\pi (s_t,u_t)=\left\{\begin{array}{cc}\underset{u}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}\mathrm{Q}(s_t,u)& \epsilon \le R\\ \mathrm{R}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{o}\mathrm{m}\mathrm{l}\mathrm{y}u\in D& \epsilon >R\end{array}\right.（33）

式中：s_t 表示第t时刻的种群状态；u_t 表示在状态s_t 下选择的参数调节动作；a为动作集合D中的候选动作；ε为贪婪率；R为［0，1］内的随机数。

若ε≤R，则选择当前状态下Q值最大的动作；若ε>R，则随机从动作集合中选取一个动作，以增强策略的探索性，避免陷入局部最优解。

5 仿真实验分析

5.1 实验设计

由于对异构运输的研究较少，因此本文在经典柔性作业车间标准算例MK01～MK10系列的基础上，结合所提模型的异构运输特性与实际制造场景需求，设计并扩展生成10个HMK系列算例。该系列算例将1台天车和两种不同载重的AGV作为运输资源，构成具有代表性的异构运输系统。算例设置了多类运输工具的匹配约束及能耗差异，为异构运输集成调度问题提供更具针对性的基准数据集。首先使用Minitab对算法进行田口正交试验，得出最佳参数组合；然后，展开算法有效性实验；最后，对比算法DQNSGA^［22］、MOEA^［23］、NSGA-Ⅱ^［24］，进一步证明算法的有效性。

算法运行硬件为i5-14600KF CPU和16.0 GB 内存，编程环境为MATLAB2024b。本文相关算例信息可下载提取（下载链接：https：∥pan.baidu.com/s/1CS_BkjTBNSeyvXi_XGcm2g pwd=pih9，提取码： pih9）。

5.2 参数设置

RNSGA-Ⅱ算法包含4个关键参数：学习因子α、折扣因子γ、贪婪因子ε、转换代数G_th，它们直接影响强化学习的性能，故进行以反世代距离（IGD）为评价指标的田口正交试验，其中，α∈｛0.6，0.7，0.8，0.9｝，γ∈｛0.6，0.7，0.8，0.9｝，ε∈｛0.8，0.85，0.9，0.95｝，G_th∈｛50，60，70，80｝，形成的16个参数组合，如表3所示。对个参数组合进行5次重复实验，实验结果的均值如图10所示。IGD越小，对应参数组合的结果越优，最终得出最优参数组合为α=0.9，γ=0.6，ε=0.9，G_th=70。

5.3 消融实验

为验证强化学习自适应参数机制与局部搜索策略的有效性，设计并开展了策略有效性分析。实验采用控制变量法，每次评估一个策略对整体算法性能的影响，其中，ARLNSGA-Ⅱ表示去除RL自适应参数机制的算法版本，BRLNSGA-Ⅱ表示去除局部搜索策略的版本，为评价3种算法的性能，采用IGD与SC进行评估。表4展示了3种算法在10个算例下的IGD评估结果（每个算例独立运行10次所得结果的均值），最优值用红色标识（下同）。结果显示，RLNSGA-Ⅱ在大多数算例中均取得更小的IGD，整体性能最优，验证了所提的两项策略在提升算法收敛性与搜索质量方面的有效性。较小的IGD也反映出RLNSGA-Ⅱ在逼近性与解集分布上的优势。图11为表4所示结果的箱线图。

表5展示了三种策略在10个算例下的SC评估结果，其中，SC括号中的字母R、A和B分别表示RLNSGA-Ⅱ、ARLNSGA-Ⅱ和BRLNSGA-Ⅱ。RLNSGA-Ⅱ在大多数算例中获得了显著大于ARLNSGA-Ⅱ和BRLNSGA-Ⅱ的SC，表明所提的强化学习自适应参数机制与局部搜索策略有助于提升解集的分布均匀性。因此，RLNSGA-Ⅱ不仅在逼近最优解上表现优异，在解的多样性与分布均衡性上也展现出更强的综合优势。

5.4 算法对比实验

在标准算例HMK01～HMK10上，进行RLNSGA-Ⅱ算法与多目标优化算法DQNSGA^［22］、MOEA^［23］和NSGA-Ⅱ^［24］的对比。评估采用IGD与SC分析4种算法的求解效果。

如表6所示，RLNSGA-Ⅱ在大多数算例中取得最小的IGD，整体性能优于其余3种算法，表明算法在收敛性和分布性方面表现良好。为直观呈现算法性能，绘制了表6结果对应的箱线图（图12）。

表7所示为4种算法在10个算例下的SC评估结果，最优值同样以红色标出，其中，SC括号中的字母D、M和N分别表示DQNSGA、MOEA和NSGA-Ⅱ。RLNSGA-Ⅱ在大多数算例中取得较大的SC，优于DQNSGA、MOEA和NSGA-Ⅱ。较大的SC表明解在帕累托前沿上分布均衡，体现了算法在保持解集多样性和均匀性方面的优势，可获得更全面和多样的解。

为全面展示4种算法在调度性能上的差异，绘制了4种算法在HMK01算例下的最大完工时间收敛曲线和能耗收敛曲线。由图13a可看出RLNSGA-Ⅱ在优化初期下降较快，且后续迭代稳定，最终完工时间显著小于DQNSGA、MOEA与NSGA-Ⅱ。图13b显示RLNSGA-Ⅱ在能耗优化方面同样具备更强的收敛能力与优化深度，最终的能耗明显小于其余三种算法。综上可得，RLNSGA-Ⅱ在收敛速度、稳定性、目标优化能力方面具有显著优势，验证了其在多目标优化中的高效性与鲁棒性。图14为对应的最终调度结果甘特图。

6 结论

1）设计了三种初始化策略用于生成初始种群，提高了初始解的多样性和质量，为算法的快速收敛奠定基础。

2） 基于关键路径构造了以最大完工时间最小化为导向的2个邻域结构，以及以能耗最小化为导向的1个邻域结构，有效提高了局部搜索效率和解的优化质量。

3） 通过引入强化学习机制，实现了算法参数的自适应调节，成功平衡了全局探索与局部开发，增强了算法的鲁棒性和稳定性。

4）消融实验和对比实验证明所提算法在调度效率和能耗控制方面均优于传统方法，具有较强的应用推广价值。

本文模型在实际应用中还存在一定局限，如未充分考虑运输设备的故障、路径冲突、充电和维修等随机事件对调度方案的影响。未来将结合深度强化学习提高调度策略的智能化水平和自适应能力，并引入上述随机因素，以更好应对复杂多变的生产现场环境。

参考文献

[1] 祝正宇， 郭具涛， 吕佑龙， 等. 面向柔性作业车间生产调度的深度强化学习方法［J］. 中国机械工程， 2024， 35（11）： 2007-2014.

[2] ZHU Zhengyu， GUO Jutao， YoulongLYU， et al. Deep Reinforcement Learning Method for Flexible Job Shop Scheduling［J］. China Mechanical Engineering， 2024， 35（11）： 2007-2014.

[3] DU Yu， LI Junqing， LI Chengdong， et al. A Reinforcement Learning Approach for Flexible Job Shop Scheduling Problem with Crane Transportation and Setup Times［J］. IEEE Transactions on Neural Networks and Learning Systems， 2024， 35（4）： 5695-5709.

[4] 李西兴， 杨道明， 李鑫， 等. 基于混合遗传鲸鱼优化算法的柔性作业车间自动导引车融合调度方法［J］. 中国机械工程， 2021， 32（8）： 938-950.

[5] LI Xixing， YANG Daoming， LI Xin， et al. Flexible Job Shop AGV Fusion Scheduling Method Based on HGWOA［J］. China Mechanical Engineering， 2021， 32（8）： 938-950.

[6] 张国辉， 蔡翌豪， 李志霄， 等. 考虑有限AGV运输资源的柔性作业车间调度研究［J］. 中国机械工程， 2025， 36（8）： 1811-1823.

[7] ZHANG Guohui， CAI Yihao， LI Zhixiao， et al. Research on Flexible Job Shop Scheduling Problems Considering Limited AGV Transportation Resources［J］. China Mechanical Engineering， 2025， 36（8）： 1811-1823.

[8] LIU Chao， HAN Yuyan， WANG Yuting， et al. Multi-population Coevolutionary Algorithm for a Green Multi-objective Flexible Job Shop Scheduling Problem with Automated Guided Vehicles and Variable Processing Speed Constraints［J］. Swarm and Evolutionary Computation， 2024， 91： 101774.

[9] 李文贵， 姚友杰， 李新宇. 考虑异构AGV的柔性作业车间集成调度［J］. 计算机集成制造系统， 2025， 31（5）： 1539-1554.

[10] LI Wengui， YAO Youjie， LI Xinyu. Integration Scheduling of Flexible Job Shop with Heterogeneous AGVs［J］. Computer Integrated Manufacturing Systems， 2025， 31（5）： 1539-1554.

[11] 朱光宇， 贾唯鸿， 李德彪. 机器与AGV联合利用再生能源的混合流水车间调度问题［J］. 北京航空航天大学学报， 2025， 51（2）： 368-379.

[12] ZHU Guangyu， JIA Weihong， LI Debiao. Hybrid Flow-shop Scheduling Problem Considering Joint of Machine and AGV with Renewable Energy［J］. Journal of Beijing University of Aeronautics and Astronautics， 2025， 51（2）： 368-379.

[13] 王亚昆， 刘应波， 吴永明， 等. 改进NSGA-Ⅱ算法求解考虑运输约束的柔性作业车间节能调度问题［J］. 计算机集成制造系统， 2023， 29（9）： 3028-3040.

[14] WANG Yakun， LIU Yingbo， WU Yongming， et al. Improved NSGA-Ⅱ Algorithm to Solve Energy-saving Scheduling Problem of Flexible Job Shop Considering Transportation Constraints［J］. Computer Integrated Manufacturing Systems， 2023， 29（9）： 3028-3040.

[15] CHEN Rensheng， WU Bin， WANG Hua， et al. A Q-learning Based NSGA-II for Dynamic Flexible Job Shop Scheduling with Limited Transportation Resources［J］. Swarm and Evolutionary Computation， 2024， 90： 101658.

[16] 王赟， 马荣， 唐思源. 基于改进鲸鱼优化算法的AGV柔性作业车间多目标优化调度［J］. 现代制造工程， 2024（7）： 17-25.

[17] WANG Yun， MA Rong， TANG Siyuan. An IWOA for Multi-objective Optimization Scheduling of AGV Flexible Job Shop［J］. Modern Manufacturing Engineering， 2024（7）： 17-25.

[18] 刘超， 韩玉艳， 王玉亭， 等. 可变邻域搜索算法优化多目标变加速FJSP-AGVs［J/OL］.控制工程，2024： 1-12. （2024-09-09）［2025-06-04］.

[19] LIU Chao， HAN Yuyan， WANG Yuting， et al. Optimizing Multi-objective FISP-AGVs with Variable Processing Speed Using Variable Neighborhood Search Algorithm［J/OL］. Control Engineering of China， 2024： 1-12. （2024-09-09）［2025-06-04］.

[20] 李俊青， 杜宇， 田杰， 等. 带运输资源约束柔性作业车间调度问题的人工蜂群算法［J］. 电子学报， 2021， 49（2）： 324-330.

[21] LI Junqing， DU Yu， TIAN Jie， et al. An Artificial Bee Colony Algorithm for Flexible Job Shop Scheduling with Transportation Resource Constraints［J］. Acta Electronica Sinica， 2021， 49（2）： 324-330.

[22] 刘璐， 宋海草， 姜天华， 等. 基于改进生物迁徙算法的双资源柔性作业车间节能调度问题［J］. 计算机集成制造系统， 2024， 30（9）： 3125-3141.

[23] LIU Lu， SONG Haicao， JIANG Tianhua， et al. Modified Biology Migration Algorithm for Dual-resource Energy-saving Flexible Job Shop Scheduling Problem［J］. Computer Integrated Manufacturing Systems， 2024， 30（9）： 3125-3141.

[24] ZHANG Fayong， LI Rui， GONG Wenyin. Deep Reinforcement Learning-based Memetic Algorithm for Energy-aware Flexible Job Shop Scheduling with Multi-AGV［J］. Computers & Industrial Engineering， 2024， 189： 109917.

[25] 王玉芳， 华晓麟， 章殿清， 等. 基于混合Jaya算法的多时间约束柔性作业车间节能调度［J］. 控制工程， 2025， 32（6）： 1074-1085.

[26] WANG Yufang， HUA Xiaolin， ZHANG Dianqing， et al. Energy-efficient Scheduling of Flexible Job-shop with Multiple Temporal Constraints Based on Hybrid Jaya Algorithm［J］. Control Engineering of China， 2025， 32（6）： 1074-1085.

[27] YAO Youjie， WANG Qingzheng， WANG Cuiyu， et al. Knowledge-based Multi-objective Evolutionary Algorithm for Energy-efficient Flexible Job Shop Scheduling with Mobile Robot Transportation［J］. Advanced Engineering Informatics， 2024， 62： 102647.

[28] 张洪亮， 徐公杰， 鲍蔷， 等. 考虑运输时间的分布式柔性作业车间绿色调度［J］. 中国机械工程， 2022， 33（21）： 2554-2563.

[29] ZHANG Hongliang， XU Gongjie， BAO Qiang， et al. Distributed Flexible Job Shop Green Scheduling with Transportation Time［J］. China Mechanical Engineering， 2022， 33（21）： 2554-2563.

[30] 张国辉， 张得雨， 闫少峰， 等. 考虑工人协作与学习效应的柔性作业车间调度［J］. 计算机集成制造系统， 2024， 30（12）： 4369-4385.

[31] ZHANG Guohui， ZHANG Deyu， YAN Shaofeng， et al. Flexible Job Shop Scheduling with Worker Collaboration and Learning Effect［J］. Computer Integrated Manufacturing Systems， 2024， 30（12）： 4369-4385.

[32] ZHANG Guohui， YAN Shaofeng， SONG Xiaohui， et al. Evolutionary Algorithm Incorporating Reinforcement Learning for Energy-conscious Flexible Job-shop Scheduling Problem with Transportation and Setup Times［J］. Engineering Applications of Artificial Intelligence， 2024， 133： 107974.

[33] 周豪， 张超勇， 刘辉， 等. 改进Jaya算法求解混合流水车间调度问题［J］. 中国机械工程， 2024， 35（8）： 1462-1471.

[34] ZHOU Hao， ZHANG Chaoyong， LIU Hui， et al. Improved Jaya Algorithm for Solving HFSPS［J］. China Mechanical Engineering， 2024， 35（8）： 1462-1471

[35] 张国辉， 李志霄， 张利平， 等. 基于强化学习协同进化算法求解柔性作业车间节能调度问题［J］. 计算机应用研究， 2025， 42（7）： 2039-2047.

[36] ZHANG Guohui， LI Zhixiao， ZHANG Liping， et al. Reinforcement Learning Based Co-evolutionary Algorithm for Solving Flexible Job Shop Energy Efficient Scheduling Problem［J］. Application Research of Computers， 2025， 42（7）： 2039-2047.

[37] TANG Hongtao， XIAO Yu， ZHANG Wei， et al. A DQL-NSGA-III Algorithm for Solving the Flexible Job Shop Dynamic Scheduling Problem［J］. Expert Systems with Applications， 2024， 237： 121723.

[38] ZHANG Qingfu， LI Hui. MOEA/D： a Multiobjective Evolutionary Algorithm Based on Decomposition［J］. IEEE Transactions on Evolutionary Computation， 2007， 11（6）： 712-731.

[39] DEB K， PRATAP A， AGARWAL S， et al. A Fast and Elitist Multiobjective Genetic Algorithm： NSGA-II［J］. IEEE Transactions on Evolutionary Computation， 2002， 6（2）： 182-197.

基金资助

国家自然科学基金(52575603)

河南省重点研发专项(231111221200)

河南省重大科技专项(241100220200)

河南省自然科学基金(252300420985)