基于深度强化学习的智能制造多智能体协作的通信与任务调度研究

摘要

针对智能制造环境下基于任务调度的多智能体结构化协作通信存在跨组通信受限、个性化目标缺失以及无意识通信的问题，提出一种基于深度强化学习与目标导向的可学习多智能体结构化动态协作通信模型及策略，通过结合深度Q学习（Deep Q-Network,DQN）与迪杰斯特拉算法，在多智能体结构化通信（Learning Structural Communication,LSC）中引入目标导向通信（Goal-Oriented Communication,GO），弥补了当前多智能体结构化通信领域智能体缺乏自主通信意识的缺陷.基于提出的协作通信模型，给出一种基于深度强化学习的多智能体动态作业调度模型，在该模型中，将每个加工机器分别与一个智能体配对，通过一个工件管理智能体来记录全部工件的状态信息并监测与工件有关的动态事件的到来.通过在任务调度模型中加入GOLSC(Goal-Oriented LSC)算法，研究作业实例的总拖延率、平均拖延时间的变化，设计静态分配规则和动态调度规则用于机器智能体选择未完成的工件，进一步实现智能体协作效率与生产响应能力的协同优化.随着智能体规模不断增加，和传统的无通信或带有结构通信的多智能体生产调度模型相比，平均拖延时间分别减少20%～70%和10%～40%，平均带宽占用减小10%～15%，有效解决了传统智能制造车间中对于不同类动态事件缺乏针对性和智能体之间缺乏交互性而导致的生产效率下降问题.

关键词

智能制造 / 深度强化学习 / 多智能体协作 / 结构化通信 / 动态作业车间调度

基金资助

中央引导地方科技发展资金(YDZJSX20231A044); 智能信息处理山西省重点实验室开放课题(CICIP2023001)