基于强化学习的输入受限多智能体系统的同步最优控制

姚颖; 张典锋; 吴昭景

doi:10.13951/j.cnki.37-1213/n.220114

烟台大学学报（自然科学与工程版） ›› 2023, Vol. 36 ›› Issue (1) : 1 -11. DOI: 10.13951/j.cnki.37-1213/n.220114

基于强化学习的输入受限多智能体系统的同步最优控制

姚颖, 张典锋, 吴昭景

作者信息 +

Author information +

文章历史 +

摘要

研究了一类带有输入受限的领导者-追随者多智能体系统的同步最优控制问题。该问题可以看作是一个图博弈问题。基于图博弈理论，首先为每个智能体定义了一个带有非二次型能量函数的性能指标，该性能指标同时依赖于智能体自身及其邻居的信息。然后，利用所定义的性能指标建立耦合的哈密顿-雅克比-贝尔曼(HJB)方程。通过求解HJB方程得到最优控制策略，使得每个追随者同步于领导者且最小化给定的性能指标。由于HJB方程的解析解难于获得，因此借助于强化学习方法利用Actor-Critic(A-C)神经网络在线学习得到近似最优解。通过稳定性分析可以证明所得近似最优控制策略使得闭环系统所有状态一致最终有界，并且收敛到交互纳什均衡。最后，通过仿真实验验证所提同步最优控制算法的有效性。