面向飞行器智能协同控制的分层双时延策略梯度强化学习方法

马宇; 安豆; 林熙祥; 赵建福; 张光华; 牛鸿敏

西安交通大学学报 ›› 2025, Vol. 59 ›› Issue (9) : 88 -98.

马宇, 安豆, 林熙祥, 赵建福, 张光华, 牛鸿敏

作者信息 +

Author information +

文章历史 +

摘要

针对多飞行器智能协同控制中因规模大、环境复杂及资源受限导致的建模与协同难题，以提高决策算法效率为目标，构建了多智能体分层决策架构，提出了智能协同控制方法。首先，将飞行器作为智能体构建协同控制模型；其次，采用部分可观测马尔可夫决策过程模型解决观测信息不全问题；然后，针对博弈环境多变和学习成本问题，提出基于集中训练分布执行的分层双时延策略梯度强化学习方法，融合有模型(model-based)与无模型(model-free)机制高效利用现有博弈环境的演化模型；最后，在分层智能决策框架下，进行典型多飞行器博弈及千次多场景的仿真验证。结果表明，新方法有效解决多飞行器协同控制问题，相较于多智能体强化学习算法MAPPO和QMIX,训练时间分别减少了51.03%和79.03%,算法效率(累积回报)分别提升了37.51%和58.73%,规避机动成功率分别提高了17.63%和39.79%。