基于双层优化的规模可扩展海上无人搜救方法

摘要

针对海上多无人机和无人船协同搜救路径规划复杂度随无人机/船和落水人员数量指数增长的问题，本文提出了一种结合任务分配和多智能体强化学习的规模可扩展的搜救方法.首先，依据海上通信受限和落水人员漂流的特性，构建异构无人机/船搜救仿真环境，建立以无人机/船速度为变量，以最大化搜救成功率为目标的优化问题.然后，提出“任务分配–无人搜救”双层优化框架，将大规模搜救问题拆分为任务分配子问题和小规模搜救子问题，采用多智能体近端策略优化算法（Multi-agent proximal policy optimization, MAPPO）在“6机搜救80人”场景中训练无人机/船策略，实现了小规模异构多机协同搜救.最后，提出了一种基于空间信息聚类的任务分配算法（Spatial information clustering, SIC）.通过将SIC和MAPPO嵌入双层优化框架得到算法SIC–MAPPO，在大规模搜救场景中复用小规模场景训练所得策略.仿真结果表明：海面平均流速为0.17 m·s^-1时，在“6机搜救80人”场景中训练MAPPO无人机策略，再将所得策略用于“60机搜救800人”场景中的搜救成功率为13.44%.而所提SIC–MAPPO算法将该搜救成功率提升至93.36%，且中间规模场景中搜救成功率均保持85%以上，呈现对搜救规模的可扩展性.与蚁群算法和贪心算法的对比实验表明，所提SIC–MAPPO算法具备对搜救规模和海洋环境的相对适应性.在海面平均流速为0.85 m·s-1的“60机搜救800人”场景中，SIC–MAPPO达到80.975%的搜救成功率，比蚁群算法高2.425个百分点，比贪心算法高0.95个百分点.

关键词

海上无人搜救 / 异构无人机协同 / 多智能体强化学习 / 近端策略优化 / 任务分配

基金资助

国家重点研发计划资助项目（2018YFC0823900）