未知环境下无人机集群智能协同探索路径规划

摘要

随着无人机执行任务复杂性与环境种类多样性的不断提高，多无人机集群系统逐渐得到国内外的广泛关注，无人机路径规划成为当前研究热点.考虑到传统路径规划算法一般需要先验地图信息，在搜索救援等环境未知场景中难以满足，本文提出了一种基于强化学习的未知环境下的无人机集群协同探索路径规划方法.首先，考虑无人机集群协同探索任务特点及动力学、避碰避障等约束条件，基于马尔可夫决策过程，建立无人机集群协同探索博弈模型与评价准则.其次，提出基于强化学习方法的无人机集群协同探索方法，建立基于策略-评判网络的双网络架构，并利用随机地图增强探索方法面对未知环境的泛化能力.每架无人机在探索过程中不断收集地图信息，并基于环境信息和个体间的共享信息调整自身策略，通过迭代训练实现未知环境下的集群协同探索.最后，基于Unity搭建无人机集群协同探索虚拟仿真平台，并与非合作的单智能体算法进行对比试验，验证了本文所提算法在任务成功率、任务完成效率和回合奖励等方面均具有优势.

关键词

无人机 / 集群 / 深度强化学习 / 自主探索 / 路径规划

基金资助

国家自然科学基金资助项目（62373273,62073234,62373268,62022060）