基于树采样Dueling-DQN的无人机三维避障路径规划方案

摘要

深度Q网络（Deep Q-Network, DQN）已被广泛应用于无人机避障路径规划任务，针对传统DQN采样过程中由于存在样本信息利用不充分，导致收敛速度慢的问题，提出了一种基于树采样Dueling-DQN的无人机三维避障路径规划方案.首先描述了三维空间内的无人机避障规划网络系统模型、仿真环境模型；然后设计了避障算法、电量消耗算法、无人机动作合集等；最后提出结合树采样的Dueling-DQN算法，算法使用二叉树结构存储优先级样本，结合奖励函数、贪婪策略等获得无人机的避障飞行路径.实验结果显示，与传统DQN和DDQN（Double Deep Q-Network, DDQN）相比，方案在获得较优规划路径的同时，取得了最高的平均奖励值.在10种障碍物难度等级的条件下，与A^*、RRT、蚁群算法相比，到达目标点所需的步数最少，且碰撞概率最低.仿真结果验证了所提无人机三维避障路径规划方案在处理三维空间内无人机避障规划问题的有效性.

关键词

无人机 / 三维空间避障 / 路径规划 / 树采样 / DQN算法

基金资助

国家自然科学基金项目(61871412)资助; 安徽省教育厅自然科学重点项目(KJ2021A1314)资助; 安徽省中青年教师培养行动项目(JNFX2023116)资助; 安徽省职业与成人教育学会重点项目(AZCJ2024285)资助