基于噪声DQN的智能船舶全局路径规划方法

摘要

为解决基于深度Q网络（DQN）算法进行智能船舶全局路径规划时存在的规划路径距离障碍物过近、拐点过多、大拐角及算法收敛速度较慢等问题，提出基于噪声DQN(Noise-DQN)的全局路径规划方法。首先，为使智能船舶与障碍物保持安全距离，减少路径拐点和大拐角，在传统奖励函数的基础上增加了额外的航向奖励函数、时间奖励函数、拐点奖励函数和安全奖励函数。然后，针对复杂航行场景中算法收敛速度慢的问题，在DQN神经网络的输出层引入参数噪声，提高了DQN网络收敛速度。最后，针对大连和舟山实际海域环境开展仿真研究。结果表明，本文提出的Noise-DQN算法相比传统DQN算法，收敛速度得到了显著提升；规划的全局路径在安全性和经济性方面得到了大幅度提高，更加符合船舶的实际航行需求。研究成果可为智能船舶全局路径规划提供一定的参考。

关键词

智能船舶 / 路径规划 / 深度强化学习 / 深度Q网络(DQN)算法 / 高斯噪声