基于深度强化学习的AUV路径规划研究

摘要

对于海洋环境下的自主水下航行器(AUV)路径规划，除了规划路径长度和安全避障外，还需要关注洋流对规划路径的影响.因此，提出了改进的D3QN路径规划算法.首先将包含洋流信息的连续状态序列输入LSTM中，提取状态随时间变化规律及洋流对AUV移动的影响；其次设计综合奖励函数，同时考虑路径长度、避障、步数和利用洋流降低能耗不同因素；最后为了能学习到更长期的规划和探索，采用N-step TD更新网络参数.仿真实验结果表明，所提算法在考虑避障和利用洋流双重作用的路径规划任务中，具有高效的路径规划能力.

关键词

强化学习 / 路径规划 / 自主式水下航行器 / LSTM / D3QN

基金资助

国家自然科学基金资助项目(62263031,62303394); 新疆维吾尔自治区自然科学基金资助项目(2022D01C694)