基于Dueling-DDQN的船舶智能避碰决策方法

关巍; 王淼淼; 韩虎生; 崔哲闻; 蔡珊珊

doi:10.16411/j.cnki.issn1006-7736.2024.04.003

大连海事大学学报 ›› 2024, Vol. 50 ›› Issue (04) : 22 -30. DOI: 10.16411/j.cnki.issn1006-7736.2024.04.003

基于Dueling-DDQN的船舶智能避碰决策方法

关巍, 王淼淼, 韩虎生, 崔哲闻, 蔡珊珊

作者信息 +

Author information +

文章历史 +

PDF (13628K)

摘要

针对由全球海上船舶数量增长导致的碰撞事故频发问题，提出一种基于深度强化学习(DRL)算法的船舶智能避碰决策模型，基于对抗双深度Q学习(Dueling-DDQN)与船舶领域模型的建立，设计奖励函数时充分考虑了《国际海上避碰规则》(COLREGs)及船舶偏航等要素，以确保避碰决策的合规性与合理性。搭建仿真环境模拟多船会遇场景，并利用神经网络模型处理复杂环境信息，进行模型训练与验证。实验结果表明，相比传统深度Q学习算法，本文模型在收敛速度和稳定性方面均表现出显著优势，能够准确判断会遇局面，并依据COLREGs采取恰当的避碰措施，展现出较高的决策准确性和可靠性，可为船舶在复杂海况下的智能航行提供有效的决策支持。