用于移动机器人路径规划的改进强化学习算法

摘要

针对传统Q-learning算法规划出的路径存在平滑度差、收敛速度慢以及学习效率低的问题，本文提出一种用于移动机器人路径规划的改进Q-learning算法。首先，考虑障碍物密度及起始点相对位置来选择动作集，以加快Q-learning算法的收敛速度；其次，为奖励函数加入一个连续的启发因子，启发因子由当前点与终点的距离和当前点距地图中所有障碍物以及地图边界的距离组成；最后，在Q值表的初始化进程中引入尺度因子，给移动机器人提供先验环境信息，并在栅格地图中对所提出的改进Q-learning算法进行仿真验证。仿真结果表明，改进Q-learning算法相比传统Q-learning算法收敛速度有明显提高，在复杂环境中的适应性更好，验证了改进算法的优越性。

关键词

强化学习 / 路径规划 / 启发式奖励函数 / Q值初始化

基金资助

国家自然科学基金民航联合研究基金重点项目（U2033208）; 天津市研究生科研创新项目（2021YJSS122）