基于深度强化学习的无人车高精度轨迹跟踪控制

摘要

为解决无人车轨迹跟踪中动态适应性弱与精度不足的问题，本文通过将无人车轨迹跟踪问题转化为马尔可夫决策过程并设计强化学习的状态空间、动作空间及奖励函数，提出一种基于深度强化学习的无人车高精度轨迹跟踪控制方法.首先为增强系统对误差变化率的响应能力，在状态空间设计中引入横向位置误差微分补偿与航向角误差微分补偿.然后针对传统奖励机制难以兼顾精准奖惩与动态适配的缺陷，提出双机制奖励函数协同策略：基于平滑阶跃函数的区域化奖惩机制与基于高斯核函数的自适应权重奖励机制.最后通过仿真验证所提方法的有效性.研究结果表明：所提出的深度强化学习轨迹跟踪控制方法在多种工况下均能够保持良好的跟踪精度与系统稳定性.相较于传统控制方法以及原始强化学习算法，改进方法在轨迹跟踪精度、动态响应能力及控制平稳性等方面均表现出更优的综合性能；在随机噪声扰动条件下，仍能够维持稳定的控制效果，验证了所提方法在复杂工况下的鲁棒性与适应性.

关键词

无人车 / 轨迹跟踪 / 强化学习 / 微分补偿机制 / 奖励函数设计

基金资助

国家自然科学基金资助项目（82302842,82560451,82574204）; 非传染性慢性病国家科技重大专项（2024ZD0531200）; 广东省基础与应用基础研究基金资助项目（2023A1515140123）; 福建省自然科学基金资助项目（2024J01120）