基于强化学习的路径跟踪控制方法

摘要

针对线性二次调节器(linear quadratic regulator, LQR)在复杂工况下跟踪精度低的问题，提出一种有效的控制器来实现智能车辆路径跟踪控制系统的参数自适应整定。基于车辆误差动力学模型和固定参数的线性二次调节LQR控制器，搭建带预测功能的LQR路径跟踪控制器(prediction LQR,PLQR)。基于Actor-Critic强化学习架构，设计PLQR控制器参数自整定的深度确定性策略梯度(deep deterministic policy gradient prediction LQR,DDPG＿PLQR)模型，并构造以跟踪精度和稳定性为目标的奖励函数。同时，为减少DDPG＿PLQR的计算负担并提高其泛化能力，在强化学习整定PLQR参数的基础上，进一步设计了一种基于数据驱动的控制机制策略。通过MATLAB/SimuLink和CarSim联合仿真平台进行仿真实验。结果表明，将强化学习方法应用于PLQR控制器的参数自整定，能够实现高精度的路径跟踪控制，且在变工况条件下展现出优异的自适应能力。

关键词

路径跟踪 / 线性二次调节器 / 强化学习 / 自适应 / 高斯过程回归