基于模型深度强化学习的智能车控制策略研究

摘要

交通环境的多样性以及其他道路使用者之间复杂的交互情形，为自动驾驶系统带来了极具挑战性的决策控制任务。就无模型强化学习方法而言，尽管该方法无需对环境进行精确建模，便能够直接应用于诸多复杂环境之中，然而其仅仅侧重于学习在特定环境下动作与奖励之间的映射关系，并未针对环境的内在结构以及规律展开建模工作。正因如此，当面临未曾训练过的状态时，无模型强化学习方法往往表现出不安全且脆弱的特性。鉴于此，提出了一种基于模型的强化学习算法，旨在对高速公路上车辆的速度以及车道变换进行决策控制。具体而言，在每一个时间步，此方法借助训练阶段所构建的模型，引导蒙特卡罗树搜索(MCTS)算法开展启发式搜索，制定具有前瞻性的策略。通过实验验证可得，基于模型的强化学习算法在未知场景下展现出了更为出色的泛化能力，性能优于无模型算法。而且，相较于基于蒙特卡罗树搜索的在线规划方法，该算法在执行效率方面有所提升，更趋近于达成全局最优的效果。

关键词

自动驾驶 / 深度强化学习 / 蒙特卡洛树搜索 / 决策控制

基金资助

国家自然科学基金项目(51905061)