基于改进PPO算法的混合动力汽车能量管理策略

摘要

为了提高功率分流式混合动力汽车(hybrid electric vehicle, HEV)的经济性，建立了HEV整车的纵向动力学模型，并提出了一种基于策略熵优化的改进近端策略优化(proximal policy optimization, PPO)算法的能量管理策略(energy management strategy, EMS)。在一般PPO算法基础上，通过采用经验池机制简化算法框架，只使用1个深度神经网络进行交互训练和更新，以减少策略网络参数同步的复杂性；为了有效探索环境并学习更高效的策略，在损失函数中增加策略熵，以促进智能体在探索与利用之间达到平衡，避免策略过早收敛至局部最优解。结果表明，这种基于单策略网络改进PPO算法的EMS相比于基于双策略网络PPO的EMS,在UDDS工况和NEDC工况下，均能更好地维持电池的荷电状态(state of charge, SOC),同时等效燃油消耗分别降低了8.5%和1.4%,并取得了与基于动态规划(dynamic programming, DP)算法的EMS相近的节能效果。所提改进PPO算法能有效提高HEV的燃油经济性，可为HEV的EMS设计与开发提供参考。

关键词

车辆工程 / 混合动力汽车 / 能量管理策略 / 深度强化学习 / 近端策略优化