改进DDPG的磁浮控制研究

摘要

针对部分传统磁浮控制算法依赖精确模型、适应性差的问题，提出一种基于强化学习的改进型深度确定性策略梯度(Improvement deep deterministic policy gradient, IDDPG)控制方法.首先，搭建电磁悬浮系统数学模型并分析其动态特性.其次，针对传统DDPG算法在电磁悬浮控制中的不足，设计一种分段式反比例奖励函数，以提升稳态精度和响应速度，并对DDPG控制流程进行分析及优化，以满足实际部署需求.最后，通过仿真与实验，对比分析电流环跟踪、奖励函数、训练步长以及模型变化对控制性能的影响.结果表明：采用分段式反比例奖励函数的IDDPG控制器在降低稳态误差和超调的同时，显著提升系统的响应速度，且优化后的控制流程适用于实际系统部署.此外，不同模型下使用相同参数稳态误差均低于5%，取得基本一致的控制效果，远优于滑模控制(Sliding mode control, SMC)的31%和比例–积分–微分控制(Proportional–Integral–Derivative control, PID)的12%，验证了IDDPG在不依赖精确模型情况下的良好适应性.同时，抗扰实验中，IDDPG相比PID超调减少51%，调节时间缩短49%，具有更强抗扰性.

关键词

DDPG / 奖励函数 / 控制指标 / 系统建模 / 磁浮系统 / 学习步长

基金资助

国家重点研发计划资助项目（2023YFB4302100）; 江西省重大科技研发专项资助项目（20232ACE01011）; 江西省重点实验室资助项目（2020SSY050）