计及新能源强不确定性的交直流配电网鲁棒强化学习电压控制方法

摘要

针对高渗透强不确定性新能源接入下状态变化快、系统观测数据时效性和准确性差的问题，提出一种基于鲁棒深度强化学习(RDRL)的交直流配电网多时间尺度鲁棒电压控制方法．首先，针对机械式与电子式设备的不同调度特点，建立了交直流配电网快慢时间尺度结合的电压控制模型．其次，设置防御智能体负责对可控设备的调度，设置攻击智能体降低防御智能体获得的奖励，提高控制方法的鲁棒性．基于此，构建状态-对抗性马尔可夫决策过程(SA-MDP)模型，应用分支决斗Q网络(BDQ)、软演员评论家(SAC)和多智能体SAC(MASAC)算法求解该决策问题，防御智能体和攻击智能体按照同步训练异步学习进行交替对抗训练，使防御智能体学习到最优控制策略．最后，仿真算例和扩展算例结果表明，所提方法实现了去模型化快速求解，能够在0.1 s内做出最优决策，平均电压偏差仅为0.41%，同时在5种不同扰动下的鲁棒性得到有效提升．

关键词

交直流配电网 / 不确定性 / 鲁棒性 / 马尔可夫决策过程 / 深度强化学习 / 多时间尺度