基于双智能体深度强化学习的交直流配电网经济调度方法

摘要

随着大量直流电源和负荷的接入，交直流混合的配电网技术已成为未来配电网的发展趋势．然而，源荷不确定性及可调度设备的类型多样化给配电网调度带来了巨大的挑战．本文提出了基于分支决斗深度强化网络(branching dueling Q-network,BDQ)和软演员-评论家(soft actor critic,SAC)双智能体深度强化学习的交直流配电网调度方法．该方法首先将经济调度问题与两智能体的动作、奖励、状态相结合，建立经济调度的马尔可夫决策过程，并分别基于BDQ和SAC方法设置两个智能体，其中，BDQ智能体用于控制配电网中离散动作设备，SAC智能体用于控制连续动作设备．然后，通过集中训练分散执行的方式，两智能体与环境进行交互，进行离线训练．最后，固定智能体的参数，进行在线调度．该方法的优势在于采用双智能体能够同时控制离散动作设备电容器组、载调压变压器和连续动作设备变流器、储能，同时通过对双智能体的集中训练，可以自适应源荷的不确定性．改进的IEEE33节点交直流配电网算例测试验证了所提方法的有效性．

关键词

交直流配电网 / 深度强化学习 / 经济调度 / 分支决斗深度强化网络 / 软演员-评论家