基于Q学习的分布式电源选址定容

Distributed Generation Siting and Capacitation Based on Q-learning

摘要

西藏电网网架结构薄弱，供电半径大，使得对偏远地区的供电极不稳定。但其太阳能和水资源丰富，合理利用光伏和水电等地分布式电源（distributed generation， DG）为实现偏远地区用户平稳供电提供了可能。本文以西藏某地区电网实际运行新能源场站为研究对象，提出了西藏地区主动配电网中分布式电源的选址和容量模型，目标是使包括投资、操作和维护成本在内的总成本最小化。本文采用MATLAB平台和MATPOWER求解器进行求解。对负荷和分布式电源的不确定性进行了情景分析。为了分析非网络方案对最终规划结果和总投资的影响。通过典型IEEE 33实例验证了所提出的方法，比较分析了考虑主动管理和不考虑主动管理的规划结果，以及考虑环境效益和不考虑环境效益的规划结果，最终得到基于Q学习的分布式电源选址定容规划方案。为西藏地区后续的分布式电源系统建设提供了一些借鉴经验。

Abstract

Distributed generation plays an important role in environmental issues and sustainable development worldwide. In this paper, a site selection and capacity model for distributed power within the active distribution networks is proposed. The goal is to minimize the overall costs, including investment, operation and maintenance costs. In this paper, the research employs the MATLAB platform and MATPOWER solver for solution and conducts scenario analyses to account for uncertainties in load and distributed power. In order to assess the impact of non-network scenarios on the final planning results and total investment, the study utilizes a typical IEEE 33 case for validation. The comparison of planning outcomes considering active management versus those without it, as well as considering environmental benefits versus disregarding them, is performed. Ultimately, the study presents a distributed power generation site selection and capacity planning scheme based on Q-learning, providing valuable insights for the development of distributed power systems in the Tibet region.

Graphical abstract

关键词

Q学习 / 配电网 / 分布式电源 / 选址定容 / 强化学习

Key words

Q-learning / distribution network / distributed power supply / site selection and capacity / reinforcement learning

1 引言

伴随经济社会的不断发展，化石燃料的大量利用导致了严重的环境问题，随着地球上化石能源的逐渐枯竭，人类社会对清洁高效的可再生能源需求愈来愈强烈，含分布式电源(distributed generation, DG)的主动配电网由于对可再生能源有着良好的兼容性，被认为是未来智能电网的重要组成部分^[1,[2]。

西藏地区拥有丰富的水能、太阳能和风能资源，清洁能源开发需求快速增长，多种能源资源的协同发展，将助力西藏地区电力供应的可持续发展。同时，由于地广人稀，电力传输线路较长，存在输电损耗和线路故障的风险。分布式电源可以在电力负荷点附近建设电源，降低输电损耗和供电线路故障对供电可靠性的影响，确保西藏电网电力地供应稳定。但由于DG出力的波动性、间歇性以及随机性等特点，对西藏地区配电网可靠性造成极大的冲击，通过对DG在西藏电网中的位置和容量进行优化配置可以有效缓解上述问题^[3]。储能装置由于具有调整能量出力时序的巨大优势，在保证电网安全稳定运行方面有着巨大潜力，这对储能系统容量配置及选址规划也提出了一定要求。因此，优化西藏地区主动配电网中DG与储能的接入位置与容量大小对降低运行成本、提升西藏电网运行稳定有着重要意义。

目前已有大量学者针对分布式电源的选址定容问题做了大量研究，研究表明，配电网运行性能与DG的接入位置及接入容量密切相关。DG选址与容量规划是一个多目标优化问题。根据不同的目标或解决方案，可以得到不同的选址和容量规划方案。文献^[4]提出了一种根据概率电压规划配电网的思路，解决了配电网中分布式电源随机出力与负荷随机变化的问题，以最小运行成本作为目标函数进行配电网扩展规划，但规划目标略显单一。文献^[5,6]主要考虑了配电网运行过程中的环境效益，建立了计及配电网运行费用、配电网电压稳定以及碳排放量等多目标的配电网优化配置模型。文献^[7]主要解决了分布式电源出力波动的问题，建立了光照强度、光照时间、风速以及负荷之间的波动相关性模型，在年时间尺度下优化配电网配置，达到了年运行总费用最低的运行目标。文献^[8]在此基础上重现考虑了配电网的运行安全性，对分布式电源的类型、接入位置及容量配置进行重新设计并建立了相关模型。

而储能单元在配电网的运行调度中也是一个重要的组成部分。文献^[9]在分布式电源中加入了储能单元，为了让储能发挥对配电网的主动支撑作用，以功率主动调节性能、电能质量以及削峰填谷需求为主要优化目标建立了储能优化配置模型。文献^[10]通过对储能单元的选址定容，实现了配电网年缺电量最小以及运行成本最低的规划目标。文献^[11]针对负荷的峰谷特性与DG最大出力时刻不匹配的问题，给出了利用储能优化配电网经济运行的规划模型，解决了电压越线问题的同时也保证了运行的经济性。以上研究虽然对储能的选址定容进行了规划设计，但都是在DG已确定的前提下。

在上述研究基础上，本文在分析了西藏地区配电网系统总负荷的基础上，根据某地区电网实际运行新能源场站为研究对象，建立分布式电源最大容量的数学模型；在分布式电源数量、位置和单台电源容量、电源类型不确定的情况下，创建网络损耗最小、分布式电源投资和运维成本最小的为目标。利用Q学习算法对西藏电网中部分分布式电源接入位置与容量进行规划设计，并利用IEEE33节点系统进行优化，验证本文所提的针对西藏电网的分布式电源选址定容模型的合理性。

2 含分布式电源的配电网规划运行模型

2.1 含分布式电源的配电网规划运行模型目标函数

根据西藏某地区电网实际运行新能源场站特点，本文共涉及四种分布式电源： MT(微型涡轮发电机，MT)、WG(风力发电机，WG)、PV(光伏发电，PV)、BS(蓄电池，BS)。基于负荷和分布式电源的时间序列特征，建立了考虑环境成本的多类型分布式电源分配规划模型。

以上四种分布式电源具有较强的代表性：微型涡轮发电机MT容量是额定的，输出是可控的;风力发电WG和光伏发电PV代表一种容量随时间变化的分布式电源，储能蓄电池BS容量和功率是额定的，只要有电能储存就可以供应。本文假设储能蓄电池在一定功率水平下可以连续运行12小时，充满电后可以连续运行6小时。根据计算，确定微型涡轮发电机MT、风力发电WG、光伏发电PV、储能蓄电池BS的容量分别为45%、20%、10%、25%。

含分布式电源的西藏地区主动配电网规划运行模型目标函数主要包括设备投资和运行维护成本C_{DG}、燃料成本C_f、节省购电成本C_b和环保转换成本C_e。经济数学模型描述如下：

\mathrm{m}\mathrm{i}\mathrm{n}C=C_{DG}+C_f+C_{loss}-C_e-C_b（1）

C_{DG}={\displaystyle \sum _{i=\mathrm{1}}^{n_{DG}}}\left(r_{\mathrm{1}\_i}+r_{\mathrm{2}\_i}\right)\times P_{DG\_i},C_f=C_{unit}{\displaystyle \sum _{t=\mathrm{1}}^{\mathrm{8760}}}\sum _{i\in N_{mt}}{G}_{mt,i}(t)（2）

C_e=\left({\displaystyle \sum _{i=\mathrm{1}}^{n_{DG}}}{P}_{DG\_i}\times T_{DG\_i}\right)\times C_{pe},C_b=\left({\displaystyle \sum _{i=\mathrm{1}}^{n_{DG}}}{P}_{DG\_i}\times T_{DG\_i}\right)\times C_{pb}（3）

式中，n_{DG}是用于安装分布式发电机的节点数；r_{\mathrm{1}\_i}为单位容量成本（按各类分布式发电机的比例换算）（10000元/ kW）; r_{\mathrm{2}\_i}是单位容量分布式电源的运行维护成本（按各类分布式发电机的5%换算）。C_{unit}为燃油年成本，单位为万元；G_{mt,i}(t)为微型燃气涡轮发电机MT的单位小时燃油成本（成本为60000元/MWh）。C_{pe}表示火电机组的环保成本（元/kWh）, T_{DG\_i}为藏中电网某主力电站的年最大利用小时数（单位为小时）。C_{pb}表示单位电价（元/kWh）。

2.2 含分布式电源的配电网规划运行模型约束条件

\left\{\begin{array}{l}{P}_{DGi}-P_{Li}=e_i\sum _{j\in i}(G_{ij}{e}_{ij}-B_{ij}{f}_j)+f_i\sum _{j\in i}(G_{ij}{f}_j+B_{ij}{e}_j)\\ Q_{DGi}-Q_{Li}=f_i\sum _{j\in i}(G_{ij}{e}_j-B_{ij}{f}_j)+e_i\sum _{j\in i}(G_{ij}{f}_j+B_{ij}{e}_j)\end{array}\right.（4）

P_{ij}\le P_{ij}^{\mathrm{m}\mathrm{a}\mathrm{x}},\mathrm{0}\le P_{DG.i}\le P_{DG.i}^{\mathrm{m}\mathrm{a}\mathrm{x}},\mathrm{0}\le P_{\mathrm{B}\mathrm{S}\cdot j}\le P_{\mathrm{B}\mathrm{S}\cdot j}^{\mathrm{m}\mathrm{a}\mathrm{x}}（5）

式中，P_{DGi}和Q_{DGi}分别表示节点i的有功功率注入和无功功率注入，e_{ij}表示节点电压，f_j为功角，G_{ij}和B_{ij}分别为节点导纳矩阵的实部和虚部。P_{ij}为通过线路ij的功率，P_{ij}^{\mathrm{m}\mathrm{a}\mathrm{x}}表示线路ij上的功率传输上限，P_{DG.i}^{\mathrm{m}\mathrm{a}\mathrm{x}}表示该机组的最大输出功率，P_{\mathrm{B}\mathrm{S}\cdot j}表示第j个分布式发电机组的输出功率，P_{\mathrm{B}\mathrm{S}\cdot j}^{\mathrm{m}\mathrm{a}\mathrm{x}}表示该储能蓄电池的最大输出功率。

3 基于Q学习的西藏地区分布式电源配置

3.1 Q学习算法流程

Q学习（Q-learning）最初是一种在无限视界决策问题中估计最优决策策略的增量算法，现在是广泛应用于统计学和人工智能中的一类强化学习方法。

最优顺序决策在许多学科中引起了广泛的兴趣并得到多方面的应用，顺序决策的目标是采取行动以使预期累积效用最大化。在连续决策设置中确定最优决策策略的一种方法是估计最优Q函数，它测量每个当前可用决策的预期累积效用，假设决策者将在未来遵循最优决策策略。我们关注遵循这种方法的最优顺序决策，一般把这类方法称为Q学习。

当代Q-learning在统计学中的应用有两个主线：第一种是动态规划，由Bellman提出，后来通过带函数逼近器的近似动态规划适应了过渡动态未知的复杂环境。第二种是Watkins & Dayan引入的原始Q-learning算法，这是一种在马尔可夫决策过程(MDP)中估计Q函数的增量（随机近似）方法。

通俗地讲，顺序决策问题的特征是在一个随机环境中依赖于系统历史以及自主决策者所采取的行动或决策的过渡动力学而演变，系统环境与不同的实用程序相关联。因此，在决策者想要最大化累积期望效用的某些度量的前提下，决策者的任务是选择使高效用系统环境序列使之形成可能的行动。

3.2 基于Q学习的分布式电源配置

在配电网规划中，DG的选址定容问题和当前时刻配电网环境及电源本身的状态有关，下一时刻的电源状态又受当前决策影响，这样的过程是一个典型的Markov决策情景。标准的Markov决策建模一般有四个维度，包括：环境状态空间（Space，S），行为空间（Action，A），决策回报值（Report，R），事件转移概率（Probability，P）。Markov决策问题的目标是得到一个寻优策略π：S→A，使该策略下的回报值达到最大化，该回报值长期累积值的数学期望为：

V^{\pi }(s_t,a_t)=E\left[{\displaystyle \sum _{i=\mathrm{0}}^{\infty }}{\gamma }^{i}r(s_{i+t},a_{i+t})\right]（6）

在上式中，s_t是t时刻对应的当前配电网状态，at代表t时刻下该策略的动作，γ∈[s,a），代表该决策下延迟回报与立刻回报的比值。在Q学习环节里，配电网中每一个状态-动作都对应一个Q值Q（s,a），Q（s,a）记录了在状态空间s下采取行为策略a后获得的回报值。例如，对应策略π：S→A，所获得的Q值可定义如下：

Q^{\pi }(s,a)=R(s,a)+\gamma \sum _{s\text{'}\in S}{P}_{s,a}(s\left.\text{'}\right)V(s\left.\text{'}\right)（7）

将式（6）代入式（7），经多次迭代得到以下迭代规则：

Q_{t+\mathrm{1}}(s_{t+\mathrm{1}},a_{t+\mathrm{1}})=(\mathrm{1}-\alpha )Q_t(s_t,a_t)+\alpha [R(s_t,a_t)+\gamma V(s\mathrm{\text{'}})]（8）

在上式中，a∈(0,1)，表示学习速率。Q学习算法利用上述迭代规则，通过测试不同的状态来获得奖励，并根据回报来选择t时刻的决策动作，最终递归学习得到最佳Q值，Q值越大则说明当前的配电网规划策略被选择的概率越高。Q学习算法的典型流程如图1。

在多个分布式电源机组接入主动配电网时，分布式电源的接入位置和容量对配电网的供电能力有很大影响。因此，在考虑西藏地区主动配电网的规划设计时，可将各分布式电源的出力状态，分布地点，电源容量等各类信息写入Q值表Q（s,a）中，然后根据Q学习训练过程中的历史经验值为电源进行选址定容，同时更新不同决策情况下自身的Q值，如下式：

Q(s,a)\leftarrow (\mathrm{1}-\alpha )Q(s,a)+\alpha \left[R(s,a)+\gamma \underset{a\mathrm{\text{'}}\in A}{\mathrm{m}\mathrm{a}\mathrm{x}}Q(s+\mathrm{1},a\mathrm{\text{'}})\right]（9）

在上式中，R(s,a)是西藏电网在选用某种分布式电源选址定容策略后得到立即回报的结果，\underset{\omega \in A}{\mathrm{m}\mathrm{a}\mathrm{x}Q}(s+\mathrm{1},a\mathrm{\text{'}})是下一个策略训练动作后得到Q值的最大值。

在本文中，为了使西藏地区的主动配电网模型得到充分地训练，对每个行动都设置了一个策略学习率，用β(s,a)表示状态行动对应的访问次数，得到策略学习率表达如下：

\alpha (s,a)=\frac{\mathrm{1}}{\beta (s,a)+\mathrm{1}}（10）

为了加快算法的收敛速度，本文引入对数冷却改变Softmax策略下的t值，t₀ 为初始值，用t代表第一次迭代以来经过的时间：

t=\frac{t_{\mathrm{0}}}{\mathrm{l}\mathrm{o}{\mathrm{g}}_{\mathrm{2}}(\mathrm{1}+t)}（11）

4 算例分析

首先进行含分布式电源的配电网潮流计算。分布式发电接入配电网的模型可以简化为PV节点或PQ节点。由于分布式电源的位置一般靠近负荷中心，本文假设分布式电源的位置在负荷节点上。分布式发电的引入改变了潮流的方向，但传统的潮流方法仍然可以用来解决潮流问题。本文将分布式发电简化为负负荷点。Newton-Raphson法是目前求解非线性方程的一种非常有效的方法。在大多数情况下，该方法无发散风险，收敛性强，可大大节省计算时间。因此，采用传统的Newton-Raphson方法计算分布式发电机配电网的潮流。

算例由IEEE33节点系统应用实例进行验证，实例的初始拓扑结构如图2所示。该模型为单变电站、径向配电系统，IEEE33节点系统模型原始负荷如表1所示。在本文中，我们假设负载增加了20%，以显示分布式电源安装对系统的支持，负荷分布来自某电网的历史数据。

在该算例中，根据西藏某地区电网的历史数据进行负荷分布配置，参考文献^[12-13]所提出的模型对整个西藏地区主动配电网系统进行参数设置并测算各类DG成本。表2为应用实例中使用的参数，包括分布式电源类型、分布式电源机组容量、各负载总线最大参与需求侧管理以及分布式电源渗透率等；表3 列出了分布式电源的安装成本、运行成本和维护成本。

4.1 有无主动管理的配电网规划方案对比

表4考虑主动管理方案和不考虑主动管理方案的分布式电源安装结果。通过主动管理，总WG为400 kW, MT为500 kW;如果没有主动管理，总WG为1250 kW, MT为250 kW。在不考虑主动管理的情况下，还安装了额外的600 kW分布式电源。由于高昂的维护成本和现有的运行成本，如果不考虑主动管理(即禁用MT的主动管理)，则会降低MT的安装容量。由于相较于燃煤电厂环保效益高，维护成本低，风力发电机的装机容量大大增加。分布式电源的安装位置主要位于两个重负荷馈线5~7以及5~32上。

在上表中，左边数字代表分布式电源选址；括号内数字为分布式电源分级，即单位容量的总数。

表5为规划结果的成本。可以看出，与考虑主动管理的结果相比，不进行主动管理的总成本增加了58.11%。在所有的成本项目中，如果不进行主动管理，投资成本和运营和维护成本会更高。没有积极经营的投资费用比考虑积极经营的投资费用增加了93.18%。无主动管理的DG容量大，功率损失小，环境效益高。

4.2 是否考虑环境效益的配电网规划方案对比

表6为考虑环境效益和不考虑环境效益的分布式电源安装结果。不考虑环境效益的风力发电装机容量为100 kW，比考虑环境效益的风力发电装机容量小300 kW。

不考虑环境效益的燃气发电机组装机容量为600kW，比考虑环境效益的MT装机容量大100 kW。由此可见，在间歇式分布式发电投资成本较高的现状下，需要综合整合间歇性分布式电源的环境效益，以揭示间歇性分布式电源的环保特性，提高间歇性分布式电源的渗透率。

表7给出了考虑环境收益和不考虑环境收益的规划结果的成本。随着燃气发电机组的减少，不考虑环境收益的投资成本比考虑环境收益的投资成本低。在不考虑环境效益的情况下，燃气发电机组的安装数量越多，运行维护成本就越高，考虑环境效益的总成本略低。

4.2 不同数量的场景对比

主动配电系统规划与传统配电系统规划的区别在于，传统配电系统规划采用最大容量余量来处理最严重的运行环境，以对抗预测的峰值负荷，而主动配电系统规划需要对网络进行精确管理。主动配电系统最终规划结果包括传统网络方案和运行方案，即详细的网络运行方案。为了分析详细的网络运营方案对规划结果的影响，考虑了不同的运营场景。

表8和表9是场景数量4、8和16的分布式电源安装结果和费用。

与场景8相比，场景16的分布式电源装机容量由900 kW下降到800 kW。场景4的分布式电源安装容量与场景8相同；但与第8个场景相比，操作和维护成本显著增加。

主动管理可以降低选址和规模的总成本。随着场景量的减少，操作方案变得简单、可操作;反之，操作方案就变得复杂而不可操作。在实际的配电网规划中，应充分设计和折中方案。

4.3 基于Q学习的分布式电源选址定容最终方案

根据上述理论，在MATLAB中利用MATPOWER以及Q学习算法进行分布式电源选址定容得到如表10的配电网规划方案。

5 结论

为实现西藏偏远地区稳定供电，本文提出了西藏地区主动配电网中分布式电源选址与定容的模型；将规划结果与不考虑主动管理、考虑环境效益和不考虑环境效益进行比较。从应用实例验证中可以看出，使用目前成熟的求解器可以很容易地求解分布式电源选址与定容的MATLAB模型，正确的分布式选址和规模可以支持系统的扩展。采用多种主动管理方案，可大大降低规划成本。为西藏地区后续的分布式电源系统建设提供了一些借鉴经验。

参考文献

[1] Ding M, Xu Z, Wang W, et al. A review on China's large-scale PV integration: progress, challenges and recommendations[J]. Renewable and Sustainable Energy Reviews, 2016, 53: 639-652.

[2] 丁明,王伟胜,王秀丽 等.大规模光伏发电对电力系统影响综述[J].中国电机工程学报,2014,34(1):1-14.

[3] 张沈习,李珂,程浩忠 等.考虑相关性的间歇性分布式电源选址定容规划[J].电力系统自动化,2015,39(8):53-58, 140.

[4] 李振坤,陈思宇,符杨 等.基于时序电压灵敏度的有源配电网储能优化配置[J].中国电机工程学报,2017,37(16):4630-4640.

[5] 李亮,唐巍,白牧可 等.考虑时序特性的多目标分布式电源选址定容规划[J].电力系统自动化,2013,37(3):58-63.

[6] 李珂,邰能灵,张沈习 等.考虑相关性的分布式电源多目标规划方法[J].电力系统自动化,2017,41(9):51-57.

[7] ZhangS,ChengH, Li K, et al. Optimal siting and sizing of intermittent distributed generators in distribution system[J]. IEEE Transactions on Electrical and Electronic Engineering, 2015, 10(6):628-635.

[8] 郑乐,胡伟,陆秋瑜 等.储能系统用于提高风电接入的规划和运行综合优化模型[J].中国电机工程学报,2014,34(16): 2533-2543.

[9] Zhao B, Xu Z, Xu C, et al. Network partition-based zonal voltage control for distribution networks with distributed PV systems[J]. IEEE Transactions on Smart Grid, 2018, 9(5): 4087-4098.

[10] 丁明,刘先放,毕锐 等.采用综合性能指标的高渗透率分布式电源集群划分方法[J].电力系统自动化,2018,42(15): 47-52:141.

[11] 吴小刚,刘宗歧,田立亭,等.基于改进多目标粒子群算法的配电网储能选址定容[J].电网技术,2014,38(12):3405-3411.

[12] 赵波,肖传亮,徐琛 等.基于渗透率的区域配电网分布式光伏并网消纳能力分析[J].电力系统自动化,2017,41(21):105-111.

[13] 向育鹏,卫志农,孙国强 等.基于全寿命周期成本的配电网蓄电池储能系统的优化配置[J].电网技术,2015,39(1):264-270.