计及分布式光伏用户的多智能体有功无功协同电压控制方法

Multi-agent Active and Reactive Power Coordinated Voltage Control Method Considering Distributed Photovoltaic Prosumers

摘要

目的 充分考虑目前分布式光伏用户的供用能的双重属性，将其灵活有功负荷响应与主动配电网的无功支撑能力结合，提出了一种基于深度强化学习的多智能体有功无功协同电压控制方法。 方法 首先，通过分析光伏接入对节点电压和线路潮流的影响，对分布式光伏用户有功倒送配额及过电压责任进行计算；其次，基于配额与责任构建激励政策来引导分布式光伏产消者的灵活有功负荷响应，并设计了主动配电网和多个分布式光伏产消者的多智能体电压控制模型。 结果 IEEE33节点系统算例分析表明，所提有功无功协同电压控制方法能够有效降低光伏发电量过高导致的电压越限和网络损耗，并改善光伏用户的收益分配。

Abstract

Purposes In this paper, considering the current distributed photovoltaic (PV) prosumers’ supply/use dual attributes, a multi-agent active and reactive coodinated voltage control method based on deep reinforcement learning is proposed, which combines the PV prosumers’ flexible active load response with the reactive power support capability of the active distribution network. Methods First, by analyzing the influence of PV access on node voltage and line currents, the active power reverse quota and overvoltage responsibility of distributed PV prosumers were calculated. Second, an incentive policy was constructed based on the quota and responsibility to guide PV prosumers’ flexible active load response, and a multi-agent voltage control model was designed for the active distribution network and multiple PV prosumers. Results The analyses of the IEEE 33-bus system demonstrate that the proposed active and reactive power coordinated voltage control method can effectively reduce voltage violations and power losses caused by excessive PV generation, and improve the revenue distribution of PV prosumers.

Graphical abstract

关键词

电压控制 / 主动配电网 / 分布式光伏 / 多智能体 / 深度强化学习

Key words

voltage control / active distribution network / distributed photovoltaic / multi-agent / deep reinforcement learning

分布式光伏（distributed photovoltaic，DPV）因其利用效率高、对环境的负面影响小而广泛接入主动配电网（active distribution network， ADN）。国际能源署的报告中指出，2024年全球光伏发电量已超过2 000 TWh，同比增长约30%，其中装机容量最大的中国累计装机容量已达887 TW^［1］。光伏设备在配电网中的分布式接入增加了配电网的不确定性，导致电压越限问题频发，加剧了安全运行风险^［2］。分布式光伏并网的日益增多所带来的电压稳定性挑战已成为制约电力系统低碳转型的关键挑战之一。

传统的电压控制是通过控制配电网中的无功设备来实现的^［3］。然而，随着新能源渗透率的逐步提高，仅靠无功设备进行电压控制难度越来越大。具体来说，有载分接开关（on-load tap changing， OTLC）和分组投切电容器（switched capacitors， SCs）等传统机械设备动作慢且容易达到运行上限，因此一般与实时控制方法一起应用^［4-5］。实时控制设备中静止无功补偿器（static var compensator， SVC）和静止无功发生器（static var generator， SVG）的安装、运维成本问题依然存在。此外，在高阻抗比的配电网络中，相比于提升有功负荷，平抑光伏倒送引起的过电压需要消耗更多的无功功率。研究表明，有功功率控制也能有效改善电压分布^［6］。因此，如何有效调动当前配电网中的有功负荷，并将其应用于有功无功协同的电压控制方法，是一个非常值得研究的课题^［7-8］。

目前已有文献研究了储能（energy storage， ES）和电动汽车（electric vehicle， EV）等新型灵活有功电力资源的协同电压控制方法^［9-10］。值得注意的是，配电网中越来越多的用户同时集成了有功电力负荷和分布式发电设备，其原有的电力需求属性转变为符合产消者的供-用双重属性。在主动配电网中，每个分布式光伏用户都可以通过“余电上网”政策获得收益，但在白天光伏发电量高时，可能会因功率倒送而出现过电压问题，甚至导致大规模光伏脱网事故。为解决这一问题，配电网可主动引导用户调节灵活有功负荷，防止有功功率倒送过大导致的安全风险。对于分布式光伏产消者用电行为的引导方法主要分为两种：动态分时电价^［11-12］和激励政策^［13］。文献［11］提出了一种考虑电力系统容量的日前动态上网电价确定方法以更好地体现光伏输出的电力价值；文献［12］提出了一种考虑光伏发电能力和实际产出的分时电价，以激励分布式光伏发电实现公平的收益分配。分时电价可以从整体性政策角度反映配电网的整体源荷匹配能力，但对不同光伏用户对配电网运行状态的差异化影响表征不清晰。通过引入激励机制可以对不同主体的用电行为产生不同影响，这种激励政策方法已广泛应用于电力工业的研究^{［13，14］}。而分布式光伏引起的过电压问题与用户的发电量、接入位置以及网络拓扑结构密切相关，目前的研究大多为整体性政策设计，没有针对过电压问题对配电网内的分布式光伏产消者进行研究。

另一方面，在配电网与光伏用户的交互过程中，其行为对系统环境均有较深的影响。配电网可以通过无功设备调节电压，而光伏用户则能通过灵活有功负荷响应调节光伏倒送功率，从而实现有功无功的协同优化。有功无功的优化问题常被视为求解最优潮流的问题^［15］。而在如今的电压控制问题中，随着人工智能算法的发展，深度强化学习（deep reinforcement learning， DRL）可以从运行数据中学习最优控制策略，因其可以快速应对系统中的不确定因素适用于各种控制和优化问题^［16-20］。在相关研究中，配电网中的各类存在动作的主体均可以视为智能体。文献［21］考虑了区域供冷系统的有功功率，结合光伏逆变器的无功功率协调进行协同电压控制；文献［22］考虑了充电站主体中电动汽车的充放电能力，构建多智能体有功-无功协同电压控制。而在光伏功率倒送严重的场景下，光伏用户的电压调节潜力尚未得到有效挖掘，更多的研究侧重于控制方法而非各主体间的利益关系，无法契合光伏用户具有供-用双重属性的利益最大化诉求。

综上所述，本文提出了一种考虑了分布式光伏产消者身份的多智能体有功无功协同电压控制方法。主要贡献有三方面：

1）基于功率传输分布因子和有功-电压灵敏度进行分析，明确分布式光伏用户对配电网运行状态的影响，并采用灰色关联分析和Shapley值法量化光伏主体的净有功功率倒送配额和过电压责任。

2）基于分布式光伏产消者的功率倒送配额和过电压责任构建激励机制，引导光伏用户灵活响应负荷。当“余电上网”电量超过合理范围时，鼓励光伏用户主动增加有功负荷，在合理分配收入的同时减少配电网的负面影响。

3） 将主动配电网的无功设备动作与系统内的分布式光伏主体的有功灵活负荷响应结合，利用深度强化学习模型构建了配电网智能体与光伏智能体之间的多智能体协同电压控制模型，并在节点系统模型中验证了其合理性及有效性。

1 有功无功协同电压控制框架

本文将提出的有功无功协同电压控制模型表述为一个多智能体优化问题。具体而言，通过将过电压问题分配给主动配电网的参与主体，充分挖掘主动配电网与分布式光伏产消者之间的合作关系和利益。主动配电网通过调整有效的激励政策，引导分布式光伏产消者灵活的主动负荷响应，并与配电网中的无功设备相结合完成电压的控制及优化，深入挖掘高比例分布式光伏接入电网的有功、无功协同优化能力。在该框架中，将主动配电网和每个分布式光伏产消者均被视为智能体，形成由多个智能体组成的协同控制框架。整体的电压控制框架如图1所示。

2 功率倒送配额及过电压责任计算

2.1 有功功率倒送影响力计算

2.1.1 有功-潮流影响力计算

功率传输分布因子（power transfer distribution factor，PTDF）是一种利用线路参数获得节点注入功率与整个网络潮流之间的关系而简化配电网潮流计算的方法^［23］。分布式光伏发电会在节点中注入有功功率，进一步影响潮流进而导致过电压问题，而PTDF能够反映有功功率在支路潮流中的分布以及其影响力。

首先，定义配电网络的节点模型包含N个节点和L条线路，共有K个节点接入分布式光伏。利用配电网的线路参数分别构建节点-电纳矩阵 B_X 和线路-电纳矩阵 B_line。

节点-电纳矩阵 B_X 可表示为：

{\mathit{P}}_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}=\left[\begin{array}{c}{P}_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{1}}\\ P_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}\mathrm{2}}\\ ⋮\end{array}\right]={\mathit{B}}_{\mathrm{x}}\left[\begin{array}{c}{\theta }_{\mathrm{1}}\\ {\theta }_{\mathrm{2}}\\ ⋮\end{array}\right],{\mathit{B}}_x=\left[\begin{array}{l}{\displaystyle \sum _{m=\mathrm{1}}^N}\frac{\mathrm{1}}{X_{\mathrm{1},m}},-\frac{\mathrm{1}}{X_{\mathrm{1,2}}},\cdots \\ -\frac{\mathrm{1}}{X_{\mathrm{2,1}}},{\displaystyle \sum _{m=\mathrm{1}}^N}\frac{\mathrm{1}}{X_{\mathrm{2},m}},\cdots \\ \cdots \\ \cdots ,-\frac{\mathrm{1}}{X_{N,N-\mathrm{1}}},{\displaystyle \sum _{m=\mathrm{1}}^N}\frac{\mathrm{1}}{X_{N,m}}\end{array}\right] .(1)

式中： P_node表示对应节点注入的有功功率，是一个含N个元素的列向量；θ表示电压相角；N为节点网络中的节点数；X_i，j 表示节点i和j之间的电抗值；当i=j时，1/X_i，j =0。

线路-电纳矩阵 B_line可表示为：

{\mathit{P}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}=\left[\begin{array}{c}{P}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{1}}\\ P_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}\mathrm{2}}\\ ⋮\end{array}\right]={\mathit{B}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}\left[\begin{array}{c}{\theta }_{\mathrm{1}}\\ {\theta }_{\mathrm{2}}\\ ⋮\end{array}\right],{\mathit{B}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}=

\left[\begin{array}{l}\frac{\mathrm{1}}{X_{\mathrm{1,2}}},-\frac{\mathrm{1}}{X_{\mathrm{1,2}}},\mathrm{0},\cdots \\ \frac{\mathrm{1}}{X_{\mathrm{1,3}}},\mathrm{0},-\frac{\mathrm{1}}{X_{\mathrm{1,3}}},\cdots \\ \cdots \\ \mathrm{0},\cdots ,\frac{\mathrm{1}}{X_{N-\mathrm{1},N}},-\frac{\mathrm{1}}{X_{N-\mathrm{1},N}}\end{array}\right] .(2)

式中： P_line表示对应线路通过的有功功率，是一个含L个元素的列向量；θ表示电压相角；X_i，j 表示节点i和j之间的电抗值。线路-电纳矩阵中，每行中非零元素所在位置为线路两端节点对应列。

根据节点-电纳矩阵 B_X 以及线路-电纳矩阵 B_line与相角θ的关联特性，可以得出节点注入功率和线路功率之间的关系：

{\mathit{P}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}={\mathit{B}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}{\mathit{B}}_{\mathrm{x}}^{-\mathrm{1}}{\mathit{P}}_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}}={\mathit{P}}_{\mathrm{P}\mathrm{T}\mathrm{D}\mathrm{F}}\cdot {\mathit{P}}_{\mathrm{n}\mathrm{o}\mathrm{d}\mathrm{e}} .(3)

{\mathit{P}}_{\mathrm{P}\mathrm{T}\mathrm{D}\mathrm{F}}={\mathit{B}}_{\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}}{\mathit{B}}_{\mathrm{x}}^{-\mathrm{1}} .(4)

式中： P_PTDF表示当前节点模型的PTDF矩阵，可根据式（4）由节点-电纳矩阵 B_X 和线路-电纳矩阵 B_line直接计算得到。 P_PTDF是一个L行N列的矩阵，其中第i列对应节点i注入功率后每条线路的潮流响应情况。

当节点i接入分布式光伏时，可由PTDF矩阵直接得到分布式光伏支路潮流影响矩阵 P_PV：

\left\{\begin{array}{l}{\mathit{P}}_{\mathrm{P}\mathrm{V},i}={\mathit{P}}_{\mathrm{P}\mathrm{T}\mathrm{D}\mathrm{F}}\left[:,i\right]\\ {\mathit{P}}_{\mathrm{P}\mathrm{V}}=[{\mathit{P}}_{\mathrm{P}\mathrm{V},\mathrm{1}},{\mathit{P}}_{\mathrm{P}\mathrm{V},\mathrm{2}},\cdots ,{\mathit{P}}_{\mathrm{P}\mathrm{V},K}]\end{array}\right. .(5)

其中，［：，i］代表取矩阵的第i列， P_PV，i 表示接入光伏的节点i的 P_PTDF列向量，是光伏节点在某时刻的净功率倒送大小。

2.1.2 有功-电压影响力计算

分布式光伏的广泛接入会在光源充足时进行大量发电，将对所接入节点注入大量有功功率，而由电力系统潮流计算方法的雅可比行列式可以进一步求出功率-电压灵敏度矩阵，可以有效反映分布式光伏的净有功功率对配电网电压分布的影响^［24］。式（6）为根据雅可比矩阵推导出的有功功率-电压灵敏度矩阵的计算结果。

\left\{\begin{array}{l}\left[\begin{array}{l}\mathrm{\Delta }P\\ \mathrm{\Delta }Q\end{array}\right]=\left[\begin{array}{cc}\frac{\partial P}{\partial \delta }& \frac{\partial P}{\partial V}\\ \frac{\partial Q}{\partial \delta }& \frac{\partial Q}{\partial V}\end{array}\right]\left[\begin{array}{l}\mathrm{\Delta }\delta \\ \mathrm{\Delta }V\end{array}\right]=\mathit{J}\left[\begin{array}{l}\mathrm{\Delta }\delta \\ \mathrm{\Delta }V\end{array}\right]\\ {\mathit{S}}_V=\frac{\partial V}{\partial P}={\mathit{J}}^{-\mathrm{1}}\left(\mathrm{2,1}\right)\end{array}\right. .(6)

式中：上式表示极坐标形式的潮流微分方程；P、Q、V、δ分别为节点有功、无功、电压和相角；∂为取偏导数的运算； J 为雅可比矩阵； S_V 表示有功-电压灵敏度矩阵； J^-1（2，1）为雅可比矩阵逆矩阵的左下分块矩阵。本方法仅对代表有功功率和电压幅值关系的左下分块矩阵表达式进行展开， J 在i=j和i≠j两种情况下的元素表达式如下：

\left\{\begin{array}{l}\frac{\partial P_i}{\partial V_j}=-V_i(G_{ij}\mathrm{c}\mathrm{o}\mathrm{s}{\delta }_{ij}+B_{ij}\mathrm{s}\mathrm{i}\mathrm{n}{\delta }_{ij})\\ \frac{\partial P_i}{\partial V_j}=-V_i{G}_{ii}-\frac{P_i}{V_i}\end{array}\right. .(7)

式中：G、B分别为导纳矩阵中的电导、电纳。根据式（7）计算出雅可比矩阵 J 后，可进一步求出有功-电压灵敏度矩阵 S_V。

针对某个节点接入的有功功率对于整体电压幅值的电压影响矩阵 S_PV可以从有功功率-电压灵敏度矩阵中进行提取。

\left\{\begin{array}{l}{\mathit{S}}_{\mathrm{P}\mathrm{V},i}={\mathit{S}}_V[:,i]=\left[\begin{array}{ccc}\frac{\partial V_{\mathrm{1}}}{\partial P_{\mathrm{1}}}& \cdots & \frac{\partial V_{\mathrm{1}}}{\partial P_N}\\ ⋮& & ⋮\\ \frac{\partial V_N}{\partial P_{\mathrm{1}}}& \cdots & \frac{\partial V_N}{\partial P_N}\end{array}\right][:,i]\\ {\mathit{S}}_{\mathrm{P}\mathrm{V}}=[{\mathit{S}}_{\mathrm{P}\mathrm{V},\mathrm{1}},{\mathit{S}}_{\mathrm{P}\mathrm{V},\mathrm{2}},\cdots ,{\mathit{S}}_{\mathrm{P}\mathrm{V},K}]\end{array}\right. .(8)

式中，［：，i］代表取矩阵的第i列， S_PV表示接入光伏节点对每个节点电压幅值的影响矩阵。

2.2 功率倒送配额计算

前文已经计算出了各个节点注入功率后，对于整个电网线路潮流、电压幅值的影响，需对配额进行量化计算。使用灰色关联分析（Grey Relation Analysis，GRA）对各分布式光伏主体对于配电网的整体影响进行综合量化计算。GRA方法的一个显著优势是能够处理信息不完全明确的系统，并且能提高对小样本无规律指标的评估精度。已知配电网某时刻的以下系数矩阵，分别为有功-潮流影响矩阵 P_PV、有功-电压影响矩阵 S_PV。以 P_PV为例展示计算过程，并且 S_PV的计算过程完全相同，仅在矩阵的形状方面有微小差异。首先对影响矩阵进行归一化处理。

{\mathit{P}}_{\mathrm{P}\mathrm{V}}=\left[\begin{array}{cccc}{h}_{\mathrm{11}}& h_{\mathrm{12}}& \cdots & h_{\mathrm{1}K}\\ h_{\mathrm{21}}& h_{\mathrm{22}}& \cdots & h_{\mathrm{2}K}\\ ⋮& ⋮& \ddots & ⋮\\ h_{L\mathrm{1}}& h_{L\mathrm{2}}& \cdots & h_{LK}\end{array}\right] .(9)

式中， P_PV是一个L行K列的矩阵，K是PV产消者主体的数量；L为支路数。

对 P_PV矩阵的每列都进行归一化处理，得到矩阵 X，元素x_lk 归一化公式和归一化矩阵 X 表示如下：

x_{lk}=h_{lk}/\sqrt[]{{\displaystyle \sum _{l=\mathrm{1}}^L}{h_{lk}}^{\mathrm{2}}} .(10)

\mathit{X}=\left[{\mathit{X}}_{\mathrm{1}},{\mathit{X}}_{\mathrm{2}},\cdots ,{\mathit{X}}_K\right]=\left[\begin{array}{cccc}{x}_{\mathrm{11}}& x_{\mathrm{12}}& \cdots & x_{\mathrm{1}K}\\ x_{\mathrm{21}}& x_{\mathrm{22}}& \cdots & x_{\mathrm{2}K}\\ ⋮& ⋮& \ddots & ⋮\\ x_{L\mathrm{1}}& x_{L\mathrm{2}}& \cdots & x_{LK}\end{array}\right] .(11)

随后，确定GRA算法的理想情景 X₀：

{\mathit{X}}_{\mathrm{0}}=\left[\mathrm{m}\mathrm{a}\mathrm{x}\{{\mathit{X}}_{\mathrm{1}}\},\mathrm{m}\mathrm{a}\mathrm{x}\{{\mathit{X}}_{\mathrm{2}}\},\cdots ,\mathrm{m}\mathrm{a}\mathrm{x}\{{\mathit{X}}_K\}\right] .(12)

式中， X_k 代表分布式光伏节点接入对配电网各个支路/节点的影响力最大值，利用灰度分析计算实际影响与极限理想影响的关联度。

\left\{\begin{array}{l}{\xi }_k(l)=\frac{\mathrm{\Delta }\mathrm{m}\mathrm{i}\mathrm{n}+\rho \mathrm{\Delta }\mathrm{m}\mathrm{a}\mathrm{x}}{{\mathrm{\Delta }}_k(l)+\rho \mathrm{\Delta }\mathrm{m}\mathrm{a}\mathrm{x}},k=\mathrm{1,2},\dots ,K;l=\mathrm{1,2},\dots ,L\\ \mathrm{\Delta }\mathrm{m}\mathrm{i}\mathrm{n}=\underset{k}{\mathrm{m}\mathrm{i}\mathrm{n}}\underset{l}{\mathrm{m}\mathrm{i}\mathrm{n}}\left|x_{l\mathrm{0}}-x_{lk}\right|\\ \mathrm{\Delta }\mathrm{m}\mathrm{a}\mathrm{x}=\underset{k}{\mathrm{m}\mathrm{a}\mathrm{x}}\underset{l}{\mathrm{m}\mathrm{a}\mathrm{x}}\left|x_{l\mathrm{0}}-x_{lk}\right|\\ {\mathrm{\Delta }}_k(l)=\left|x_{l\mathrm{0}}-x_{lk}\right|\end{array}\right. .(13)

计算 X₀和 X_k 中第l个元素的关联系数。式（13）中，Δmin和Δmax分别是对比序列与参考序列之间差值的最小值和最大值。Δ _k （l）表示第k个元素中对比序列与参考序列的绝对差值；ρ是分辨系数。

GRA需要计算权重系数W_l，其可根据（14）中影响矩阵的定义提取。

W_l=h_{lk}/{\displaystyle \sum _{l=\mathrm{1}}^L}{h}_{lk} .(14)

式中：第k个光伏主体对应的列向量即为PV对该支路/节点的影响权重，经归一化后作为第l个元素的影响权重。最后，通过式（15）计算得到K个光伏主体对配电网的综合影响力关联矩阵 G_Z：

\left\{\begin{array}{l}{g}_k={\displaystyle \sum _{l=\mathrm{1}}^L}{W}_l{\xi }_k(l)\\ {\mathit{G}}_S=\left[\begin{array}{cccc}{g}_{S,\mathrm{1}}& g_{S,\mathrm{2}}& \cdots & g_{S,K}\end{array}\right]\\ {\mathit{G}}_P=\left[\begin{array}{cccc}{g}_{P,\mathrm{1}}& g_{P,\mathrm{2}}& \cdots & g_{P,K}\end{array}\right]\\ {\mathit{G}}_Z=\frac{{\mathit{G}}_S+{\mathit{G}}_P}{\mathrm{2}}\end{array}\right. .(15)

其中， G_S 和 G_P 分别是根据 S_PV和 P_PV计算出的影响得分矩阵； G_Z是综合影响矩阵。

将上述基于PTDF和有功-电压灵敏度的综合影响矩阵 G_Z作为为分布式光伏主体分配功率倒送配额的比值依据，该分配比例考虑光伏用户的发电量、接入位置和配电系统拓扑结构，量化了光伏净有功功率倒送对配电网的影响，此分配比例能够保证K个分布式光伏配电网综合影响相同。按照该比例分配光伏出力，提高总光伏出力配额以逼近配电网运行电压上限，定义能够使得配电网刚好不发生过电压的有功功率为功率倒送配额值{\mathit{P}}_{\mathrm{q}\mathrm{u}\mathrm{o}\mathrm{t}\mathrm{a}}=[q_{\mathrm{q}\mathrm{u}\mathrm{o}\mathrm{t}\mathrm{a},\mathrm{1}},q_{\mathrm{q}\mathrm{u}\mathrm{o}\mathrm{t}\mathrm{a},\mathrm{2}},\cdots ,q_{\mathrm{q}\mathrm{u}\mathrm{o}\mathrm{t}\mathrm{a},K}]，此配额能够在保证公平性的情况下最大限度地提高配电网对光伏有功功率的吸收。

2.3 过电压责任分摊方法

配电网发生电压越限问题与所有发生功率倒送的光伏主体的数值相关，是各个节点潮流倒送共同作用的结果。因此，配电网过电压问题可视为一种合作博弈，每个布式光伏主体都是合作博弈的参与者，每个节点的过电压责任可通过Shapley值法计算。

延续得到的光伏主体的功率倒送配额 P_quota，如果光伏的实际净功率倒送大于配额并导致配电网出现过电压，需要计算此时刻该光伏主体的过电压责任。首先，选择能反映配电网过电压状态的指标函数。定义电压越限严重度指标如下式：

{\zeta }_t=\sum _{i\in I}\frac{V_{i,t}-V^{+}}{V_{i,t}-V_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}}},I_F=\{i\left|V_{i,t}>V_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}}\right.\} .(16)

式中，ζ_t 为t时刻的电压越限严重度指标；V_i，t 表示t时刻节点i的电压幅值；V⁺表示配电网的电压幅值上限；I_F为t时刻配电网内的过电压节点集合，对于未发生过电压的节点，不进行电压越限指标的累加。上式利用电压越上限量与越基值的比值，可以有效提升对于电压越限的敏感程度，提升Shapley值计算的准确性，并能够更清晰反映各光伏主体对于电压越上限的影响程度。

在得到效用函数后，利用Shapley值法计算出t时刻各光伏主体对过电压问题的影响程度。每个光伏主体的Shapley值由式（17）计算得出。

\left\{\begin{array}{l}{\phi }_{i,t}=\sum _{s\in S_i}\omega (\left|M\right|)({\zeta }_t(M)-{\zeta }_t(M\backslash \{i\})\\ \omega (\left|M\right|)=\frac{(\left|M\right|-\mathrm{1})!(\left|R\right|-\left|M\right|)!}{\left|R\right|!}\end{array}\right. .(17)

式中：φ_i，t 为节点i的分布式光伏主体在t时刻的Shapley值，即当前配电网电压越限的责任分摊值；M是t时刻包含分布式光伏接入节点i的任意联盟；ζ_t （M）为t时刻只有联盟M中的节点倒送功率超过配额时的电压越限严重度指标；ζ_t （M \｛i｝）为t时刻联盟M去除所求节点i后的电压越限严重度指标，即节点i变为按照配额倒送功率时的过电压指标；R是包含所有在t时刻倒送功率大于配额的分布式光伏主体的集合；|M|、|R|为集合M、R的元素个数。

将每个含分布式光伏用户的节点计算完毕后，将这个基于预测值的责任分摊系数及其对应激励政策传递给用户，用户会根据自身灵活有功负荷响应特性，结合配电网颁布的激励政策对自己的用电行为进行调整，力求获得最大的收益。

3 基于TD3的多智能体有功无功协同电压控制方法

3.1 多智能体协同电压控制模型

强化学习的基础模型框架为马尔科夫决策过程（markov decision process，MDP）。而多智能体是多个相互之间存在耦合影响关系的智能体，通过在某个大环境中观测自身实时状态并学习不同动作策略，最终执行动作以寻求自身奖励最大化的过程。在这个过程中每个智能体都会与外部环境进行交互来实现强化学习过程，构成马尔可夫博弈过程（markov game process，MGP）。

本文中采用的算法为TD3（Twin Delayed Deep Deterministic policy gradient），其是在DDPG（Deep Deterministic Policy Gradient）算法上改进得到的一种在线异策式深度强化学习算法^［25］。基于TD3算法的多智能体控制过程中，主动配电网智能体以及每个分布式光伏智能体有其各自的两个Actor网络和四个Critic网络。若算法中包含K个分布式光伏智能体，其中，分布式光伏智能体的经验回放池仅包括其自身的状态s_{\mathrm{P}\mathrm{V}k,t}、动作a_{\mathrm{P}\mathrm{V}k,t}、奖励r_{\mathrm{P}\mathrm{V}k,t}以及策略动作后的状态s_{\mathrm{P}\mathrm{V}k,t^{\text{'}}}，符合实际配电网运行过程中分布式光伏产消者的信息获取。主动配电网智能体的经验回放池中包括整个多智能体协同模型中分布式光伏智能体和主动配电网智能体的状态(s_{\mathrm{P}\mathrm{V}\mathrm{1},t},\cdots ,s_{\mathrm{A}\mathrm{D}\mathrm{N},t^{\text{'}}})、动作(a_{\mathrm{P}\mathrm{V}\mathrm{1},t},\cdots ,a_{\mathrm{A}\mathrm{D}\mathrm{N},t})、奖励(r_{\mathrm{P}\mathrm{V}\mathrm{1},t},\cdots ,r_{\mathrm{A}\mathrm{D}\mathrm{N},t})以及策略动作后的状态(s_{\mathrm{P}\mathrm{V}\mathrm{1},t^{\text{'}}}\cdots ,s_{\mathrm{A}\mathrm{D}\mathrm{N},t^{\text{'}}})。主动配电网智能体根据可观测节点的电压状态，对SVC设备输出与激励政策系数进行调整以最小化电压越限、网络损耗以及政策支出。分布式光伏产消者智能体根据所提的功率倒送配额与过电压责任，进行灵活有功负荷响应来调整自己的用电计划，并根据激励政策获得收益。通过所提供的激励政策设计，可以实现分布式光伏产消者的个人收益与配电网系统稳定之间的协调平衡。

3.2 主动配电网智能体构建

在当前多智能体协同电压控制模型中，主动配电网以当前配电网的运行状态作为观测，控制动作则包括两部分，分别是引导分布式光伏产消者灵活有功响应的激励政策参数和无功设备SVC的无功支撑情况，这样就能将电压协同控制问题转化为马尔科夫博弈过程。具体主动配电网智能体的观测空间、动作空间和奖励函数定义如下。

1）动作空间：在t时刻，利用配电网中无功补偿设备SVC的可调空间a_SVC，t 和激励政策的奖惩系数a_η1，t 和a_η2，t 构建动作集a_{\mathrm{A}\mathrm{D}\mathrm{N}}=[a_{\mathrm{S}\mathrm{V}\mathrm{C}\mathrm{1},t},\cdots ,a_{\eta \mathrm{1},t},a_{\eta \mathrm{2},t}{]}^{\mathrm{T}}。在每个训练回合中，智能体都会根据当前状态向环境提供新的控制动作。

2）观测空间：定义主动配电网智能体在时刻t的观测状态为s_{\mathrm{A}\mathrm{D}\mathrm{N},t}\in S，具体包括从配电网测量中获得的可观测节点的电压相量U_t=[U_{\mathrm{1}},U_{\mathrm{2}},\cdots ,U_{I_{\mathrm{o}\mathrm{b}\mathrm{s}}}]。其中，I_obs为配电网中可观测节点的总数，观测空间表示为s_{\mathrm{A}\mathrm{D}\mathrm{N},t}=[U_t]。在本研究中，接入了SVC和PV的节点被设为可观测节点。

3）奖励函数：综合考虑网络损耗成本、电压越限成本以及政策支出成本，将优化目标设为配电网运行总成本函数：

\mathrm{m}\mathrm{i}\mathrm{n}F={\displaystyle \sum _t^T}(C_{loss}{P}_{loss,t}+C_{\beta }{V}_{r,t}+C_{policy,t}) .(18)

V_{r,t}=\sum _{i\in I_{\mathrm{t}\mathrm{o}\mathrm{t}\mathrm{a}\mathrm{l}}}\left[\mathrm{R}\mathrm{e}\mathrm{L}{\mathrm{U}}^{\mathrm{2}}(U^{-}-U_{i,t})+\mathrm{R}\mathrm{e}\mathrm{L}{\mathrm{U}}^{\mathrm{2}}(U_{i,t}-U^{+})\right].(19)

其中，P_loss，t 表示t时刻配电网中线路的损耗总和；C_loss表示边际网损系数；C_β 表示电压越限附加成本系数；C_policy，t 为t时刻主动配电网的激励政策支出；V_r，t 为t时刻节点电压越限量；U_i，t 为t时刻节点i的电压幅值；U⁺和U^-为系统中电压安全运行的上限和下限；I_total为配电网所有节点的集合；ReLU为线性整流函数，定义为ReLU=max（0，x）。

在深度强化学习过程中，配电网智能体的目标为最大化奖励收益，因此需要目标函数的相反数，以此构建马尔科夫决策过程中的每步迭代的实时奖励。具体奖励函数如下：

r_{\mathrm{A}\mathrm{D}\mathrm{N},t}=-(C_{\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}}{P}_{\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s},t}+C_{\beta }{V}_{r,t}+C_{\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{c}\mathrm{y},t}) .(20)

配电网智能体将在优化过程中最大化该奖励，达到最终的综合成本最低的效果。

3.3 分布式光伏产消者智能体构建

由于现行的“自发自用、余电上网”政策，激励政策可以通过引导分布式光伏用户灵活有功负荷的方式改善配电网的电压安全状态。当光伏的有功倒送功率过大时，可引导将分布式光伏产消者用户的部分负荷转至光伏出力较大的时刻，以此削减分布式光伏的上网功率。因此，将分布式光伏发电用户的日常用电负荷分为固定负荷、可增加负荷和可时移负荷，具体如下：

\left\{\begin{array}{l}{p}_{\mathrm{0}}^{(k,t)}=p_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{0}}^{(k,t)}+p_{\mathrm{u}\mathrm{p}\mathrm{0}}^{(k,t)}+p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}\mathrm{0}}^{(k,t)},\forall k,\forall t\\ p^{(k,t)}=p_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{0}}^{(k,t)}+p_{\mathrm{u}\mathrm{p}\mathrm{0}}^{(k,t)}+p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}\mathrm{0}}^{(k,t)}+p_{\mathrm{u}\mathrm{p}}^{(k,t)}+p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}}^{(k,t)},\forall k,\forall t\\ \mathrm{0}\le p_{\mathrm{u}\mathrm{p}}^{(k,t)}\le p_{\mathrm{u}\mathrm{p}}^{(k,t)},\forall k,\forall t\\ \sum _{t\in T}{p}_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}}^{(k,t)}=\mathrm{0},\forall k,\forall t\\ p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}}^{(k,t)}\le p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}\mathrm{0}}^{(k,t)},\forall k,\forall t\end{array}\right. .(21)

其中，p_{\mathrm{0}}^{(k,t)}表示分布式光伏k在t时刻的原有功总负荷，p^{(k,t)}表示分布式光伏k在t时刻响应后的有功总负荷，p_{\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{0}}^{(k,t)}表示光伏用户的固定负荷，代表其t时刻的固定用电需求；p_{\mathrm{u}\mathrm{p}\mathrm{0}}^{(k,t)}表示光伏用户的可增加负荷，p_{\mathrm{u}\mathrm{p}}^{(k,t)}代表分布式光伏k在t时刻的实际负荷增加值；p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}\mathrm{0}}^{(k,t)}表示光伏用户的可时移负荷，p_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}}^{(k,t)}是光伏用户k在t时刻的实际时移负荷的增加值，其在一定时间范围内的总和为0。

具体分布式光伏产消者智能体的观测空间、动作空间和奖励函数定义如下。

1）动作空间：分布式光伏智能体k的动作空间a由其灵活负荷响应中的有功负荷的变化构成，即a_{\mathrm{P}\mathrm{V}k}=[a_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}},a_{\mathrm{u}\mathrm{p}}{]}^{\mathrm{T}}。其中，a_shift表示当前实际时移负荷总量，a_up表示当前实际增加负荷总量。

2）观测空间：定义分布式光伏智能体k在t时刻的观测状态为s_{\mathrm{P}\mathrm{V}k}=[s_Q,s_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{l}\mathrm{e}\mathrm{y}},s_{\mathrm{s}\mathrm{h}\mathrm{i}\mathrm{f}\mathrm{t}}]。具体包括主动配电网计算得到的t时刻的光伏出力配额s_Q 以及对应过电压责任s_shapley，还包含此时的当前用户时限内已时移负荷总量s_shift。

3）奖励函数：为了实现主动配电网与分布式光伏产消者之间的协同控制过程，用户智能体需时刻以自身收益为导向，不断修改自己对于激励政策的响应情况，分布式光伏产消者的收益不仅由自身的响应决定，还与主动配电网传递的实时奖惩系数有关。

每个分布式光伏智能体的目标函数具体可表示如下：

\mathrm{m}\mathrm{a}\mathrm{x}F={\displaystyle \sum _t^T}(\gamma p^{k,t}+{\eta }_{\mathrm{1}}{(\frac{p_{\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{c}\mathrm{y}}^{(k,t)}}{s_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{l}\mathrm{e}\mathrm{y}}+\mathrm{1}})}^{\mathrm{2}}-{\eta }_{\mathrm{2}}(p^{(k,t)}-q_{quota,k})-\lambda p_{policy,k}^{(k,t)}) .(22)

其中，γ为当前光伏主体的光伏上网电价收益系数；s_shapley为此时按照预测出力值当前PV主体将会承担的过电压责任值；η₁和η₂分别为主动配电网智能体实时定义的奖励/惩罚系数；λ为光伏进行主动灵活负荷响应的响应成本系数。p^{(k,t)}表示t时刻光伏主体k的实际净有功功率倒送值；p_{\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{c}\mathrm{y}}^{(k,t)}表示t时刻光伏主体k的主动有功负荷响应减少的有功功率倒送值，即实际时移负荷与增加负荷之和；q_quota，k 表示光伏主体k的功率倒送配额。

光伏智能体的目标函数由包括光伏上网电价收入、主动配合削减净倒送的奖励、光伏出力越配额惩罚、主动配合成本的综合收益构成，因此奖励函数可构建如下：

r_{\mathrm{P}\mathrm{V}k,t}=\gamma p^{(k,t)}+{\eta }_{\mathrm{1}}{(\frac{p_{\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{c}\mathrm{y}}^{(k,t)}}{s_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{p}\mathrm{l}\mathrm{e}\mathrm{y}}+\mathrm{1}})}^{\mathrm{2}}-{\eta }_{\mathrm{2}}(p^{(k,t)}-q_{\mathrm{q}\mathrm{u}\mathrm{o}\mathrm{t}\mathrm{a},k})-\lambda p_{\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{i}\mathrm{c}\mathrm{y},k}^{(k,t)} .(23)

3.4 基于TD3的有功无功协同电压控制流程

综上所述，为了清楚地描述所提出的有功无功协同电压控制过程，整个计算流程如图2所示。具体来说，可分为以下两部分：

首先，根据配电网的功率传输分布因子PTDF以及有功-电压灵敏度指标参数，量化各个光伏节点功率倒送对于配电网的线路潮流及节点电压的影响力。随后，使用利用灰色关联分析（GRA）通过影响系数矩阵为各个分布式光伏主体计算功率倒送配额。最后使用Shapley值法对PV倒送功率超出配额的部分进行过电压责任的分摊。功率倒送配额与过电压责任都将作为重要理论依据，用于激励政策的制定过程之中。

所提出的算法使用深度强化学习算法（TD3）构建了一个分辨率为15 min的多智能体模型，具体包括主动配电网智能体和分布式光伏产消者智能体。主动配电网智能体针对无功补偿装置SVC的输出和激励政策的系数进行动作；同时各个分布式光伏产消者基于功率倒送配额与过电压责任，根据收益最大化原则优化其灵活有功负荷响应。主动配电网直接控制无功功率，并且间接地通过政策引导分布式光伏产消者控制有功功率负荷，共同完成多智能体的有功无功协同电压控制过程。

4 算例分析

4.1 算例设置

本文中的深度强化学习算法基于 Python 3.9.18的 Pytorch 2.3.1神经网络框架训练实现。本文提出的有功无功协同电压控制模型在改进后的IEEE33节点配电网系统上进行了验证和分析。在保持原有线路连接和线路参数不变的情况下，在节点系统中的节点13、18、22、25、33上接入分布式光伏，在节点5、10、30上接入无功设备SVC。IEEE33节点系统结构及分布式光伏主体接入如图3所示。

选取中国山西省某地区全年分辨率为15 min的分布式光伏出力数据及负荷数据用于验证所提深度强化学习策略的有效性。随机选择14 d作为测试集并随机选择一天作为典型日，其余时间作为训练集。各个节点的光伏和负荷折算至额定功率标幺值，并乘以IEEE33节点系统的节点负荷初始数据接入配电系统。分布式光伏主体遵循“自发自用，余电上网”原则，光伏发电量首先用于自身用电负荷，若其大于用电负荷将会从对应节点接入上网。设定 IEEE33配电网系统的根节点电压为1.00 p.u.，每个节点电压的安全运行范围应在0.95 p.u.到1.05 p.u.之间。在主动配电网智能体奖励函数中，设定边际网损系数C_loss为600 $/MWh，电压越限附加成本系数C_β 为1 000 $/（p.u）²，每个SVC设备的容量为0.8 MW。分布式光伏产消者的响应成本系数为0.5 $/kW，可时移负荷为0.2 MW，可增加负荷为0.1 MW。

4.2 功率倒送配额与过电压责任的验证

首先，对所应用的各分布式光伏主体的功率倒送配额计算及过电压责任划分方法的有效性进行验证。在白天尤其是午间时刻，分布式光伏发电量远远大于系统中节点的有功负荷。因此，在讨论功率倒送配额和过电压责任的有效性时，算例分析部分将重点关注典型时刻的配电网电压分布。

由式（15）计算得到的各分布式光伏主体对配电网的有功-潮流影响得分矩阵 G_S、有功-电压影响得分矩阵 G_P和综合影响相关矩阵 G_Z如表1所示。按 G_Z比例接入分布式光伏，并进一步计算刚好没有过电压的功率倒送配额 P_quota。当分布式光伏的功率发生潮流倒送时， G_S反映功率的传递过程，而 G_P反映功率倒送对电压的影响，综合来看，综合影响相关矩阵 G_Z可以有效反映各光伏节点对于配电网的节点电压影响。

如图4（a）所示，展示了在测试集典型时刻12：00的不同配额分配方法的对比。可以看到，本文使用的GRA方法、逼近理想解法和传统的平均分配方法，分布式光伏功率倒送配额总量分别为4.830 2 MW、4.768 9 MW和4.455 0 MW。本文所用功率倒送配额分配方法与逼近理想解法、平均分配方法相比，分别使配电网的分布式光伏消纳率提高了1.01%和8.42%。因为所使用的配额分配方法考虑了有功功率的输入节点以及配电网结构，并且在信息不完全的系统中，调节GRA分辨系数也提高了分配的精度。

如图4（b）所示，展示了在测试集12：00的各分布式光伏主体的功率倒送配额、实际净有功功率以及过电压责任的对应关系。结合图3所示的IEEE 33节点系统拓扑进行分析，我们可以分析得到以下结论：由于PV1、PV2和PV5的接入节点位于整个馈线的末端，当PV反向输出时，相邻节点会积累较高的电压，因此其分配得到配额量较少，并且PV1、PV2和PV5的过压责任值也处于较高水平。而PV3和PV4的接入点更加靠近母线Bus1，即使功率倒送过大，其倒送功率更容易被潮流转移到整个系统，因此在Shapley值计算过程中，判定其对于电压越限问题的贡献较低，减少了分配得到的过电压责任。

如图5所示，依次为测试集典型日9：00—16：00时段PV1到PV5的功率倒送配额和过电压责任。可以看到，当分布式光伏的净功率倒送不超过分布式光伏主体的对应配额时，分布式光伏主体不用承担过电压责任。例如，由于在10：15只有PV1和PV3的净功率倒送超过了其配额，所以只有PV1和PV3被要求分摊过电压责任。从测试集典型日9：00到16：00时段来看，PV1至PV5的平均过电压责任比例分别为33.89%、58.69%、4.89%、4.49%和19.12%。从数值和图中均能发现，PV3和PV4都被分摊了较低的过电压责任，这是因为它们的配额较高，对电压违规的影响较低。从同一条馈线的角度来看，PV1和PV2都位于同一馈线，因为PV2所处位置位于馈线更末端，容易导致沿线的电压越限而发生局部过电压，因此PV2的过电压责任在大多数时刻均比PV1更高。

综上所述，在考虑配电网拓扑结构和各分布式光伏主体的连接位置的情况下，各分布式光伏主体的功率倒送配额在合理分配的情况下最大化，并合理分摊各个分布式光伏主体的过电压责任。

4.3 电压控制方法验证

主动配电网智能体和各分布式光伏产消者智能体的训练过程分别如图6（a）和图6（b）所示。可以看到，在初始学习阶段主动配电网智能体和各分布式光伏产消者智能体都处于探索阶段，无法同时很好地实现各自的奖励最大化。在一定训练轮次后，各个智能体开始沿着确定性梯度的方向学习和更新参数。主动配电网智能体和各分布式光伏产消者智能体的协同策略随着训练的进行逐渐趋于稳定。最终，主动配电网获得了将节点电压损失、网络损耗与政策支出兼顾的政策与动作策略；分布式光伏产消者能够根据光伏、负荷的状态进行用电规划。

为了验证所提方法的有效性及经济性，选取测试集典型日24 h的电压数据进行验证，设立以下几个场景进行实验论证。

场景1：采用本文所提的基于TD3有功无功协同电压控制方法，协同分布式光伏产消者的有功负荷响应与SVC无功装置。

场景2：相比场景1的有功无功协同，不考虑分布式光伏产消者的有功负荷响应的配电网仅无功电压优化。

场景3：相比场景1的有功无功协同，仅使用所提的功率倒送配额和过电压责任的分布式光伏产消者有功负荷响应电压控制。

场景4：相比场景1，采用分时电价的方法来引导分布式光伏产消者的灵活有功负荷响应与SVC无功装置的动作进行协同。

场景5：接入分布式光伏发电和电力负荷的配电网在完全无控制下的运行情况。

如图7所示，非光伏节点中，节点17的过电压情况最为严重。因此，本方法在验证过程中针对某组节点17的节点电压状态进行验证分析。

由图8（a）和图8（b）所示，在场景1中所示的所提方法可以有效地将电压控制在安全水平。该方法还通过SVC装置和PV产消者在高光伏发电时段的灵活负荷响应，显著降低了网络损耗。场景1到场景5的最大电压偏差分别为0、0.023 3、0.034 1、0.007 8、0.054 8 p.u.。场景1到场景5的网络损耗分别为4 199.82、6 448.20、7 925.65、6 338.00、9 296.28 kW。场景2和场景3分别代表了仅利用无功装置进行控制和仅引导分布式光伏产消者灵活负荷响应方法的数值结果，这两种方法在高分布式光伏发电情况下效果均较差。而若想提高场景2和场景3的电压控制性能将势必受到无功设备装机和PV产消者负荷响应参与水平的制约。因此，场景1中所提方法的有功功率和无功功率的有效协同具有重要意义。在场景4中，虽然分时电价的方法也通过引导分布式光伏产消者灵活有功负荷，实现了将电压保持在相对安全的范围内同时减少网络损耗的目标。然而，场景4的问题在于它没有考虑分布式光伏产消者的发电量、连接位置以及整个系统的拓扑形状，同时也忽略了各PV主体对配电网支路电流和节点电压的差异化表现，这种与所提方法的差距导致了相对更差的结果。

此外，场景4的另一个弊端在于PV用户在改变其用电计划以维持配电网稳定运行时，无法反映用户潮流倒送带来的过电压问题与其收益的公平性及合理性。这一问题将在下一部分进行详细阐述。

4.4 分布式光伏产消者分析

图9为本文所提方法在测试集典型日的各分布式光伏产消者的灵活有功负荷响应及其收益的对比。显然，分布式光伏主体在其能力范围内根据配电网的激励政策进行了灵活有功负荷响应，无功设备SVC作为配电网的运行保障与PV的有功响应协同，有效保持配电网的安全稳定运行。在光伏发电量高的午间时刻，各个分布式光伏产消者大幅度提高用电量，并在总负荷的约束下降低了用电高峰时刻的用电量。在图9中，这种功率消耗的增加表现为PV功率倒送的降低。这种较为合理的用电规划能够显著提高配电网对当前大量装机的分布式光伏的消纳能力，有效避免弃光问题或者过电压问题。

PV3、PV4所在节点为距母线1馈线长度较短的节点22与25，在有功潮流倒送量大时不容易发生局部过电压。因此，在本文方法的计算过程中，PV3、PV4分配到相对较大的功率倒送配额，同时在过电压责任计算中分摊的责任较小。这意味着PV3、PV4的光伏装机、自身用电与配电网安全运行的结合较为合理，在其主动配合政策响应的情况下得到了较高的收益。相比之下，PV1、PV2、PV5的位置均在馈线的较远末端而容易陷入局部过电压，在本文方法的计算过程中功率倒送配额较小且过电压责任较大。所以在其同样进行积极响应的情况下，因其无法消纳装机的高光伏倒送功率，最终的收益较低。因此，尽管同样调节灵活有功负荷响应来响应政策，因其无法消纳装机的高光伏倒送功率，他们的收入仍保持在较低水平。

表2所示为场景1和场景4中的测试集典型日的分布式光伏产消者总收益对比。所提方法在收益分配中，着重考虑的是分布式光伏主体对于过电压问题的责任与响应意愿，对比场景1和场景4的各分布式光伏产消者收益情况，可以有以下分析结果。

对于光伏发电超出自身用电消纳能力过多但是愿意进行响应的PV1、PV2、PV5主体，因为其给配电网的安全稳定运行带来了问题分摊了较高的过电压责任，仍会得到收益但收益分别减少了26.86%、45.46%和36.11%。而对于光伏发电与自身用电消纳能力较为匹配的PV3、PV4主体仍然积极响应政策，对于配电网的电压稳定做出了贡献，PV3和PV4主体总收益分别提高了25.59%和42.58%。

综上所述，相比固定的分时电价方法，所提方法考虑了光伏用户的发电量、接入位置与整个系统的拓扑形态，根据其对于配电网安全运行的差异化表现设计了针对有功灵活负荷的激励政策，保证了配电网的安全运行。所提方法改变了配电网内分布式光伏主体的收益分配，提升了能够灵活转变供-用电者身份，并且对于自身光伏功率倒送合理消纳的用户收益。这也说明，若想进一步提升配电网分布式光伏消纳率，配电网结构、光伏设备容量、光伏接入节点、用户用电习惯均需要合理评估与规划；并且在配电网运行过程中，还需要将本文提出的灵活有功负荷激励政策与配电网无功支撑能力相结合，共同提升分布式光伏发电的消纳。

5 结论

为了提高主动配电网的稳定性，改善分布式光伏用户的收益分配，本文提出了一种考虑分布式光伏产消者和无功补偿设备的多智能体有功无功协同电压控制方法。具体而言，根据线路运行参数计算配电网中各分布式光伏产消者的净功率倒送配额和过电压责任。在实时运行阶段，主动配电网直接控制无功补偿设备的无功功率，间接引导分布式光伏产消者有功负荷响应的有功功率，构成了考虑主动配电网与分布式光伏产消者的多智能体有功无功协同电压控制模型。

在算例分析中，比较并验证了功率倒送配额和过电压责任的合理性以及多智能体有功和无功协调电压控制的有效性。仿真结果表明，所提配额方法将配电网的光伏倒送容纳功率提升了8.42%，在协同电压控制过程中较传统方法降低配电网的最大电压偏差（0.78%）和网络损耗（33.73%），改善了能够灵活改变其供用电身份以合理消纳其光伏功率倒送的分布式光伏用户的收益。

结合本文的贡献，以下几个领域是进行下一步研究的关键。

1）理论上，本文提出的方法可以通过调整TD3算法和增加智能体数量来扩展到更大规模的网络。然而，复杂网络下的过电压责任分担限制了其实际应用的有效性。在实践中，未来的研究方向是利用先进的算法对大型有功配电网进行分区控制，并在每个区域内独立分摊分布式光伏产消者的过电压责任。

2）由于当前光伏和电池技术的快速发展，分布式光伏与储能设备的结合逐渐接近。如何构建考虑光伏与储能相结合的电压优化模型和控制方法是下一步研究的主要内容。

参考文献

[1] ÇAM EI， CASANOVAS M， MOLONEY J.Electricity 2025：Analysis and Forecast to 2027［J］.2025.

[2] HAQUE M M， WOLFS P.A review of high PV penetrations in LV distribution networks：Present status，impacts and mitigation measures［J］.Renewable and Sustainable Energy Reviews，2016，62：1195-1208.

[3] CAO D， ZHAO J， HU W，et al.Model-free voltage control of active distribution system with PVs using surrogate model-based deep reinforcement learning［J］.Applied Energy，2022，306：117982.

[4] 倪爽，崔承刚，杨宁，等.基于深度强化学习的配电网多时间尺度在线无功优化［J］.电力系统自动化，2021，45（10）：77-85.

[5] NI S， CUI C G， YANG N，et al.Multi-time-scale online optimization for reactive power of distribution network based on deep reinforcement learning ［J］.Automation of Electric Power Systems，2021，45（10）：77-85.

[6] 胡丹尔，彭勇刚，韦巍，等.多时间尺度的配电网深度强化学习无功优化策略［J］.中国电机工程学报，2022，42（14）：5034-5045.

[7] HU D E， PENG Y G， WEI W，et al.Multi-timescale deep reinforcement learning for reactive power optimization of distribution network［J］.Proceedings of the CSEE，2022，42（14）：5034-5044.

[8] TONKOSKI R， LOPES L A C， EL-FOULY T H M.Coordinated active power curtailment of grid connected PV inverters for overvoltage prevention［J］.IEEE Transactions on sustainable energy，2010，2（2）：139-147.

[9] 付利达，贾清泉，孙玲玲，等.构网/跟网型光伏逆变器混联的配电网有功无功双层调压策略［J］.电力系统自动化，2025（12）：171-183.

[10] FU L D， JIA Q Q， SUN L L，et al.Bi-level voltage regulation strategy for active and reactive power of distribution network with hybridGrid forming/grid following photovoltaic inverters［J］.Automation of Electric Power Systems，2025（12）：171-183.

[11] 洪芦诚，吴明贺，朱进，等.基于约束增强安全强化学习的光-储-充高渗透配电网有功/无功优化决策方法［J］.中国电机工程学报，2025，45（22）：8764-8778.

[12] HONG L C， WU M H， ZHU J，et al.Constraint-enhanced safe reinforcement learning based decision-making method for re/active power optimization in highly penetrated PV-storage-charging distribution network［J］.Proceedings of the CSEE，2025，45（22）：8764-8778.

[13] 马永翔，朱文强，郭阳，等.考虑储能参与的含高渗透率光伏配电网集群电压控制策略［J/OL］.电气工程学报，1-9［2025-04-25］.

[14] MA Y X， ZHU W Q， GUO Y，et al.Cluster voltage control strategy of high permeability photovoltaic distribution network considering participation of energy storage［J/OL］.Journal of Electrical Engineering，1-9［2025-04-25］.

[15] 李鹏，刘嘉彦，李佳蔚，等.考虑光伏与电动汽车充电站协同的配电网电压控制方法［J］.电力科学与技术学报，2024，39（6）：121-130.

[16] LI P， LIU J Y， LI J W，et al.A voltage control method for distribution networks considering photovoltaicand electric vehicle charging station coordination［J］.Journal of Electric Power Science and Technology，2024，39（6）：121-130.

[17] HAYAT M A， SHAHNIA F， SHAFIULLAH G M.Replacing flat rate feed-in tariffs for rooftop photovoltaic systems with a dynamic one to consider technical，environmental，social，and geographical factors［J］.IEEE transactions on industrial informatics，2018，15（7）：3831-3844.

[18] HAAS R， DUIC N， AUER H，et al.The photovoltaic revolution is on：How it will change the electricity system in a lasting way［J］.Energy，2023，265：126351.

[19] 刘娜，武占军，郭灵杰，等.引入电能质量保险机制的日前电能量市场打分出清决策［J］.电网技术，2022，46（6）：2151-2164.

[20] LIU N， WU Z J， GUO L J，et al.Day-ahead electricity energy market score clearing decision introducing power quality insurance mechanism［J］.Power System Technology，2022，46（6）：2151-2164.

[21] 傅嘉琪，孙永辉，殷晨旭，等.计及动态激励机制的园区综合能源系统低碳优化［J］.电网技术，2025，49（11）：4638-4648.

[22] FU J， SUN Y H， YIN C X，et al.Low-carbon optimization of park integrated energy system considering dynamic incentive mechanisms［J］.Power System Technology，2025，49（11）：4638-4648.

[23] 寇凌峰，吴鸣，李洋，等.主动配电网分布式有功无功优化调控方法［J］.中国电机工程学报，2020，40（6）：1856-1865.

[24] KOU L F， WU M， LI Y，et al.Optimization and control method of distributed active and reactive power in active distribution network［J］.Proceedings of the CSEE，2020，40（6）：1856-1865.

[25] 胡维昊，曹迪，黄琦，等.深度强化学习在配电网优化运行中的应用［J］.电力系统自动化，2023，47（14）：174-191.

[26] HU W H， CAO D， HUANG Q，et al.Application of deep reinforcement learning in optimal operation of distribution network［J］.Automation of Electric Power Systems，2023，47（14）：174-191.

[27] CAO D， ZHAO J， HU W，et al.Data-driven multi-agent deep reinforcement learning for distribution system decentralized voltage control with high penetration of PVs［J］.IEEE Transactions on Smart Grid，2021，12（5）：4137-4150.

[28] ZHANG Y， WANG X， WANG J，et al.Deep reinforcement learning based volt-var optimization in smart distribution systems［J］.IEEE Transactions on Smart Grid，2020，12（1）：361-371.

[29] 邓清唐，胡丹尔，蔡田田，等.基于多智能体深度强化学习的配电网无功优化策略［J］.电工电能新技术，2022，41（2）：10-20.

[30] DENG Q T， HU D E， CAI T T，et al.Reactive power optimization strategy of distribution network based on multiagent deep reinforcement learning［J］.Advanced Technology of Electrical Engineering and Energy，2022，41（2）：10-20.

[31] LIU H， WU W.Online multi-agent reinforcement learning for decentralized inverter-based volt-var control［J］.IEEE Transactions on Smart Grid，2021，12（4）：2980-2990.

[32] YU P， ZHANG H， HU Z，et al.Voltage control of distribution grid with district cooling systems based on scenario-classified reinforcement learning［J］.Applied Energy，2025，377：124415.

[33] HU D， YE Z， GAO Y，et al.Multi-agent deep reinforcement learning for voltage control with coordinated active and reactive power optimization［J］.IEEE Transactions on Smart Grid，2022，13（6）：4873-4886.

[34] CHENG X， OVERBYE T J.PTDF-based power system equivalents［J］.IEEE Transactions on Power Systems，2005，20（4）：1868-1876.

[35] 马庆，邓长虹，龙志君.基于白箱树突网络的电压灵敏度实时计算方法［J］.中国电机工程学报，2023，44（19）：7503-7514.

[36] MA Q， DENG C H， LONG Z J.A real-time calculation method of voltage sensitivity based on white-box dendritic net［J］.Proceedings of the CSEE，2023，44（19）：7503-7514.

[37] FUJIMOTO S， HOOF H， MEGER D.Addressing function approximation error in actor-critic methods［C］//International conference on machine learning.PMLR，2018：1587-1596.

基金资助

国家自然科学基金项目(U23A20649)

山西省基础研究计划(202403021212150)