基于改进扩散深度双Q网络的复杂电力网络关键节点辨识

Improved Diffusion-Double DQN-based Critical Node Identification in Power Grids

摘要

随着电网规模扩大和新能源高比例接入，电力系统结构与运行状态日趋复杂，使关键节点的准确辨识成为电网安全分析的重要环节。然而，现有基于深度强化学习的方法普遍存在特征利用不充分、学习效率低、对大规模电网适应性不足等问题。为提升识别的准确性与鲁棒性，本文提出一种基于改进扩散深度双Q网络（Diffusion-DDQN）的关键节点辨识方法。首先，构建包含节点度、节点强度、收缩凝聚度、电压偏差幅度、功率潮流传输、加权电气距离及系统负载率等7类属性的综合状态空间，实现对电网结构与电气特性的同步描述。其次，通过引入扩散模型模拟扰动沿拓扑传播的过程，扩展智能体的状态表征能力；同时，结合多头注意力机制以增强节点间多属性特征的交互学习。最后，为提升策略稳定性，采用优势约束策略动态调整策略更新，使智能体能更高效地收敛至高价值动作。基于IEEE 30与IEEE 118节点系统对本文方法进行实验和仿真测试。结果表明：在关键节点移除实验中，本文方法的网络极大连通系数和网络效能下降更为显著，结构破坏能力优于DDQN、PageRank等对比方法，尤其是在IEEE 118系统中，移除前10%关键节点后，本文方法的网络效能、极大连通系数的下降幅度最大，验证了本文方法在大规模电网中的有效性；在扰动测试中，对识别的节点施加电压和负荷扰动后，本文方法的VSI与LSA指标均出现更大变化，说明本文方法辨识出的节点对系统稳定性影响更强。综上，本文方法能更准确识别出影响电网稳定运行的关键节点，为复杂电力系统的脆弱性评估提供了有效技术支撑。

Abstract

Objective The increasing structural complexity and uncertain operating conditions of modern power grids have made the identification of critical nodes essential for preventing cascading failures and enhancing system resilience. Traditional topology-based and model-driven approaches rely heavily on static assumptions, accurate physical models, and extensive prior knowledge, limiting their applicability in dynamic and nonlinear power-flow environments. Existing reinforcement-learning-based identification methods also exhibit several limitations, including inadequate representation of disturbance propagation, Q-value overestimation, and limited capability to capture nonlinear interactions among nodes. To address these challenges, this study aims to i) enhance the state representation of power-grid nodes by incorporating disturbance diffusion characteristics, ii) improve the stability and accuracy of reinforcement-learning-based node evaluation, and iii) provide a robust framework for identifying nodes whose perturbation causes significant structural and operational degradation of the power grid. Methods An improved diffusion double-DQN-based reinforcement-learning framework is developed. The critical-node identification problem is formulated as a Markov decision process, in which each state represents a multi-attribute description of a node, including electrical, topological, and operational features. Actions correspond to selecting candidate nodes for evaluation, while the reward function integrates indicators of voltage deviation, load sensitivity, power-flow redistribution, and disturbance propagation. A diffusion mechanism is introduced to model the propagation of perturbations across the network topology. Starting from a given node, disturbance information is iteratively diffused through the adjacency structure to generate a multi-hop neighborhood representation. The resulting diffusion state captures both direct and indirect interactions, enhancing the agent's ability to perceive local vulnerability, load-redistribution potential, and cascading-failure risk. A multi-head attention (MHA) module is incorporated into the feature-extraction stage to capture nonlinear dependencies among node features. This module enables the model to assign adaptive importance to different node attributes and neighboring interactions, thereby improving the representation of structurally subtle yet operationally influential nodes. To improve training stability, an advantage-constrained update strategy is integrated into the double-DQN framework. This strategy reduces Q-value estimation bias, mitigates instability during policy updates, and improves learning efficiency in high-dimensional state spaces. The proposed framework integrates diffusion-enhanced state representation, attention-based feature extraction, and stabilized Q-learning into a unified model for evaluating and ranking node importance. Results and Discussions Simulation studies were performed on the IEEE 30-bus and IEEE 118-bus systems using network efficiency, the size of the largest connected component, the voltage stability index (VSI), and the load-shedding amount (LSA) as evaluation metrics. In the IEEE 30-bus system, removing the top 10 nodes ranked by each method resulted in a pronounced decline in both network efficiency and largest connected component. The nodes selected by the proposed Diffusion-DDQN consistently produced greater reductions, particularly during the initial node removals, indicating that the method effectively identifies nodes whose perturbation has a greater structural and operational impact. Because the IEEE 30-bus system is relatively small and the top-10 node sets identified by different methods partially overlap, the performance curves converge after all 10 nodes are removed. For the IEEE 118-bus system, nodes were removed according to percentage thresholds because of the larger network size. When the top 10% of nodes identified by each method were removed, the proposed Diffusion-DDQN caused the most significant degradation, reducing network efficiency to 32.8% and the largest connected component to 0.44 of their original values. Compared with the conventional DDQN, the reduction in network efficiency was 3.5% greater, while the decrease in the largest connected component exceeded that of the closeness-based method by 0.06. When the top 20% of nodes were removed, network efficiency and the largest connected component further decreased to 14.6% and 0.15, respectively. These reductions exceeded those achieved by the improved PageRank baseline by 4.7% and 0.24, respectively, demonstrating stronger agreement with disturbance-impact simulations in larger systems. Further evaluations were performed by applying controlled perturbations (5% voltage disturbance and 10% load disturbance) to the top-ranked nodes identified by each method. For the VSI, the nodes selected by the Diffusion-DDQN produced the largest voltage-stability deviations, with changes approximately 10% greater than those produced by the conventional DDQN. In terms of LSA, perturbing the top 5% of nodes identified by the Diffusion-DDQN and DDQN resulted in load shedding approximately 60% greater than that of the improved PageRank method. When the perturbation was extended to the top 20% of nodes, the Diffusion-DDQN yielded the highest LSA among all evaluated methods. Across all evaluation metrics, the diffusion-enhanced state representation enabled the agent to identify nodes that induce greater cascading stress, producing rankings that are more consistent with the outcomes of physical disturbance simulations. Conclusions This paper presents an improved Diffusion-DDQN framework for critical node identification in complex power grids. By incorporating a diffusion mechanism into the state representation, the proposed framework captures spatial disturbance-propagation characteristics that are overlooked by conventional reinforcement-learning and graph-theoretic approaches. The integration of a multi-head attention module improves feature-interaction modeling, while the advantage-constrained update strategy stabilizes Q-value estimation and enhances learning efficiency. Simulation results on the IEEE 30-bus and IEEE 118-bus systems demonstrate that the proposed framework provides more accurate, robust, and interpretable assessments of node importance. The proposed framework offers a practical and extensible tool for vulnerability analysis, protection planning, and resilience assessment in modern power systems.

本刊网刊

电力作为现代社会的基础能源，已成为数字化和智能化时代不可或缺的资源形式。随着电网规模和复杂度的不断增加，尤其是新能源的大规模并网，电网节点数量急剧增大，电力系统复杂性和不确定性也随之提升，使得设备故障、短路、过载等问题的发生概率大幅提高^[1‒3]。特别地，当电力系统的关键节点出现技术故障时，将迅速影响到其他节点的状态与行为，极易导致系统性事故的发生，因此，确保电网的安全稳定运行成为电力系统面临的重大挑战^[4‒5]。为了保障电网的稳定性，学者采用了多种保护措施以应对潜在风险，其中，关键节点的辨识成为一种避免大范围连锁故障的重要技术手段。

目前，学者对电网关键节点辨识技术开展了深入研究，并提出了诸多方法，大致可分为基于电网运行特性和基于复杂网络理论的两类方法^[6]。其中：基于电网运行特性的方法，通过分析潮流分布、功率变化等运行参数，结合电网部分拓扑属性，识别电网中的关键节点。例如：陈世明等^[7]研究了信息网故障问题，对电力系统进行潮流分析，并利用关键度信息指标评估关键节点；李昌超等^[8]结合电力通信网重塑评估模型，利用权值退化法识别关键节点。虽然上述方法考虑了电网的业务属性，但是，对于电网的动态行为和复杂交互缺乏整体的分析能力。结合电力网络的拓扑结构和电气特性，邹艳丽^[9]、吴昊^[10]等提出基于多属性特征的电网关键节点识别方法，进一步提升了关键节点识别的全面性和准确性，但该方法仍受复杂网络环境下建模能力和动态适应性不足的限制。基于复杂网络理论的分析方法，通过计算度、介数、聚类系数、K‒壳等统计指标来评估节点在网络结构中的位置重要性和连通贡献度。例如：Adebayo^[11]、魏刚^[12]等通过建立评价矩阵综合分析计算节点的度、介数等指标来识别关键节点；王灏翔等^[13]考虑邻居节点影响的局部加权密度来识别关键节点，避免了仅依据节点自身度数评估重要性而忽略邻居间结构关系的问题。但是，上述方法忽略了电网运行特性，导致针对复杂电力网络节点识别的准确性较低。综上，基于电网运行特性和复杂网络理论的电网关键节点辨识研究已取得较大进展，但这些方法依赖于构建电网结构及其运行环境的准确模型，需要大量的先验知识；随着新型电力系统中新能源设备的接入规模逐渐增大，电网结构越来越复杂且不确定性增强，难以构建精确的电力系统模型，继续采用此类方法将难以保证关键节点辨识结果在复杂运行场景下的鲁棒性。

随着人工智能技术的新进展，基于机器学习的电网关键节点辨识受到关注。Ahmad等^[14]提出基于卷积神经网络的复杂网络关键节点排序方法，Zhang等^[15]利用深度学习模型识别电网关键节点，二者均验证了深度特征学习在节点重要性评估中的有效性。李旭杰等^[16]使用基于图神经网络和深度强化学习方法对各类复杂网络进行关键节点辨识，为电网稳定性分析和性能优化提供了一种有效方法，该方法仅在常规拓扑条件下验证了有效性，其在电网量测数据含噪或拓扑结构动态变化时的表现仍有待检验。汪黎明^[17]、Fan^[18]等利用深度Q网络（DQN）进行关键节点识别，但仅利用了网络的拓扑特性，并未涉及电网的特定属性。陈娜^[19]利用注意力机制对邻居节点的权重进行自适应学习，并结合图神经网络对节点重要性进行评分，以识别关键节点，但该方法侧重于拓扑结构建模，对电网运行状态特征的融合尚不充分。孙泽军等^[20]利用DQN进行电网关键节点识别，但该方法易出现动作价值函数（Q）值高估现象。总体来看，机器学习方法通过数据驱动的方式进行电网关键节点辨识，避免了依赖精确的物理模型和大量的先验知识，使用其进行复杂电网关键节点辨识具有明显的优势。但是，目前基于深度强化学习的电网关键节点辨识研究尚存在局限：一是，仅考虑部分电气属性或拓扑属性，未兼顾完整的电网拓扑-运行状态；二是，所采用的DQN等算法的学习效率和适用性仍有较大提升空间，电网关键节点识别的准确性和鲁棒性也受限。

为解决上述问题，本文提出一种基于改进扩散深度双Q网络（DDQN）的电网关键节点辨识方法。该方法融合拓扑结构与运行状态建模，系统定义多维节点属性，增强状态表征能力，确保关键节点识别过程能够兼顾网络拓扑和电力系统运行状态的双重影响。通过在DDQN框架中嵌入扩散模型，模拟扰动信息在电网中的传播过程，同时，考虑节点间相互作用来构建动态状态空间，设计方法扩散奖励评估扰动在电网中的传播影响，提升关键节点辨识的准确性。针对电网中节点属性的非线性关系和相互依赖性，在扩散DDQN中引入多头注意力机制（MHA）和优势约束策略，有效挖掘节点间依赖关系，增强模型在大规模电网中的泛化与鲁棒性。

1 关键节点评价指标

本文将影响节点重要性的因素归纳为结构指标和状态指标两大类，并且，构建节点属性包含节点度数、节点强度、节点收缩凝聚度、电压偏差幅度、功率潮流传输、加权电气距离及系统负载率共7个关键属性来支撑节点重要性评估，具体评价指标如图1所示。

1.1 结构指标

根据复杂网络理论可知，电网由一个无向拓扑链接图G=(V,E)表示。其中：V为所有节点的集合，V=\{V_{\mathrm{1}},V_{\mathrm{2}},V_{\mathrm{3}},V_{\mathrm{4}},V_{\mathrm{5}},V_{\mathrm{6}}\}，V_{\mathrm{1}}～V_{\mathrm{6}}均为节点；N为网络节点总数，N=|V|；E为所有链路的集合，E=\{l_{\mathrm{12}},l_{\mathrm{13}},l_{\mathrm{14}},l_{\mathrm{15}},l_{\mathrm{23}},l_{\mathrm{24}},l_{\mathrm{35}},l_{\mathrm{36}},l_{\mathrm{56}}\}，l_{ij}为节点i与j的连接边；链路的总数M=|E|。集合E中的每一条链路都对应于集合V中的一对节点。假设一个电网系统中有6个节点，采用9条线路将其互相连接，则可简化成一个点线连接的电网拓扑结构，如图2所示。

1.1.1 节点度和节点强度

在复杂网络中，节点i的度k_i定义为其所连接的边数：

k_i={\displaystyle \sum _{j=i}^N}{l}_{ij}（1）

式中：若节点i、j之间存在连接，则l_{ij}=\mathrm{1}；否则，l_{ij}=\mathrm{0}。

为了描述节点在网络中的重要性，引入了节点强度D_i，其指该节点所连接的边的权重之和：

D_i={\displaystyle \sum _{j=i}^N}{w}_{ij}={\displaystyle \sum _{j=i}^N}\frac{\mathrm{1}}{Z_{ij}}（2）

式中：w_{ij}为节点i、j之间的连接权重，若节点i、j之间没有连接则w_{ij}=0；Z_{ij}为连接节点i、j的线路的等效阻抗。

节点强度描述节点在网络中的相对重要性，节点i的强度是其连接的所有线路的权重之和，由于考虑连接的权重，故其具有比节点度更高的分辨率。为计算节点的强度，需要对无向连通图赋权，可利用等值阻抗作为影响因素来计算每条线路的权重。理论上，一条线路的等值阻抗越大，线路两端的节点耦合度越低，则该线路对全局的影响越小，故赋予该线路较小的权重。

1.1.2 节点收缩凝聚度

实际网络中，重要节点并不一定具备较大的度数，故采用节点的收缩凝聚度A_{\mathrm{s}}^[21]来扩充表征节点的结构属性，其代表节点在网络结构中维系局部紧密性和连通性的能力，即：

A_{\mathrm{s}}=\frac{\mathrm{1}}{n_{\mathrm{s}}l}（3）

式中：n_{\mathrm{s}}为网络收缩后的节点总数；l为节点间的平均最短路径距离，l=\sum _{i,j\in V}\frac{{\rho }_{\mathrm{m}\mathrm{i}\mathrm{n},ij}}{n_{\mathrm{s}}(n_{\mathrm{s}}-\mathrm{1})/\mathrm{2}}，其中，{\rho }_{\mathrm{m}\mathrm{i}\mathrm{n},ij}为任意两节点之间的最小支路数。收缩凝聚度A_{\mathrm{s}}值越大，说明该节点在缩短平均最短路径、维系局部结构稳定性方面作用越显著，是潜在的关键节点。

1.2 状态指标

1.2.1 电压偏差幅度

电压偏差幅度指标用于衡量节点在稳态工况下电压水平与临界电压水平之间的差异，反映了节点运行电压距离失稳边界的裕度，节点i的电压偏差幅度v(i)为：

v(i)=\frac{U(i)}{U^{\mathrm{*}}(i)}（4）

式中：U(i)为节点i当前稳定运行时的电压水平；U^{\mathrm{*}}(i)为节点i运行的临界电压值，可由连续潮流法求得。

1.2.2 功率潮流传输

功率潮流传输指标描述了电网节点的功率收支关系，用于判断潮流流向及大小，从而反映电网中节点的运行状态及其安全裕度。节点i的总功率潮流传输P_i定义为：

P_i=\sum _i{P}_{ij}-P_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}i}（5）

式中，P_{ij}为从节点i到节点j的功率流，P_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}i}为节点i的负载功率。

1.2.3 加权电气距离

根据不同的研究需求，电气距离指标的定义方式各异，常见方法包括线路阻抗法^[22]、阻抗矩阵法^[23]，以及电压灵敏度法^[24]。本文采用加权电气距离来定义。首先，针对发电-负荷节点对之间的功率传输路径，采用潮流追踪法进行解析^[25]，计算得到该节点对在不同路径上的功率传输情况；随后，依据每条线路的实际功率分配，对相同或不同的发电-负荷节点对之间的多条功率传输路径，通过与传输功率成正比的方式赋予权值^[26]。因此，节点i的加权电气距离L_i是连接该节点的多条线路功率的加权传输距离之和，即：

L_i=\sum _{j\ne i}{\displaystyle \sum _{(m,n)\in Q_{ij}}^{}}\left(\frac{P_{mn}}{\sum _{(x,y)\in Q_{ij}}{P}_{xy}}\cdot Z_{mn}\right)（6）

式中，Q_{ij}为从节点i到j的所有功率传输路径的集合，\sum _{(x,y)\in Q_{ij}}{P}_{xy}为节点i到j所有边的总传输功率，P_{mn}为边(m,n)上的实际传输功率，Z_{mn}为路径中边(m,n)的等效阻抗，m、n分别为起始、终止节点。

1.2.4 系统平均负载率

设线路J的实际潮流为P_J^{\mathrm{k}}(i)，该值为节点i发生故障退出运行后的线路实际潮流值。当节点i发生故障时，与该节点相连的线路将被视为停运，不参与系统平均负载率的计算，则系统平均负载率的计算仅基于剩余可运行线路，以避免停运线路对整体指标的干扰。为刻画目标节点发生故障时对电力网络传输能力的影响程度，引入系统平均负载率^[27‒28]作为衡量指标。节点i发生故障时，系统平均负载率B(i)可表示为：

B(i)=\frac{{\displaystyle \sum _{J=\mathrm{1}}^M}\left|P_J^{\mathrm{k}}(i)\right|}{{\displaystyle \sum _{J=\mathrm{1}}^M}\left|P_J^{\mathrm{m}\mathrm{a}\mathrm{x}}(i)\right|}（7）

式中，P_J^{\mathrm{m}\mathrm{a}\mathrm{x}}(i)为线路J传输容量的最大值，M为故障后电力网络的输电线路总数。

综上，定义的电压偏差幅度、加权电气距离、节点度和节点强度、功率潮流传输、系统平均负载率等指标将被赋予到深度强化学习算法的状态空间中，并利用上述节点属性设计奖励函数。

2 电网关键节点辨识的MDP模型

电网关键节点辨识问题可建模为一个马尔可夫决策过程（MDP）^[29‒30]，其可用状态（s）、动作（a）、状态转移概率（p）、奖励（r）构成的四元组{s, a, p, r}表示。具体地，定义该MDP模型的各元组为：

1）状态空间。电网在时刻t的状态描述了系统各节点的运行情况，包括多个与电网稳定性和功能相关的属性，即状态空间S表示为：

\begin{array}{l}S=\{s_t=[v_{t,i},\cdots ,v_{t,n},k_{t,i},\cdots ,k_{t,n},A_{\mathrm{s}t,i},\cdots ,A_{\mathrm{s}t,n},L_{t,i},\cdots ,\\ L_{t,n},D_{t,i},\cdots ,D_{t,n},P_{t,i},\cdots ,P_{t,n},B_{t,i},\cdots ,B_{t,n}]\}\end{array}（8）

式中：s_t为当前节点时刻t的状态；v_{t,i}为节点i在时刻t的电压偏差幅度，用于衡量节点的电压；k_{t,i}为节点i在时刻t的节点度，即与该节点直接相连的线路数量；A_{\mathrm{s}t,i}为节点i在时刻t的电网中的节点收缩凝聚度；L_{t,i}为节点i在时刻t的电网中的加权电气距离；D_{t,i}为节点i在时刻t节点强度，表示与节点i直接相连的线路的权重总和；P_{t,i}为在时刻t通过节点i的功率潮流；B_{t,i}为节点i在时刻t退出运行后系统的平均负载率；下标n为电网网络节点总数。

2）动作空间。动作空间定义了智能体在每个时刻可以采取的操作。智能体在时刻t的动作是选择一个节点，并对该节点进行特定的操作。动作空间A是所有动作的集合，定义为：

A=\{a_{\mathrm{1}},a_{\mathrm{2}},\cdots ,a_n\}（9）

式中，a_i（i=\mathrm{1,2},\cdots ,n）为节点i的当前动作（如保持、移除、增加、降低操作）。例如，通过降低某节点的负荷、改变其功率输出来模拟电网受扰，并观察其响应。智能体的动作空间依据节点类型划分为多个子空间，分别对应发电机节点动作空间A_{\mathrm{g}\mathrm{e}\mathrm{n}\mathrm{e}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{o}\mathrm{r}}、负荷节点动作空间A_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}}、其他节点动作空间A_{\mathrm{o}\mathrm{t}\mathrm{h}\mathrm{e}\mathrm{r}}，每个动作空间的具体动作值及操作说明，如表1所示。通过定义动作的方式，智能体能在多种操作之间进行选择，以实现电网的优化控制。

3）奖励函数。奖励函数定义为智能体在每个时间步执行某个动作后所获得的奖励，用于引导智能体判断节点的重要性。其中，节点度、节点强度、节点收缩凝聚度反映了节点在电网拓扑中的重要性。节点度越高，表示该节点与更多其他节点相连；凝聚度和强度越大，表示该节点的连接权重更大，因此，高节点度、高凝聚度和高强度的节点是辨识其为关键节点的重要因素。

为鼓励智能体识别出具有较高拓扑的关键节点，可设计反映电网拓扑特性的奖励函数r_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{y}}为：

r_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{y}}=\alpha \cdot \frac{k_{ai}}{k_{\mathrm{m}\mathrm{a}\mathrm{x}}}+\beta \cdot \frac{D_{ai}}{D_{\mathrm{m}\mathrm{a}\mathrm{x}}}+\partial \cdot \frac{A_{\mathrm{s}ai}}{A_{\mathrm{s}\mathrm{m}\mathrm{a}\mathrm{x}}}（10）

式中，k_{ai}、D_{ai}和A_{\mathrm{s}ai}分别为所选择节点i的度、节点强度和节点收缩凝聚度，k_{\mathrm{m}\mathrm{a}\mathrm{x}}、D_{\mathrm{m}\mathrm{a}\mathrm{x}}和A_{\mathrm{s}\mathrm{m}\mathrm{a}\mathrm{x}}分别为网络中的最大节点度、最大节点强度和最大节点收缩凝聚度，α、β、\partial为平衡度、强度、收缩凝聚度的奖励在整体奖励中比重的权重系数。

为确保执行动作后节点的电压保持在稳定范围内，设计电压偏差奖励函数r_{\mathrm{v}\mathrm{o}\mathrm{l}\mathrm{t}\mathrm{a}\mathrm{g}\mathrm{e}}为：

r_{\mathrm{v}\mathrm{o}\mathrm{l}\mathrm{t}\mathrm{a}\mathrm{g}\mathrm{e}}=\lambda \cdot \left|\mathrm{1}-|v_{t,ai}-\mathrm{1.0}|\right|（11）

式中，v_{t,ai}为时刻t节点i执行动作后的电压偏差幅度，\lambda为控制电压偏差在总奖励中比重的权重系数。

节点的电气加权传输距离表示电力传输的难易程度，定义电气加权传输距离奖励函数r_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{m}\mathrm{i}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}为：

r_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{m}\mathrm{i}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}=\varsigma \cdot \left(\mathrm{1}-\frac{L_{ai}}{L_{\mathrm{m}\mathrm{a}\mathrm{x}}}\right)（12）

式中，L_{ai}为节点i的电气加权传输距离，L_{\mathrm{m}\mathrm{a}\mathrm{x}}为网络中节点的最大电气加权传输距离，\varsigma为控制其在总奖励中比重的权重系数。

功率潮流变化用于衡量节点失效或受扰后，节点连接线路的功率潮流发生变化的幅度。奖励的目标是使节点的功率潮流保持稳定，减少传输波动性和潜在过载，故定义功率潮流变化奖励函数r_{\mathrm{p}\mathrm{o}\mathrm{w}\mathrm{e}\mathrm{r}\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}为：

r_{\mathrm{p}\mathrm{o}\mathrm{w}\mathrm{e}\mathrm{r}\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}=\zeta \cdot \left|\mathrm{1}-\mathrm{e}\mathrm{x}\mathrm{p}(-\mathrm{\Delta }{P}_{ai})\right|（13）

式中，\mathrm{\Delta }{P}_{ai}为节点i受扰后其相邻线路上的功率潮流变化总和，\zeta为控制功率潮流变化奖励比重的权重系数。

系统平均负载率主要衡量动作节点因故障退出后系统整体的负载状况，定义系统平均负载率奖励函数r_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}}为：

r_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}}=\mu \cdot {\left(\frac{B(i)}{B_{\mathrm{m}\mathrm{a}\mathrm{x}}}\right)}^{\mathrm{2}}（14）

式中，\mu为控制系统平均负载率奖励比重的权重系数，B_{\mathrm{m}\mathrm{a}\mathrm{x}}为网络最大平均负载率。

采用扩散模型评估扰动在电网中的传播影响，其旨在鼓励智能体选择能扩大扰动传播的节点。扩散影响越大，表示扰动在整个网络中扩散的影响越强，获得的奖励也越高，故定义扩散奖励函数r_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}为：

r_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}={\lambda }^{\text{'}}\cdot \mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}(G,a_i)（15）

式中，\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}(G,a_i)用于计算扰动在节点i传播到整个网络的程度，G为电网的拓扑链接图，{\lambda }^{\text{'}}为控制扩散奖励在总奖励中比重的权重系数。

为全面反映电网的实际运行特征，定义总奖励函数为上述各部分奖励之和，即总奖励函数R(s_t,a_i)\mathrm{为}：

\begin{array}{l}R(s_t,a_i)=r_{\mathrm{v}\mathrm{o}\mathrm{l}\mathrm{t}\mathrm{a}\mathrm{g}\mathrm{e}}+r_{\mathrm{t}\mathrm{o}\mathrm{p}\mathrm{o}\mathrm{l}\mathrm{o}\mathrm{g}\mathrm{y}}+r_{\mathrm{t}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{m}\mathrm{i}\mathrm{s}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}+\\ r_{\mathrm{p}\mathrm{o}\mathrm{w}\mathrm{e}\mathrm{r}\mathrm{f}\mathrm{l}\mathrm{o}\mathrm{w}}+r_{\mathrm{l}\mathrm{o}\mathrm{a}\mathrm{d}\mathrm{r}\mathrm{a}\mathrm{t}\mathrm{e}}+r_{\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}}\end{array}（16）

各奖励函数的权重系数可以根据实际节点类型进行调节，以确保不同状态指标对总奖励函数的影响符合预期目标。

3 改进的扩散DDQN电网关键节点辨识方法

针对所构建的电网关键节点识别MDP模型，本文提出优势约束和多头注意力机制辅助的改进扩散DDQN电网关键节点辨识方法，其采用扩散模型模拟节点间的信息传递特性，使智能体能够更全面地了解节点的关键程度；使用优势约束和多头注意力机制动态调整智能体对运行特征的关注度，提升其识别准确性及对复杂电网环境的适应性。

3.1 改进的扩散DDQN算法

DDQN是针对传统DQN算法中Q值高估现象的一种改进方法^[31]。本文在DDQN的基础上，提出引入扩散模型的DDQN算法来进行电网关键节点辨识。在电网运行过程中，受到外界因素（如故障、负荷波动、发电变化等）影响时，一些节点的状态可能发生变化，这些变化会在整个网络中逐步扩散。扩散模型用于模拟电网受扰动时，节点间的电压波动、功率传输和网络结构影响的传播过程。例如，当某个关键节点（如变电站或负荷中心）发生扰动（如负荷突增或设备故障）时，该扰动不仅影响该节点，还会通过电网拓扑传播到相邻节点，甚至影响整个系统的稳定性。

通过设定扩散步数为T，邻接矩阵\mathit{C}\in {\mathit{ℝ}}^{n\times n}，每步中信息通过概率扩散到相邻节点。信息传播矩阵每一步的扩散过程可通过式（17）来模拟信息传播：

{\mathit{X}}_{t+\mathrm{1}}=\eta \mathit{C}{\mathit{X}}_t+\delta {\mathit{X}}_{\mathrm{0}}+\sigma {\mathit{X}}_t（17）

式中，{\mathit{X}}_t为在第t步扩散后的信息矩阵，\eta为扩散的权重，\delta为原始信息的保留系数，\sigma为之前状态的保留权重，{\mathit{X}}_{\mathrm{0}}为初始状态信息。经过T步扩散，最终状态{\mathit{X}}_T为扩散模型下节点及其邻居节点的信息集合。通过不断扩散，信息从当前节点传递到邻居节点，形成一个动态的状态空间。具体地，实现扩散模型的伪代码如下。

输入：当前节点状态s_t、邻接矩阵 C 、扩散步数T、扩散权重\eta、原始信息保留系数\delta、之前状态的保留权重\sigma、扩散模型参数{\theta }^{\text{'}}。

1.初始化当前节点状态s_t，即当前智能体所处节点位置及其属性，其余节点属性初始化；

2.初始化扩散状态矩阵{\mathit{X}}_t={\mathit{X}}_{\mathrm{0}}；

3. for t=1 to T do

4. 前向扩散q(x_t|x_{t-\mathrm{1}})=N(x_t;\sqrt[]{\mathrm{1}-{\eta }_t}{x}_{t-\mathrm{1}},{\eta }_t\mathit{C})；//N(\cdot )为高斯函数，x_t为第t步扩散后的状态矩阵的元素，{\eta }_t为第t步加入随机噪声的扩散权重；

5. 状态更新{\mathit{X}}_t\leftarrow {\mathit{X}}_{t+\mathrm{1}}；

6. 标准化状态信息；

7. end for

8.计算扩散最终状态{\mathit{X}}_T；

9.逆向过程p_{{\theta }^{\text{'}}}(x_{t-\mathrm{1}}\left|x_t)=N(x_{t-\mathrm{1}};{\mu }_{{\theta }^{\text{'}}}(x_t,t),{\Sigma }_t)\right.；//{\mu }_{{\theta }^{\text{'}}}(x_t,t)为由扩散模型参数化的均值预测函数，{\Sigma }_t为第t步的方差；

10.计算扩散模型训练损失L_{\mathrm{d}}；

11.优化扩散模型参数{\theta }^{\text{'}}；

输出：扩展状态空间S_t^{\text{'}}。

相较于一般DDQN算法，本文引入扩散模型的DDQN的改进之处包括：

1）状态空间扩展。在每一步决策过程中，除了当前节点的信息s_t，还将扩散后的邻域信息{\mathit{X}}_T作为状态输入，构成扩展的状态空间S_t^{\text{'}}\triangleq [S_t,{\mathit{X}}_T]。

2）动作选择。结合扩散后的状态空间S_t^{\text{'}}，动作选择a_t=\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}Q(s_t^{\text{'}},a)，其中：argmax(·)表示找出使函数取得最大值的自变量；Q函数为动作价值函数，更加多样，训练的智能体泛化能力更强。

3）Q值更新及传播影响。在更新Q值时，目标y_t=r_t+\gamma Q^{\text{'}}(s_{t+\mathrm{1}}^{\text{'}},\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}Q(s_{t+\mathrm{1}}^{\text{'}},a^{\text{'}}))遵循DDQN的计算方式，其中：r_t为当前步的即时奖励；\gamma为折扣因子，用于衡量未来奖励的重要性；Q^{\text{'}}为目标网络给出的下一状态的估计价值；a^{\text{'}}为下一时刻的动作。状态空间已被扩展为S_t^{\text{'}}，并结合节点信息计算其传播影响：

\begin{array}{l}\mathrm{d}\mathrm{i}\mathrm{f}\mathrm{f}\mathrm{u}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}(G,a_i)=\\ {\displaystyle \sum _{i=\mathrm{1}}^N}\left|{\displaystyle \sum _{t=\mathrm{1}}^T}\sqrt[]{{\alpha }_t}({\mathit{A}}^t{\xi }_t){\mathit{X}}_t+{\displaystyle \prod _{t=\mathrm{1}}^T}\sqrt[]{\mathrm{1}-{\alpha }_t}{\mathit{X}}_{\mathrm{0}}(i)\right|\end{array}（18）

式中，{\mathit{A}}^t为t步扩散后的邻接矩阵扰动传播的多跳路径与强度分布信息，{\xi }_t为第t步加入随机噪声，{\alpha }_t为扩散模型中的第t步加入噪声的调度参数。

4）经验回放。扩散模型生成的每个新状态s_t^{\text{'}}被存储在经验回放池中，智能体根据经验回放池中的优先级选择训练样本进行学习。经验回放时，样本选择的依据是时序差分（TD）误差，采样优先级p_i为：

p_i=\frac{\left|{\delta }_i^{\text{'}}\right|+ϵ}{\sum _i\left|{\delta }_i^{\text{'}}\right|+Nϵ}（19）

式中，{\delta }_i^{\text{'}}为TD误差，ϵ为一个极小的正常数。

5）损失函数。基于扩展状态空间S_t^{\text{'}}和扩散后的Q值来计算损失函数L(\theta )为：

\begin{array}{l}L(\theta )={\mathbb{E}}_{s_t,a_t,r_t,s_{t+\mathrm{1}}}[(Q(s_t^{\text{'}},a_t;\theta )-(r_t+\\ \gamma Q^{\text{'}}(s_{t+\mathrm{1}}^{\text{'}},\underset{a^{\text{'}}}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}Q(s_{t+\mathrm{1}}^{\text{'}},a^{\text{'}};{\theta }^{-}{))))}^{\mathrm{2}}]\end{array}(20)

式中，\mathbb{E}(\cdot )为数学期望，\theta为Q网络的参数，{\theta }^{-}为目标网络的参数。

本文改进的扩散DDQN方法通过模拟网络节点之间的信息传播过程，使智能体能够捕捉整个电网的全局动态特性。这种信息传递机制使智能体在评估节点关键性时能够全面考虑系统整体的关联结构，从而更加有效地识别电网关键节点。同时，引入扩散模型的DDQN方法丰富了智能体的状态空间表征，使状态空间能够动态反映电网的结构特征和节点间的相互作用；该动态状态空间为智能体提供了更完备的特征信息，相比于仅依赖局部信息，智能体在该动态状态空间中可融合全局特征进行学习与决策，从而增强其在决策过程中的灵活性和有效性。

3.2 优势约束和多头注意力机制辅助的扩散DDQN电网关键节点辨识

在电网关键节点识别任务中，为提升智能体在复杂动态环境下的学习能力和决策质量，辅助智能体在策略提升过程中关注电网运行的重要特征，结合优势约束和多头注意力辅助机制进一步改进扩散DDQN算法，其结构如图3所示。

图3中， Q_h 、 K_h 、 V_h 分别为第h个注意力头的查询、键、值的向量，{\mathit{W}}_h^{\mathit{Q}}、{\mathit{W}}_h^{\mathit{K}}、{\mathit{W}}_h^{\mathit{V}}分别为第h个注意力头的可学习的查询、键、值的权重矩阵，Q_评估、Q_目标分别为评估网络和目标网络的Q值，a_{\mathrm{m}\mathrm{a}\mathrm{x}}为使Q值最大的动作。

其中，优势约束策略通过动态调整策略提升中的约束强度，使智能体能平衡探索和利用之间的关系^[32]。该策略用优势加权回归（AWR）^[33]对状态-动作对的优势来实现加权，以获得有较高优势动作的新策略{\pi }^{\mathrm{*}}(a|s)：

{\pi }^{\mathrm{*}}(a|s)\propto {\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}(a|s)\mathrm{e}\mathrm{x}\mathrm{p}\left(\frac{A^{\mathrm{*}}(s,a)}{\phi }\right)（21）

式中，{\pi }_{\mathrm{o}\mathrm{l}\mathrm{d}}(a|s)为之前学习到的节点调整策略，A^{\mathrm{*}}(s,a)为节点状态-节点调整动作对的优势函数，\phi为控制优势对策略更新影响的温度系数。在优势约束策略中，动态调整策略约束强度的关键在于选择合适的\phi值。在初始探索阶段，可设置较大的\phi值，保证节点调整动作选择的多样性；学习阶段，可逐步调小\phi，使策略更快集中到较高优势动作。利用指数递减函数对\phi值动态更新，动态更新的温度参数\phi (t)为：

\phi (t)={\phi }_{\mathrm{0}}\cdot \mathrm{e}\mathrm{x}\mathrm{p}(-\tau n_{\mathrm{d}})（22）

式中：{\phi }_{\mathrm{0}}为初始温度参数；\tau为衰减系数，用于控制收敛速度；n_{\mathrm{d}}为当前训练轮次数。这种优势函数和温度参数相结合的新策略能够引导智能体优先选择那些对整体系统影响较大的操作，从而提高关键节点识别的准确性和效率。

电网关键节点辨识时，网络拓扑、节点负载、电压水平等属性特征对于智能体的决策至关重要。多头注意力机制能够帮助智能体在策略提升过程中从不同的视角聚合这些重要特征，理解电网节点各属性间的交互作用。首先， 将表示电网节点属性的电压水平、功率潮流、加权电气距离、特征向量和节点度、节点强度等特征作为多头注意力机制的输入。定义由节点属性构成的节点特征向量\mathit{X}\in {\mathbb{R}}^{N\times d}，其中，d为特征维度，每个注意力头先对其进行线性变换，生成查询（query）、键（key）、值（value）3个子空间。对于第h个注意力头，3个子空间的线性变换表示为：

\left\{\begin{array}{l}{\mathit{Q}}_h=\mathit{X}{\mathit{W}}_h^{\mathit{Q}},\\ {\mathit{K}}_h=\mathit{X}{\mathit{W}}_h^{\mathit{K}},\\ {\mathit{V}}_h=\mathit{X}{\mathit{W}}_h^{\mathit{V}}\end{array}\right.（23）

式中，{\mathit{W}}_h^{\mathit{Q}},{\mathit{W}}_h^{\mathit{K}},{\mathit{W}}_h^{\mathit{V}}\in {\mathbb{R}}^{N\times d}。利用点积注意力计算节点i的邻居节点j的注意力权重{\omega }_{ij}：

{\omega }_{ij}=\underset{j}{\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}}\left(\frac{{\mathit{Q}}_h(i)\cdot {\mathit{K}}_h^{\mathrm{T}}(j)}{\sqrt[]{d_{\mathit{k}}}}\right)（24）

式中，{\mathit{Q}}_h(i)和{\mathit{K}}_h^{}(j)分别为节点i的查询向量和节点j的键向量，softmax函数确保所有权重归一化，d_{\mathit{k}}为各注意力头键向量（ k ）的维度。

然后，计算节点的输出特征向量。注意力权重{\omega }_{ij}决定了每个邻居节点特征在聚合中的重要性，且每个节点的输出特征向量是邻居节点的加权和，则第h个注意力头输出的节点i的输出特征向量{\mathit{O}}_h(i)为：

{\mathit{O}}_h(i)=\sum _{j\in \mathit{𝒩}(i)}{\omega }_{ij}{\mathit{V}}_h(j)（25）

式中，\mathrm{𝒩}(i)为节点i的邻居节点集合，{\mathit{V}}_h(j)为第h个注意力头中节点j的值向量。因此，在计算完所有H个注意力头的特征后，将各个头的输出拼接，并通过线性变换得到最终的节点输出特征向量{\mathit{O}}_i矩阵为：

{\mathit{O}}_i={\mathit{W}}^{\mathrm{0}}[{\mathit{O}}_{\mathrm{1}}(i)||{\mathit{O}}_{\mathrm{2}}(i)||\cdots ||{\mathit{O}}_H(i)]（26）

式中，{\mathit{W}}^{\mathrm{0}}为输出层的线性变换矩阵，||表示特征拼接操作。通过多头注意力机制，每个节点的特征向量矩阵{\mathit{O}}_i融合了其自身和邻居节点的拓扑和电气特性的多重信息来源。

基于优势约束和多头注意力机制的扩散DDQN的电网关键节点辨识方法的伪代码如下。

输入：初始化评估网络和目标网络参数、经验回放池M_e、抽样组数B、epsilon-greedy策略的探索概率\epsilon、折扣系数\gamma、学习率l_{\mathrm{r}}、总训练轮次数N_{\mathrm{e}}、每轮次步数T、目标网络更新频率N_{\mathrm{u}}、扩散模型参数（扩散步数T^{\text{'}}和扩散权重系数\eta等）、优势函数的温度参数\phi。

1. for N_{\mathrm{e}\mathrm{p}\mathrm{i}\mathrm{s}\mathrm{o}\mathrm{d}\mathrm{e}}=\mathrm{1}\mathrm{t}\mathrm{o}{N}_{\mathrm{e}} do//N_{\mathrm{e}\mathrm{p}\mathrm{i}\mathrm{s}\mathrm{o}\mathrm{d}\mathrm{e}}为当前训练轮次的编号；

2. 先初始化电网环境、当前节点状态s_t，即当前智能体所处节点位置及其属性，再初始化其余节点属性；

3. 初始化链路连接信息、动作空间A；

4. 初始训练步数k；

5. for t=\mathrm{1,2},\cdots ,T do

6. 根据优势约束A(s,a)，Q网络选择动作；

7. 执行动作a_t得到新状态s_{t+\mathrm{1}}的奖励值r_t；

8. 将\{s_t,a_t,r_t,s_{t+\mathrm{1}}\}存储到经验回放缓冲池M_e中；

9. 在扩散模型作用下，将S_{t+\mathrm{1}}结合扩散信息形成状态空间S_{t+\mathrm{1}}^{\text{'}}；

10. 将\{s_t^{\text{'}},a_t,r_t,s_{t+\mathrm{1}}^{\text{'}}\}存储到经验回放缓冲池M_e中；

11. 更新环境，定义当前节点状态s_t\leftarrow s_{t+\mathrm{1}}^{\text{'}}，t = t+1；

12. if |M_e| >B then

13. 从经验回放池M_e中，依据优先级经验回放策略获取数量为B的经验样本；

14. 计算重要性采样权重{\omega }_i；

15. 根据优势约束策略，动态调整目标动作选择及\phi参数；

16. 利用多头注意力机制对不同节点状态进行特征提取，计算不同节点输出特征向量{\mathit{O}}_i；

17. 利用随机梯度下降更新当前Q网络的参数\omega (t)=\omega (t-\mathrm{1})-l_{\mathrm{r}}\nabla L(\omega (t-\mathrm{1}))；

18. 每隔N_{\mathrm{u}}时间步，利用当前网络参数替换目标网络参数，即{\theta }^{-}\leftarrow \theta；

19. 优化扩散模型，根据加权奖励和损失函数调整模型参数{\theta }^{\text{'}}、\theta；

20. 更新转移序列的优先级及\epsilon的值；

21. end if

22. end for

23. end for

4 算例仿真与结果分析

4.1 实验数据

本文选择IEEE 30和IEEE 118电力网络数据集进行实验，如表2所示，|V|、|E|、〈k〉、k_{\mathrm{m}\mathrm{a}\mathrm{x}}、〈C〉分别为节点数、边数、平均度、最大度和平均聚类系数。所提及学习算法的相关参数如表3所示。

4.2 节点重要度辨识结果

以IEEE 30节点为例，进行节点重要度辨识的仿真实验。节点重要度排序的获得并非由单次动作或单一指标直接决定，而是通过“训练‒评估‒汇总”3阶段实现。首先，基于改进的扩散DDQN模型训练智能体，使其在不同电网状态下学习选择能够最大化累积回报的节点操作策略；随后，在评估阶段对各候选节点分别进行扰动仿真，记录其对系统电压稳定性、负载变化及扩散影响等指标的综合响应；最后，将这些指标归一化，按权重融合形成节点重要度值，据此进行排序，以获得IEEE 30节点的重要度序列。IEEE 30节点的重要度的排序结果如图4所示。取前10个重要节点的排序结果，并分别与DDQN、接近中心性^[34]、改进PageRank^[35]方法进行对比，如表4所示。

由表4可见：接近中心性和改进PageRank方法在某些节点的重要度排序上与本文方法相符，例如：节点6、10、4、12、9、2在这3种方法中均排在前10位，且节点6在本文方法、接近中心性和改进PageRank方法中都排在第1位；除此之外，所有方法均将节点10排在了前两位，进一步验证了节点10在该电网中的核心节点地位。本文方法将节点12排在了第3位，这是因为：与节点4相比，节点12为枢纽型节点及发电机节点13的第1个邻居节点，且位于大量下游负荷之间的主通路上；节点4因受到干扰后动态影响力低于节点12，所以排序后移。这反映出本文方法对节点不同属性及类型的独特敏感性。此外，采用本文方法得到排序靠前的节点均在其他方法中表现出显著的重要性，这归因于本文方法综合了更多电网运行状态信息，更加适用于复杂电网环境的节点关键性分析。

4.3 算法的收敛性

在基于PandaPower和PyPower构建的IEEE 30电网仿真环境中，通过智能体训练得到的总奖励值归一化来分析关键节点识别算法的收敛性能。图5分别给出了本文改进的扩散DDQN、扩散DDQN和DDQN算法的奖励值，为直观展示，图5中对奖励值进行了归一化。

由图5可见：采用扩散DDQN获得的归一化奖励值高于一般DDQN，且其收敛性更优，这主要是因为其中的Diffusion利用了节点与邻居节点间的关联属性，使状态空间更加动态和全局化，提升了智能体的决策能力，进而提高了关键节点的识别能力。本文提出的改进扩散DDQN可得到更高的归一化奖励值，且收敛性更优。这主要是由于通过在Diffusion-DDQN中引入优势约束机制，智能体在选择动作时能更好地权衡探索和利用之间的关系，从而提升了策略的收敛速度和稳定性；并且，多头注意力机制的引入使智能体能关注不同节点之间的多种特征关系，提高了智能体对不同节点类型的理解能力，有效增强了状态特征的表示能力，使决策更为精准。

4.4 辨识结果验证

4.4.1 评价指标

为了验证不同方法对电网关键节点辨识结果的可靠性，通常采用网络极大连通系数^[36]和网络效能^[37]两种衡量指标。通过逐步移除网络节点，并评估其对网络功能结构的影响程度，判断节点的重要性。影响越显著的节点，其在网络中的关键性越高。极大连通系数G_{\mathrm{g}\mathrm{c}\mathrm{c}}可用于衡量节点移除对网络连通性的影响，定义为：

G_{\mathrm{g}\mathrm{c}\mathrm{c}}=\frac{R}{N}（27）

式中，R为移除节点后网络中最大连通子图包含的节点数。极大连通系数G_{\mathrm{g}\mathrm{c}\mathrm{c}}随节点移除变化越大，说明该节点对于电网耦合影响越重要。网络效能指标E定义为：

（28）

式中，d_{ij}为电网中节点i到j的最短电气距离。移除节点时的网络效能下降比例越大，说明该节点对于电网传输能力影响越重要。

此外，本文采用电压稳定性指数（VSI）、负荷削减量（LSA）指标来宏观评估扰动对系统稳定性的整体影响。其中，VSI用于评估电网在关键节点受扰时的电压波动情况，反映系统整体的电压稳定性，其可以通过计算所有节点电压偏差幅度的均值来衡量，即I_{\mathrm{V}\mathrm{S}\mathrm{I}}为：

I_{\mathrm{V}\mathrm{S}\mathrm{I}}=\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}\left|v_i-v_{\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}\right|（29）

式中，v_i为扰动时的电压偏差，v_{\mathrm{n}\mathrm{o}\mathrm{m}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}为额定电压，通常为1.0 p.u.。I_{\mathrm{V}\mathrm{S}\mathrm{I}}值越大，系统电压波动越明显，表明稳定性越差。

LSA用于衡量节点受扰对系统整体负荷供应的影响，其可通过比较受扰前后的总负荷量变化来计算，即I_{\mathrm{L}\mathrm{S}\mathrm{A}}为：

I_{\mathrm{L}\mathrm{S}\mathrm{A}}=\left|P_{\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{l}}-P_{\mathrm{a}\mathrm{f}\mathrm{t}\mathrm{e}\mathrm{r}}\right|（30）

式中，P_{\mathrm{i}\mathrm{n}\mathrm{i}\mathrm{t}\mathrm{i}\mathrm{a}\mathrm{l}}为节点受扰前的总负荷，P_{\mathrm{a}\mathrm{f}\mathrm{t}\mathrm{e}\mathrm{r}}为节点受扰后的总负荷。I_{\mathrm{L}\mathrm{S}\mathrm{A}}值越大则干扰该节点对系统的影响越严重，也表明该节点对电网的电力供应更为重要。

4.4.2 仿真结果

以IEEE 30节点为例，基于上述评价指标研究不同节点辨识算法的稳定性。利用复杂网络分析常用指标，移除关键节点后不同方法的极大连通系数和网络效能仿真结果分别如图6、7所示。

由图6、7可见：当移除前10个重要节点后，不同方法的网络极大连通系数和网络效能指标均出现较大的下降，特别是在前半部分节点被移除后，所提方法的整体网络效能和极大连通系数均有一定程度的下降，且下降幅度整体比其他方法更大，这表明智能体能更有效地识别关键节点。由于节点数受限且各方法辨识出的前10位关键节点较为相似，当采用不同方法得到的节点排序依次移除10个节点后，因网络节点数相对较少，上述两个指标最终都较为接近，故应对IEEE 118节点训练智能体后再进行测试。

因IEEE 118网络节点数较多，故采用移除节点数占比的方式进行测试，移除关键节点后不同方法的极大连通系数和网络效能结果分别如图8、9所示。

由图8、9可见：当移除重要节点后，不同方法的极大连通系数和网络效能指标均出现较大的下降，且本文方法的指标下降幅度均大于其他两种传统方法；当前10.0%节点被移除后，本文方法的整体网络效能和极大连通系数分别为32.8%和0.44，其中，本文方法的网络效能降幅比DDQN方法增加3.5%，本文方法的极大连通系数降幅比接近中心性方法增加0.06；当移除关键节点占比为19.5%，本文方法的整体网络效能和极大连通系数分别降至14.6%、0.15，相较于改进PageRank方法，本文方法在这两个指标的降幅分别增加了4.7%、0.24，表明本文方法在较大规模电网中的关键节点辨识能力更强。

进一步地，在辨识出的关键节点施加适当干扰（电压干扰5%，负荷干扰10%），根据VSI和LSA指标的变化来判断不同方法的辨识效果，如图10所示。图10中，忽略了未考虑到电气特性的接近中心性方法，折线图为电压稳定性VSI，柱状图表示负荷削减量LSA。由图10可见：在关键节点受扰后，本文方法的电压稳定性指标变化均大于其他方法；DDQN方法考虑了相同的节点属性，虽然，其VSI指标的变化趋势与本文改进的扩散DDQN方法较为相似，但因该方法中的部分节点忽略了其邻居节点的相互作用，故DDQN方法的整体效果仍比本文方法低约10%。

由图10还可见：在负荷削减量方面，当对节点排序结果的前5%节点施加干扰时，本文方法、DDQN方法的负荷削减量均比改进PageRank方法高约60%；当受扰节点比例为25%时，本文方法的负荷削减量最高。综上，VSI和LSA的仿真结果均表明本文方法能辨识出对电网影响大的关键节点，这主要是因为其考虑电网的多属性特征，辨识能力更具综合性。

综上所述，相较于DDQN、改进PageRank和接近中心性方法，本文方法综合考虑电网拓扑结构特性和系统运行特性的影响，其稳定性整体优于其他方法，其辨识结果能更好地反映节点对电网拓扑及业务安全的关键性。

5 结 论

本文结合电网节点的拓扑结构和电气特性，提出一种基于改进扩散模型和深度双Q网络的电网关键节点识别方法。该方法通过引入扩散模型模拟节点间信息传递特性，利用优势约束提升智能体动作效率，并结合多头注意力机制从多个角度提取电网复杂拓扑的特征信息，使模型能更好地适应动态电网环境。仿真结果表明，本文方法在IEEE 30和IEEE 118节点系统上的关键节点识别效果及稳定性均较优，为防范大范围连锁故障和提升复杂电网运行安全性提供了有力的技术支持。未来可进一步结合实际运行数据及其他深度学习算法，优化电网关键节点识别性能，为电力系统的智能化发展提供更多技术可能性。

参考文献

[1] Moreno J, Shaw D.Community resilience to power outages after disaster:A case study of the 2010 Chile earthquake and tsunami[J].International Journal of Disaster Risk Reduction,2019,34:448-458. doi:10.1016/j.ijdrr.2018.12.016

[2] Yan Daobo, Wen Jinyu, Du Zhi,et al.Analysis of Texas blackout in 2021 and its enlightenment to power system planning management[J].Power System Protection and Control,2021,49(9):121-128.

[3] 严道波,文劲宇,杜治,等.2021年得州大停电事故分析及其对电网规划管理的启示[J].电力系统保护与控制,2021,49(9):121-128.

[4] Zhang Pengfei, Ma Changhui, Li Wei,et al.Analysis of two splitting accidents of European power grid in 2021 and consideration on power grid security in China[J].Automation of Electric Power Systems,2021,45(24):22-29.

[5] 张鹏飞,麻常辉,李威,等.2021年欧洲电网两次解列事故分析及对中国电网安全的思考[J].电力系统自动化,2021,45(24):22-29.

[6] Li Tao, Rong Lili, Yan Kesheng.Vulnerability analysis and critical area identification of public transport system:A case of high-speed rail and air transport coupling system in China[J].Transportation Research Part A:Policy and Practice,2019,127:55-70. doi:10.1016/j.tra.2019.07.008

[7] Arias Velásquez R M, Mejía Lara J V.Root cause analysis for shunt reactor failure in 500 kV power system[J].Engineering Failure Analysis,2019,104:1157-1173. doi:10.1016/j.engfailanal.2019.06.076

[8] Cai Zexiang, Wang Xinghua, Ren Xiaona.A review of complex network theory and its application in power systems[J].Power System Technology,2012,36(11):114-121.

[9] 蔡泽祥,王星华,任晓娜.复杂网络理论及其在电力系统中的应用研究综述[J].电网技术,2012,36(11):114-121.

[10] Chen Shiming, Wang Cong.Crucial nodes identification of cyber physical power system considering power flow characteristics[J].Computer Applications and Software,2021,38(12):50-55.

[11] 陈世明,王聪.考虑电力潮流特性的信息物理系统关键节点辨识[J].计算机应用与软件,2021,38(12):50-55.

[12] Li Changchao, Kang Zhongjian, Yu Hongguo,et al.Identification of key nodes in power communication network considering the importance of power businesses[J].Transactions of China Electrotechnical Society,2019,34(11):2384-2394.

[13] 李昌超,康忠健,于洪国,等.考虑电力业务重要性的电力通信网关键节点识别[J].电工技术学报,2019,34(11):2384-2394.

[14] Zou Yanli, Tan Shuyi, Liu Xinyan,et al.Power system critical node identification based on subnetwork partition[J].Chinese Journal of Computational Physics,2022,39(3):361-370.

[15] 邹艳丽,谭秫毅,刘欣妍,等.基于子网划分的电网关键节点识别[J].计算物理,2022,39(3):361-370.

[16] Wu Hao, Zhu Ziwei.Key lines identification in power grid based on comprehensive index calculated by the entropy weight-analytical hierarchy process[J].Electric Power,2020,53(5):39-47.

[17] 吴昊,朱自伟.基于熵权-层次分析法综合指标的电网关键线路辨识[J].中国电力,2020,53(5):39-47.

[18] Adebayo I G, Sun Yanxia.A novel approach for the identification of influential node in an electric power grid[C]//Proceedings of the 2019 14th IEEE Conference on Industrial Electronics and Applications(ICIEA).Xi'an:IEEE,2019:718-723. doi:10.1109/ICIEA.2019.8834042

[19] Wei Gang.Evaluation method of key nodes in power grid based on medium weight entropy degree[J].Application Research of Computers,2020,37(Supp1):27-30.

[20] 魏刚.基于介权熵度的电网关键节点评估方法[J].计算机应用研究,2020,37():27-30.

[21] Wang Haoxiang, Chen Junxi, Wei Zhenlin,et al.A novel algorithm for identifying key nodes in complex networks based on relative entropy and neighbor influence clustering[J].Journal of Beijing Jiaotong University,2024,48(2):154-164.

[22] 王灏翔,陈俊熙,卫振林,等.一种基于相对熵与邻居影响聚类的复杂网络关键节点识别新算法[J].北京交通大学学报,2024,48(2):154-164.

[23] Ahmad W, Wang Bang, Chen Si.Learning to rank influential nodes in complex networks via convolutional neural networks[J].Applied Intelligence,2024,54(4):3260-3278. doi:10.1007/s10489-024-05336-x

[24] Zhang Min, Liu Zesan, Fu Chenghua,et al.Identifying critical nodes in the power grid via deep learning methods[C]//Proceedings of the Eighth International Conference on Energy System,Electricity,and Power(ESEP 2023).Wuhan:SPIE,2024:15. doi:10.1117/12.3024227

[25] Li Xujie, Ji Pu, Sun Ying,et al.A node influence ranking algorithm in complex networks based on deep reinforcement learning[J].Telecommunication Engineering,2024,64(10):1644-1652.

[26] 李旭杰,吉普,孙颖,等.基于深度强化学习的复杂网络节点影响力排序算法[J].电讯技术,2024,64(10):1644-1652.

[27] Wang Liming.Identification of vital nodes in complex networks based on deep reinforcement learning[D].Bengbu:Anhui University of Finance & Economics,2020.

[28] 汪黎明.基于深度强化学习的复杂网络关键节点识别[D].蚌埠:安徽财经大学,2020.

[29] Fan Changjun, Zeng Li, Sun Yizhou,et al.Finding key players in complex networks through deep reinforcement learning[J].Nature Machine Intelligence,2020,2(6):317-324. doi:10.1038/s42256-020-0177-2

[30] Chen Na.Algorithm for detection of crucial nodes in complex networks based on graph neural network[J].Radio Engineering,2023,53(1):64-72.

[31] 陈娜.基于图神经网络的复杂网络关键节点检测算法[J].无线电工程,2023,53(1):64-72.

[32] Sun Zejun, Chang Xinfeng, Wang Feifei,et al.Critical nodes identification for power grid based on deep reinforcement learning[J].Electronic Design Engineering,2024,32(15):166-171.

[33] 孙泽军,常新峰,王飞飞,等.基于深度强化学习的电网关键节点识别[J].电子设计工程,2024,32(15):166-171.

[34] Wang Wangbing, Wang Xianpei, You Zezhang,et al.Research on key node identification method in electric power communication network[J].Power System Protection and Control,2018,46(1):44-49.

[35] 王汪兵,王先培,尤泽樟,等.电力通信网关键节点辨识方法研究[J].电力系统保护与控制,2018,46(1):44-49.

[36] Li Yunkun, Feipeng Lü, Jiang Ke,et al.Method for power system operation mode combination based on shortest electrical distance[J].Power System Protection and Control,2010,38(15):24-27.

[37] 李运坤,吕飞鹏,蒋科,等.基于最短电气距离的运行方式组合方法[J].电力系统保护与控制,2010,38(15):24-27.

[38] Yang Xiongping, Duan Xianzhong, Shi Dongyuan.Method for operation mode combination based on electric coupling of mesh network[J].Automation of Electric Power Systems,2005,29(23):64-68.

[39] 杨雄平,段献忠,石东源.基于环网电气耦合指标的运行方式组合方法[J].电力系统自动化,2005,29(23):64-68.

[40] Xu Weiting, Liu Junyong, Yao Liangzhong,et al.Clustering system islanding analysis considering voltage controllability[J].Automation of Electric Power Systems,2013,37(21):72-79.

[41] 胥威汀,刘俊勇,姚良忠,等.考虑节点电压可控性的聚类型电网解列分析[J].电力系统自动化,2013,37(21):72-79.

[42] Bialek J.Tracing the flow of electricity[J].IEE Proceedings—Generation,Transmission and Distribution,1996,143(4):313. doi:10.1049/ip-gtd:19960461

[43] Xu Jingyou, Chen Chong, Luo Chunjian,et al.Identification of power grid key parts based on improved complex network model[J].Automation of Electric Power Systems,2016,40(10):53-61. doi:10.7500/AEPS20150824006

[44] 徐敬友,陈冲,罗纯坚,等.基于改进复杂网络模型的电网关键环节辨识[J].电力系统自动化,2016,40(10):53-61. doi:10.7500/AEPS20150824006

[45] Liu Wenying, Dan Yangqing, Zhu Yanwei,et al.Research on physical indicators to identify power system self-organ-ized critical state[J].Transactions of China Electrotechnical Society,2014,29(8):274-280. doi:10.3969/j.issn.1000-6753.2014.08.035

[46] 刘文颖,但扬清,朱艳伟,等.复杂电网自组织临界态辨识物理指标研究[J].电工技术学报,2014,29(8):274-280. doi:10.3969/j.issn.1000-6753.2014.08.035

[47] Sun Qiming, Shi Libao, Ni Yixin,et al.An enhanced cascading failure model integrating data mining technique[J].Protection and Control of Modern Power Systems,2017,2(1):5. doi:10.1186/s41601-017-0035-3

[48] Ma Lijia, Shao Zengyang, Li Xiaocong,et al.Influence maximization in complex networks by using evolutionary deep reinforcement learning[J].IEEE Transactions on Emerging Topics in Computational Intelligence,2023,7(4):995-1009. doi:10.1109/tetci.2021.3136643

[49] Feng Bin, Hu Yijie, Huang Gang,et al.Review on optimization methods for new power system dispatch based on deep reinforcement learning[J].Automation of Electric Power Systems,2023,47(17):187-199.

[50] 冯斌,胡轶婕,黄刚,等.基于深度强化学习的新型电力系统调度优化方法综述[J].电力系统自动化,2023,47(17):187-199.

[51] Yang Yanhong, Ma Tengfei, Li Haitao,et al.Federated double DQN based multi-energy microgrid energy management strategy considering carbon emissions[J].Global Energy Interconnection,2023,6(6):689-699. doi:10.1016/j.gloei.2023.11.003

[52] Liu Jianwei, Gao Feng, Luo Xionglin.Survey of deep reinforcement learning based on value function and policy gradient[J].Chinese Journal of Computers,2019,42(6):1406-1438. doi:10.11897/SP.J.1016.2019.01406

[53] 刘建伟,高峰,罗雄麟.基于值函数和策略梯度的深度强化学习综述[J].计算机学报,2019,42(6):1406-1438. doi:10.11897/SP.J.1016.2019.01406

[54] Peng Xue bin, Kumar A, Zhang G,et al.Advantage-weighted regression:Simple and scalable off-policy reinforcement learning[EB/OL].[2025-05-13].

[55] Chen Shaonan, Liang Shuo, Li Shan,et al.Power grid vulnerability evaluation based on electrical centrality indicators[J].Distribution & Utilization,2021,38(8):70-76.

[56] 陈绍南,梁朔,李珊,等.基于电气中心性指标的电网脆弱性评估[J].供用电,2021,38(8):70-76.

[57] Zhu Darui, Wang Rui, Cheng Wenji,et al.Critical transmission node identification method based on improved PageRank algorithm[J].Power System Protection and Control,2022,50(5):86-93.

[58] 朱大锐,王睿,程文姬,等.基于改进PageRank算法的输电网关键节点辨识方法研究[J].电力系统保护与控制,2022,50(5):86-93.

[59] Ruan Yirun.Research on node importance ranking and influence maximization in complex networks[D].Changsha:National University of Defense Technology,2018.

[60] 阮逸润.复杂网络节点重要性排序和影响最大化问题研究[D].长沙:国防科技大学,2018.

[61] Lei Cheng, Liu Junyong, Wei Zhenbo,et al.Integrative evaluation model of node vulnerability considering network transmission ability and anti-interference ability[J].Electric Power Automation Equipment,2014,34(7):144-149. doi:10.3969/j.issn.1006-6047.2014.07.025

[62] 雷成,刘俊勇,魏震波,等.计及网络传导能力与抗干扰能力的节点综合脆弱评估模型[J].电力自动化设备,2014,34(7):144-149. doi:10.3969/j.issn.1006-6047.2014.07.025