自适应与多目标优化的VSG低频振荡TD3控制策略

Control strategy for low-frequency oscillation of VSG based on adaptive and multi-objective optimization with TD3

摘要

针对虚拟同步机（VSG）接入弱电网频发的低频振荡问题，提出一种融合动态惯量-阻尼协同调节与多模态双延迟深度确定性策略梯度算法的VSG智能控制方法。构建包含动态惯性-阻尼调节机制的增强型VSG模型，基于频率波动标准差与变化率的实时监测，设计参数连续自适应算法，实现惯量常数H和阻尼系数D的动态协同优化。设计深度前馈神经网络的振荡感知型定性策略梯度算法（TD3），采用双状态经验回放缓冲区结构，将低频振荡特征向量嵌入训练样本，并构建包含频率偏差惩罚、电压偏移抑制和振荡能量约束的多目标奖励函数。仿真和实际算例结果表明，该策略可实现VSG低频振荡的在线快速准确评估，增强系统阻尼与惯量，减少低频振荡风险，改善系统的稳定性。

Abstract

Aiming at the low-frequency oscillation problem frequently occurring in the weak grid connected with virtual synchronous generator (VSG), an intelligent control method for VSG is proposed, which integrates dynamic inertia-damping cooperative adjustment and multi-modal twin delayed deep deterministic policy gradient algorithm. An enhanced VSG model including dynamic inertia-damping adjustment mechanism is constructed. Based on the real-time monitoring of the standard deviation and change rate of frequency fluctuation, a continuous parameter adaptive algorithm is designed to realize the dynamic cooperative optimization of the inertia constant H and the damping coefficient D. The oscillation-aware deep deterministic policy gradient algorithm (TD3) is designed. The dual-state experience replay buffer structure is adopted to embed the low-frequency oscillation feature vector into the training samples, and a multi-objective reward function including frequency deviation penalty, voltage offset suppression and oscillation energy constraint is constructed. The simulation and actual case results show that the strategy can realize the online fast and accurate evaluation of VSG low-frequency oscillation, enhance the system damping and inertia, reduce the low-frequency oscillation risk, and improve the system stability.

Graphical abstract

关键词

虚拟同步机 / 低频振荡抑制 / 阻尼系数 / 动态惯量调节 / 双延迟深度确定性策略梯度算法

Key words

virtual synchronous generator / low-frequency oscillation suppression / damping coefficient / dynamic inertia adjustment / twin delayed deep deterministic policy gradient algorithm

0 引言

随着高比例新能源和电力电子设备接入电力系统^[1]，传统火电主导的电力系统正加速向新型电力系统转型^[2]。然而，新能源机组的低惯量特性致使系统整体惯量水平下降，引发频率稳定性恶化、功率振荡风险升高等问题，严重威胁电网安全运行^[3-4]。虚拟同步发电机（virtual synchronous generator，VSG）技术通过模拟同步发电机（synchronous generator，SG）转子动力学方程^[5-6]，赋予并网逆变器虚拟惯量和阻尼特性，有效提升系统的频率响应能力^[7]，被广泛研究与应用。

VSG在有效改善系统惯量的同时，会引入类似SG的机电暂态过程^[8]，其虚拟功角动态易激发0.1～2.5 Hz频段的低频振荡^[9]。电力系统稳定器（power system stabilizer，PSS）虽在传统同步机低频振荡抑制领域中具备扎实的理论与应用基础^[10]，但该技术基于相位补偿的线性化设计，难以适配高比例电力电子设备带来的强非线性、宽频域耦合特性，以及VSG本身参数动态适应性需求^[11]。文献[12]基于Phillips-Heffron模型分析低频振荡机制，通过相位补偿法设计虚拟电力系统稳定器（virtual power system stabilizer，VPSS）抑制VSG低频振荡，但VPSS依赖线性化模型设计，难以适应高比例电力电子设备引入的强非线性特征。文献[13]提出基于自抗扰的VSG有功附加阻尼控制策略来抑制低频振荡，但其自抗扰参数需手动整定，对多运行工况的鲁棒性不足。文献[14]提出一种惯性自适应控制，根据频率变化动态调整惯性时间常数，抑制频率扰动引发的振荡，但控制后的高惯性会削弱系统阻尼特性，延长振荡衰减时间。

深度强化学习（deep reinforcement learning，DRL）凭借免模型特性和端到端优化决策能力，为电力系统控制提供了新思路^[15]。DRL在微电网频率调节^[16]、多源协同调频^[17]等场景得到应用。然而，将DRL应用于VSG低频振荡抑制时，面临低概率-高风险事件捕捉困难和多时间尺度协同难两个关键挑战。传统DRL算法的经验回放机制多采用均匀随机采样，难以高效学习振荡这类暂态事件特征，严重影响策略性能。系统低频振荡事件发生概率较低，一旦发生，后果严重^[18]。VSG控制涉及秒级机电暂态和微秒级电磁瞬态，现有DRL研究多聚焦单一时间尺度，尤其以机电暂态为主^[19]，缺乏能够有效整合并协调两种不同时间尺度动态信息的统一架构。文献[20]模型过度复杂化，高阶非线性模型包含12个状态变量，导致控制器实时计算负担过大。文献[21]提出结合离线强化学习的VSG参数自适应调整框架，通过混合优化算法（coyote optimization algorithm with self-adaptive differential evolution，COA-jDE）离线训练，动态优化虚拟惯量和阻尼系数，但离线训练需精确的电网模型，实际系统参数偏差可能导致控制失效。

针对上述问题，本文提出一种VSG智能控制策略，通过构建环境模型实现对下一时刻状态的预测，提升调节响应速度。引入基于动作-评价（actor-critic，AC）框架的算法，同时融合动态惯量-阻尼协同调节机制与多模态双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient，TD3）算法，实现VSG低频振荡的在线快速准确评估。此策略等效提高系统阻尼与惯量，减少低频振荡风险，同时改善系统的稳定性。

1 VSG拓扑结构与原理

VSG控制模型包含外电路的滤波环节与控制电路两部分^[22]，其中，控制电路包括P-\omega控制、Q-E控制、电压电流双闭环控制等。VSG微网系统原理示意及结构见图1、图2。

图2中，有功-频率控制环节采用P-\omega下垂控制模拟同步发电机调频特性。加入虚拟惯量与阻尼得到同步机转子运动方程为

\left\{\begin{array}{l}J\frac{\mathrm{d}\omega }{\mathrm{d}t}=T_{\mathrm{m}}-T_{\mathrm{e}}=\frac{P_{\mathrm{m}}}{{\omega }_{\mathrm{0}}}-\frac{P_{\mathrm{e}}}{{\omega }_{\mathrm{0}}}-D\left(\omega -{\omega }_{\mathrm{0}}\right)\\ \frac{\mathrm{d}\delta }{\mathrm{d}t}=\omega \end{array}\right.，（1）

式中：\omega为角速度；J为转动惯量；D为阻尼系数；P_{\mathrm{m}}同步机机械功率；P_{\mathrm{e}}为电磁功率；T_{\mathrm{m}}和T_{\mathrm{e}}分别为虚拟机械转矩和虚拟电磁转矩；{\omega }_{\mathrm{0}}为虚拟同步机的参考角速度；\delta为虚拟内电势相角。

调速器有功功率与频率间的下垂特性满足

P_{\mathrm{m}}=P_{\mathrm{r}\mathrm{e}\mathrm{f}}+K_{\mathrm{p}}\left({\omega }_{\mathrm{0}}-\omega \right)，（2）

式中，P_{\mathrm{r}\mathrm{e}\mathrm{f}}、K_{\mathrm{p}}分别为参考有功功率和有功下垂系数。

联立式（1）和式（2）得到摆动方程为

\frac{\mathrm{1}}{{\omega }_{\mathrm{0}}}\left[P_{\mathrm{r}\mathrm{e}\mathrm{f}}+K_{\mathrm{p}}\left({\omega }_{\mathrm{0}}-\omega \right)-P_{\mathrm{e}}\right]-D\left(\omega -{\omega }_{\mathrm{0}}\right)=Js\mathrm{\Delta }\omega。（3）

图2中，通过无功调节、机端电压调节、空载电动势调节来模拟同步电机的无功和电压调节特性，即Q-E控制。无功-电压环节控制方程为

E_{\mathrm{m}}=\frac{\mathrm{1}}{s}\left[K_{\mathrm{i}}\left(U_{\mathrm{g}}-U_{\mathrm{0}}\right)+K_{\mathrm{q}}\left(Q_{\mathrm{r}\mathrm{e}\mathrm{f}}-Q_{\mathrm{e}}\right)\right]+E_{\mathrm{0}}，（4）

式中：E_{\mathrm{m}}为虚拟电势；E_{\mathrm{0}}为空载电势；Q_{\mathrm{r}\mathrm{e}\mathrm{f}}和Q_{\mathrm{e}}分别为参考无功功率和逆变器机端无功功率；U_{\mathrm{g}}、U_{\mathrm{0}}分别为网侧电压和虚拟同步机的参考电压；K_{\mathrm{q}}为无功下垂系数；K_{\mathrm{i}}为积分系数。

2 VSG低频振荡分析

2.1 VSG有功功率振荡分析

结合VSG转子运动方程以及VSG输出功率的计算公式，由图2可知

P_{\mathrm{e}}=\frac{\mathrm{3}E{U}_{\mathrm{g}}}{X}\theta，（5）

针对P_{\mathrm{e}}的闭环系统传递函数为

G_{P_{\mathrm{e}}}\left(s\right)=\frac{\mathrm{3}E{U}_{\mathrm{g}}/{\omega }_{\mathrm{0}}JX}{s^{\mathrm{2}}+\left(D/J\right)s+\mathrm{3}E{U}_{\mathrm{g}}/{\omega }_{\mathrm{0}}JX}，（6）

式（5）、式（6）中：E为桥臂中点电压；\theta为虚拟转子角；X为 VSG 输出阻抗与电网阻抗中的感性分量。

式（5）的微分方程为

\frac{{\mathrm{d}}^{\mathrm{2}}{P}_{\mathrm{e}}}{\mathrm{d}{t}^{\mathrm{2}}}+\frac{D}{J}\frac{\mathrm{d}{P}_{\mathrm{e}}}{\mathrm{d}t}+\frac{\mathrm{3}E{U}_{\mathrm{g}}}{{\omega }_{\mathrm{0}}JX}{P}_{\mathrm{e}}=\frac{\mathrm{3}E{U}_{\mathrm{g}}}{{\omega }_{\mathrm{0}}JX}{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}。（7）

系统振荡频率与其特征方程的虚部有关，对于式（7），当时，系统有一对共轭复根，此时振荡频率为

{\omega }_{P_{\mathrm{e}}}=\sqrt[]{\frac{\mathrm{3}E{U}_{\mathrm{g}}}{{\omega }_{\mathrm{0}}JX}-{\left(\frac{D}{\mathrm{2}J}\right)}^{\mathrm{2}}}，（8）

式中，{\omega }_{P_{\mathrm{e}}}为有功功率作用下的系统振荡频率。

当D设置过低时，系统阻尼转矩不足，导致特征根进入右半平面，引发振荡。J和D的协同作用直接影响系统动态特性，J过大会延缓频率响应并增加调节时间，而D不足会导致振荡幅度增大。

2.2 传统VSG的PSS面临的问题

传统VSG的电力系统稳定器（PSS）以输电线路功率、虚拟同步发电机角速度等低频振荡信号作为输入，输出励磁电压偏差并作用于虚拟同步机的自动电压调节器，补偿励磁系统的负阻尼转矩。然而，当系统采用固定惯量H和阻尼系数D时，易引发等幅振荡，其固定增益参数无法根据振荡强度自适应调整，导致系统缺乏动态阻尼补偿能力。在高渗透新能源电网中，随机功率波动会使频率偏差随扰动剧烈发散，表明线性模型不适配非线性扰动及新能源高渗透电网的非线性特性。此外，当VSG系统发生阶跃扰动后，可能出现频率偏差虽然被抑制，但功角偏差持续增大的情况；而且功角稳定时频率偏差可能会再次扩大，其单目标控制忽略了多目标平衡。

针对前述问题，可以根据实时计算的频率变化率和振荡幅值，动态调整H和D，通过深度强化学习策略切换振荡惩罚项，优先保障稳定性，并利用复合奖励函数平衡频率、电压、储能等多控制目标。针对复杂工况，TD3算法能够从数据中学习非线性映射关系，以适应电网变化，降低模型依赖性。

3 改进型VSG控制策略

3.1 改进型VSG控制策略架构

针对传统PSS无法根据系统实时状态准确抑制低频振荡的问题，融合VSG自适应控制算法、深度前馈神经网络（DFNN）与TD3算法，增强VSG低频振荡的抑制性能。在VSG控制算法中，引入阻尼和惯量自适应策略，实现系统动态特性的实时匹配；将功角、虚拟角频率、直流母线电压，以及自适应惯性常数与阻尼系数作为输入量，生成参考功率偏差信号叠加至原功率指令，以此抑制虚拟励磁调节器引发的动态耦合效应，系统控制架构见图3，主要包括增强型VGS自适应模型与深度强化学习智能体两部分。

3.2 增强型VSG自适应算法

本文所提出的增强型VSG自适应算法定义了两种工作模态，即正常调节模态和振荡抑制模态。通过监测系统运行状态参数，根据电网的动态特性与运行工况需求，自主选择最优工作模态，在保证系统稳定性的同时，实现动态性能的最优协调。

图3中，虚拟同步机基于传统虚拟同步机设计，并附加振荡检测模块和惯量阻尼参数自适应模块。在振荡检测模块中采样周期为0.02 s，通过计算频率标准差表征系统瞬时振荡幅度，即

\sigma =\sqrt[]{\frac{\mathrm{1}}{N}{\displaystyle \sum _{i=\mathrm{1}}^N}{\left(f_i-\mu \right)}^{\mathrm{2}}}，（9）

式中：N为窗口长度，取20；f_i为窗口内第i采样点频率的标幺值；\mu为窗口内频率平均值。

当\sigma>0.02（标幺值）且连续计数超过10个采样周期时，系统判定处于振荡状态，并随即进入振荡抑制模态。

惯量阻尼参数自适应模块依据振荡强度动态调节阻尼系数D。时，取基础值，D=1.0；\mathrm{0.02}\le \sigma \le \mathrm{0.05}时，线性增加D值；\sigma >\mathrm{0.05}时，取最大值，D=6.0。

此外，系统取窗口内后5个采样点的平均差分作为频率变化率指标，用以反映系统动态响应速度，即

\frac{\mathrm{d}f}{\mathrm{d}t}\approx \frac{\mathrm{1}}{k}{\displaystyle \sum _{j=\mathrm{1}}^k}\frac{f_{t-j+\mathrm{1}}-f_{t-j}}{\mathrm{\Delta }t}\hspace{1em}(k=\mathrm{5})。（10）

Hz/s时，取基础值，H=4.0 s；\mathrm{0}.{\mathrm{2}}_{}\mathrm{H}\mathrm{z}/\mathrm{s}\le \mathrm{d}f/\mathrm{d}t\le \mathrm{0}.{\mathrm{8}}_{}\mathrm{H}\mathrm{z}/\mathrm{s}时，线性增加H值；\mathrm{d}f/\mathrm{d}t>\mathrm{0.8} Hz/s时，取最大值，H=12.0 s。H的调节响应速度较快，主要应对突加/突减负荷情况。

3.3 自适应与多目标优化的VSG低频振荡TD3协同控制策略

为实现从复杂系统状态到最优控制动作的端到端映射，引入深度前馈神经网络（deep feed forward neural network，DFNN）进行控制。

由于VSG系统变量间强耦合特性，传统方法易引入冗余特征，引发维度灾难。基于动态过程主导模式提取低频振荡核心特征，在保证物理可解释性的同时降低维度复杂性。在本文中，输入层接收相位角θ、角频率ω、直流电压V_dc、动态惯性常数H和动态阻尼系数D，隐藏层采用双层结构，输出层则输出P_{\mathrm{r}\mathrm{e}\mathrm{f}}和Q_{\mathrm{r}\mathrm{e}\mathrm{f}}，见图4。

本文提出基于深度前馈神经网络（DFNN）与TD3算法的协同架构（DFNN-TD3）。DFNN通过非线性映射从VSG动态参数中精准提取低频振荡特征，显著提升模态辨识精度。TD3直接处理连续有功/无功指令，避免离散优化方法的维度灾难；其奖励函数无缝整合多冲突目标（稳定性/经济性），无需复杂的权重调节。此架构中的Actor与双Critic网络均为双层DFNN结构。采用双Q值下限策略，有效抑制高维输入估值过拟合，实现稳健动作价值估计。设计核心要素如下。

（1）状态空间设置。为了更好地描述VSG系统低频振荡的状态，设置覆盖VSG系统动态的核心变量，观测值为

S\left(t\right)={\left(\begin{array}{ccccc}\delta & \omega & V_{\mathrm{d}\mathrm{c}}& H& D\end{array}\right)}^{\mathrm{T}}。（11）

基础状态\left[\delta ,\omega ,V_{\mathrm{d}\mathrm{c}}\right]构成最小完备集，可完整描述VSG机电暂态过程。新增H/D参数形成闭环反馈，使智能体感知自身参数调整策略的效果。

（2）动作空间设置。将动作输出设置为VSG的有功功率参考值和无功功率参考值。

{\mathit{a}}_t={\left(\begin{array}{cc}{P}_{\mathrm{r}\mathrm{e}\mathrm{f}}& Q_{\mathrm{r}\mathrm{e}\mathrm{f}}\end{array}\right)}^{\mathrm{T}}。（12）

P_{\mathrm{r}\mathrm{e}\mathrm{f}}限制在[-1.5 MW, 1.5 MW]内，其目的是防止功率指令突变造成设备过载；同时，有功指令通过调节ω和θ，实现主控频率稳定与振荡抑制。Q_{\mathrm{r}\mathrm{e}\mathrm{f}}限制在[-0.8 Mvar, 0.8 Mvar]内，以保证无功调节在设备容量范围内。无功指令主要影响V_dc的稳定性与阻尼增强。

（3）奖励函数的设置。采用混合奖励机制为

R\left(s,a\right)=-\mathrm{8}{\left(\omega -\mathrm{1}\right)}^{\mathrm{2}}-\mathrm{0.2}{\left(V_{\mathrm{d}\mathrm{c}}-V_{\mathrm{0}}\right)}^{\mathrm{2}}-

\begin{array}{ccc}& & \end{array}\mathrm{0.01}\left(P_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{2}}+Q_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{2}}\right)+\mathrm{0.5}\mathrm{c}\mathrm{o}\mathrm{s}\theta -\mathrm{2.0}{I}_{\mathrm{o}\mathrm{s}\mathrm{c}}，（13）

式中：-\mathrm{8}{\left(\omega -\mathrm{1}\right)}^{\mathrm{2}}为频率偏差惩罚，鼓励频率稳定在50 Hz，确保快速抑制频率波动，反映电网频率稳定的最高优先级；-\mathrm{0.2}{\left(V_{\mathrm{d}\mathrm{c}}-V_{\mathrm{0}}\right)}^{\mathrm{2}}为电压偏差惩罚，鼓励直流电压稳定在额定电压V₀，防止电压越限，允许短期波动但抑制持续偏差；\mathrm{0.01}\left(P_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{2}}+Q_{\mathrm{r}\mathrm{e}\mathrm{f}}^{\mathrm{2}}\right)为控制能耗惩罚项，避免P_{\mathrm{r}\mathrm{e}\mathrm{f}}和Q_{\mathrm{r}\mathrm{e}\mathrm{f}}过大，最小化控制指令幅值，避免控制量饱和，平衡控制效果与设备损耗；\mathrm{0.5}\mathrm{c}\mathrm{o}\mathrm{s}\theta为同步稳定性奖励项，促进功角收敛（θ→0），引导VSG与电网同步，θ=0时奖励最大；I_{\mathrm{o}\mathrm{s}\mathrm{c}}为二值指示标志（0或1），表示系统当前是否检测到持续功率振荡，其计算逻辑基于VSG自适应模型中的振荡检测模块，当系统处于正常运行模态时取0，当系统处于振荡抑制模态时取1。\mathrm{2.0}{I}_{\mathrm{o}\mathrm{s}\mathrm{c}}为抑制惩罚项，当系统处于振荡抑制模态时，给予额外惩罚，通过负反馈机制，避免引发或维持振荡。

该框架以频率稳定性、电压稳定、能量效率、同步性能和振荡抑制5个核心目标进行协同优化。通过深度强化学习的奖励机制实现多目标统一优化，规避传统权重分配的复杂性，构建以频率/电压稳定为核心、经济性为基础、同步与抗振荡为保障的综合优化体系。

3.4 经验回放环节

经验回放存储并随机抽取历史数据，消除时序相关性导致的训练不稳定，减少环境交互以避免局部最优。该机制将深度强化学习转化为离线批学习，结合目标网络平衡探索与利用的博弈，显著提升VSG低频振荡抑制效率及策略泛化性能。

在每次智能体与环境交互时，生成经验元组为

e(t)=\left(s(t),a(t),r(t),s(t+\mathrm{1}),d(t)\right)，（14）

式中：s(t)表示当前状态；a(t)表示执行动作；r(t)表示获得的即时奖励；s(t+\mathrm{1})表示转移到的下一状态；d(t)为终止表征，1为终止，0为继续。

在标准五元组（状态、动作、奖励、下一状态、终止标志）基础上，新增第六维振荡状态标志（即正常调节模态或振荡抑制模态状态标志），该标志由VSG动态模型实时生成的振荡检测算法驱动，使经验样本携带系统暂态特征。

所有经验存储在固定容量的循环缓冲区内，每次训练时，从缓冲区中均匀随机抽取一个批量为B的样本，计算Q值目标y_j，并更新Q网络。

y_j=r_j+\gamma \left(\mathrm{1}-d_j\right)\mathrm{m}\mathrm{i}{\mathrm{n}}_{k=\mathrm{1,2}}{Q}_{t,k}\left(s_{j+\mathrm{1}},{\pi }_t\left(s_{j+\mathrm{1}}\right)\right)，（15）

式中：Q_{t,k}为目标Q网络；{\pi }_t为目标策略网络；\gamma为折扣因子。

为最小化Q网络预测值与目标值的均方误差，定义损失函数为

L_{\mathrm{c}\mathrm{r}\mathrm{i}\mathrm{t}}=\frac{\mathrm{1}}{B}{\displaystyle \sum _{j=\mathrm{1}}^B}{\left[Q(s_j,a_j)-y_j\right]}^{\mathrm{2}}。（16）

式中：B为批量大小；Q(·)为动作价值函数；s_j 为第j个样本对应的状态；a_j 为第j个样本对应的动作；y_j 为第j个样本对应的Q值目标值。

对策略网络（Actor）采用延迟更新策略，以最大化Q值为目标，定义损失函数为

L_{\mathrm{a}\mathrm{c}\mathrm{t}}=-\frac{\mathrm{1}}{B}{\displaystyle \sum _{j=\mathrm{1}}^B}Q\left(s_j,\pi \left(s_j\right)\right)，（17）

式中，\pi \left(s_j\right)为策略网络在状态s_j 下输出的动作。

经验回放环节通过打破数据的时间相关性使训练过程更稳定，避免了神经网络因近期经验而产生波动。同时，该环节高效复用历史经验大幅提高了数据利用率，使算法的抑制速度进一步提升。

4 算例分析

搭建虚拟同步发电机（VSG）控制的并网逆变器系统，系统各部分参数见表1～表3。

4.1 DFNN-TD3增强型VSG抑制低频振荡稳定性分析

为验证本文算法在系统发生不同频率低频振荡的泛化抑制能力，在t为1s时，向系统注入振幅为0.05（标幺值），频率分别为0.3 Hz、1.0 Hz、2.2 Hz的低频振荡扰动，设置采样步长为0.01 s，仿真时长为10 s，分析DFNN-TD3增强型VSG在频率稳定性方面的动态响应特性，结果见图5，可知DFNN-TD3增强型VSG的频率偏差可分别在1.8 s、1.5 s和1.1 s内趋于0，即残余振荡小于0.000 4 （标幺值），表明该模型具有较好的低频振荡抑制能力。

4.2 DFNN-TD3增强型VSG、TD3-VSG和普通增强型VSG对比分析

为验证改进效果，在t为1 s时，向系统注入发生频次最高和最具代表性的低频振荡扰动，其振幅为0.05（标幺值）、频率为1.0 Hz。采样步长取0.01 s，仿真时长为10 s，3种算法的动态响应特性见图6。

由图6可知，TD3-VSG控制器的振荡虽呈现衰减态势，但速度缓慢，存在明显残余振荡，振幅约为0.03，表明其对频率扰动的抑制能力有限；普通增强型VSG振荡衰减缓慢（约3 s），存在振幅为0.015的残余振荡；而DFNN-TD3增强型VSG在1.5 s内趋于0，说明其振荡抑制能力良好。

H的自适应提升可有效抑制频率变化，是提高频率稳定性的关键机制。不同VSG控制策略下，H的动态调整特性对比见图7。TD3-VSG采用固定值（H=4.0 s），无法根据系统状态调整虚拟惯性；普通增强型VSG的H提升有限（峰值点为5.3 s）；DFNN-TD3增强型VSG在振荡发生时，H快速提升至8.7 s（提升118%），增强了系统惯性支撑。

D的自适应提升决定了振荡衰减速率，是抑制功率和频率振荡的核心控制手段。不同VSG控制策略下，D的调整特性对比见图8。TD3-VSG采用固定值（D=1.0），导致系统阻尼不足；普通增强型VSG的D提升至2.8；DFNN-TD3增强型VSG在检测到振荡后，D迅速提升至6（提升500%），从而为系统提供强阻尼。

4.3 DFNN-TD3增强型VSG的先进性对比

为进一步验证本文算法的优越性，在与前节相同的扰动下，选取基于EMD-KPCA-LSTM与SVG控制的振荡抑制方法^[23]进行对比。

本文将LSTM的输出目标重映射为附加阻尼转矩增量\mathrm{\Delta }{T}_{\mathrm{d}\mathrm{a}\mathrm{m}\mathrm{p}}^{\mathrm{*}}，通过在线调整VSG 的 D 实现等效控制，替代原虚拟电阻指令；同时将SVG无功指令\mathrm{\Delta }{I}_{q\_\mathrm{s}\mathrm{v}\mathrm{g}}^{\mathrm{r}\mathrm{e}\mathrm{f}}依据系统短路容量等效为阻尼转矩\mathrm{\Delta }{T}_{\mathrm{d}\mathrm{a}\mathrm{m}\mathrm{p}}^{\mathrm{s}\mathrm{v}\mathrm{g}}，与\mathrm{\Delta }{T}_{\mathrm{d}\mathrm{a}\mathrm{m}\mathrm{p}}^{\mathrm{*}}叠加后输入VSG阻尼系数整定模块。所有可调参数针对算例独立优化，包括EMD/KPCA超参数、LSTM结构、增益系数 K_{\mathrm{\Delta }T} 及SVG控制器参数，采用网格搜索与敏感性分析完成优化过程。

两种VSG控制策略对频率扰动的动态响应见图9。

EMD-SVG振荡衰减缓慢（约3 s），存在振幅为0.015的残余振荡。DFNN-TD3增强型VSG在1.5 s内快速抑制振荡，频率偏差接近0，其核心优势在于通过增强虚拟惯性和阻尼特性，提高了频率稳定性。

将本文控制策略与BP神经网络和RBF神经网络协同的双网络架构控制方法^[24]进行对比。该双神经网络输出的虚拟惯量\mathrm{\Delta }{H}^{\mathrm{*}}和阻尼增量\mathrm{\Delta }{D}^{\mathrm{*}}指令，通过动态耦合方程深度嵌入本文VSG机电暂态模型，以实现VSG低频振荡抑制。所有核心参数针对本文算例独立优化，包括BP网络结构、RBF网络基函数宽度与中心向量、动态耦合增益、权重更新率等。优化采用混合策略，BP网络参数经遗传算法（GA）全局寻优，RBF参数通过梯度下降法在线微调。

两种控制策略下的频率波动特性见图10。双神经网络法呈现明显的频率振荡，振幅峰值为0.051，且存在稳态残余振荡。DFNN-TD3增强型VSG有效抑制频率波动，振荡幅值降低73%，1 s内快速衰减。

系统注入振幅为0.05，频率为1.0 Hz的低频振荡扰动后，抑制时间见表4。

综上，DFNN-TD3增强型VSG在抑制系统低频振荡方面展现出显著优势。

5 结论

本文提出一种基于动态惯量-阻尼协同调节与多模态深度强化学习的VSG智能控制方法，其核心在于将双延迟深度确定性策略梯度（TD3）算法与电力系统动态特性深度耦合，构建了“离线预训练-在线自适应”的双阶段控制架构。

（1）连续参数自适应算法通过实时监测频率特征（标准差与变化率），动态调节惯量与阻尼系数。当频率变化率大于0.2 Hz/s时，H最高提升至3倍基础值，增强惯性支撑；当频率波动加剧时，D最高提升至6倍基础值，快速抑制振荡。

（2）振荡感知TD3算法将自适应参数（H/D）纳入状态空间，使智能体感知系统动态；设计融合频率/电压偏差惩罚、同步奖励及振荡惩罚的奖励函数，平衡稳态与暂态性能；通过缓冲区振荡标志位实现差异化经验学习。

（3）结合参数自适应与深度强化学习的实时修正，实现复杂工况下低频振荡快速抑制与多时间尺度稳定控制。通过机电-电磁动态信息融合与H/D联动机制，解决多时间尺度耦合难题。

参考文献

[1] 冯煜尧,冯楠,熊雪君,等.基于自适应降维的含高比例风电交直流混联电网动态无功储备评估方法[J].电工电能新技术,2025,44(5):34-46.

[2] FENG Yuyao, FENG Nan, XIONG Xuejun, et al. Calculation method for dynamic reactive power reserve evaluation of AC/DC hybrid power grid based on adaptive dynamic dimension reduction[J]. Advanced Technology of Electrical Engineering and Energy, 2025, 44(5): 34-46.

[3] 程其云, 李峰, 罗澍忻, 等. 新型电力系统规划方法框架及关键支撑技术[J]. 电网技术, 2025, 49(6): 2219-2231.

[4] CHENG Qiyun, LI Feng, LUO Shuxin, et al. Research on the planning methodology framework and key supporting technologies for new power systems[J]. Power System Technology, 2025, 49(6): 2219-2231.

[5] 李佳旭,吴俊勇,李栌苏,等.电力系统频率安全评估与紧急控制研究综述[J].高电压技术,2025,51(4):1817-1833.

[6] LI Jiaxu, WU Junyong, LI Lusu, et al. Review on frequency safety assessment and emergency control of power system[J]. High Voltage Engineering, 2025, 51(4): 1817-1833.

[7] 张翔,余凌,张强,等.计及SOC 约束的构网型混合储能系统惯量自适应及二次调整控制[J]. 辽宁工程技术大学学报(自然科学版),2025,44(2):211-218.

[8] ZHANG Xiang, YU Ling, ZHANG Qiang, et al. Inertia adaptive control and secondary adjustment control of grid forming hybrid energy storage system considering SOC constraints[J]. Journal of Liaoning Technical University(Natural Science),2025,44(2):211-218.

[9] CHEN S M, SUN Y, HOU X C, et al. Quantitative parameters design of VSG oriented to transient synchronization stability[J]. IEEE Transactions on Power Systems, 2023, 38(5): 4978-4981.

[10] MA Y Z, XU J, GAO C X, et al. Low-frequency oscillations and resonance analysis of VSG-controlled PMSG-based wind generation systems[J]. Journal of Modern Power Systems and Clean Energy, 2025, 13(1): 115-127.

[11] 和萍,王明洋,文福拴,等.基于虚拟力矩补偿的储能虚拟同步发电机阻尼特性分析与控制[J].电力系统自动化,2025,49(11):102-113.

[12] HE Ping, WANG Mingyang, WEN Fushuan, et al. Damping characteristic analysis and control of energy storage virtual synchronous generator based on virtual torque compensation[J]. Automation of Electric Power Systems, 2025, 49(11): 102-113.

[13] 王海鑫,刘铭崎,董鹤楠,等.含高比例新能源的电力系统低频振荡分析与抑制综述[J].电力自动化设备,2023,43(9):152-163.

[14] WANG Haixin, LIU Mingqi, DONG Henan, et al. Review on analysis and suppression of low-frequency oscillation in power system with high penetration of renewable energy sources[J]. Electric Power Automation Equipment, 2023, 43(9): 152-163.

[15] QIN B S, XU Y H, YUAN C, et al. A unified method of frequency oscillation characteristic analysis for multi-VSG grid-connected system[J]. IEEE Transactions on Power Delivery, 2022, 37(1): 279-289.

[16] 谢小荣,李浩志,张丹,等.新型电力系统稳定器研究初探[J].电力系统自动化,2024,48(23):156-166.

[17] XIE Xiaorong, LI Haozhi, ZHANG Dan, et al. Preliminary study on stabilizer for new power systems[J]. Automation of Electric Power Systems, 2024, 48(23): 156-166.

[18] 韩英铎,陆超,宋文超,等.电力系统在线安全稳定计算分析技术综述与展望[J].中国电机工程学报,2024,44(17):6733-6761.

[19] HAN Yingduo, LU Chao, SONG Wenchao, et al. Review and prospects of online calculation and analysis techniques for power system security and stability[J]. Proceedings of the CSEE, 2024, 44(17): 6733-6761.

[20] 何海文.基于虚拟电力系统稳定器的低频振荡抑制策略研究[D].沈阳:沈阳工业大学,2023:16-28.

[21] KONG F N, ZHANG H C, WU Z L, et al. Nonlinear adaptive disturbance rejection control strategy based on VSG for photovoltaic-storage grid-connected inverter[J]. IEEE Access, 2023, 11: 139534-139545.

[22] WU H Y, DI Q, PEI X Y, et al. Analysis of low-frequency oscillation in dual virtual synchronous generators parallel system[C]//2024 IEEE International Conference on Energy Internet. November 1-3, 2024, Zhuhai, China. IEEE, 2025: 294-298.

[23] 李培恺,傅源,潘连荣,等.基于深度强化学习的风-光-储混合能源系统长短期协同调度[J/OL].电力系统及其自动化学报,2025:1-12[2025-06-18].

[24] LI Peikai, FU Yuan, PAN Lianrong, et al. Deep reinforcement learning-based long and short-term coordinated scheduling for wind-solar-storage hybrid energy systems[J/OL]. Proceedings of the CSU-EPSA, 2025: 1-12[2025-06-18].

[25] 赵为光,安佰杰, 杨莹, 等.基于稳定性约束深度强化学习的含源配电网分散式无功功率电压控制策略[J/OL].南方电网技术,2025:1-11[2025-06-22].

[26] ZHAO Weiguang, AN Baijie, YANG Ying, et al.Decentralized reactive power and voltage control strategy of distribution network with sources based on stability constraints for deep reinforcement learning[J/OL]. Southern Power System Technology,2025:1-11[2025-06-22].

[27] 杨悦,王丹,胡博,等.基于改进多智能体Q学习的多源最优联合调频控制策略研究[J].电力系统保护与控制,2022,50(7):135-144.

[28] YANG Yue, WANG Dan, HU Bo, et al. Multi-source optimal joint frequency modulation control strategy based on improved multi-agent Q-learning [J]. Power System Protection and Control, 2022, 50(7): 135-144.

[29] 彭自然, 贺振宇, 肖伸平, 等. 基于深度强化学习模型TD3优化和改进的电动汽车制动能量回收策略[J]. 控制与决策, 2025, 40(8): 2361-2372.

[30] PENG Ziran, HE Zhenyu, XIAO Shenping, et al. Electric vehicle brake energy recovery strategy based on deep reinforcement learning model TD3 optimization and improvement[J]. Control and Decision, 2025, 40(8): 2361-2372.

[31] 刘晓明,刘俊,姚宏伟,等.基于VSG的风光水火储系统频率调节深度强化学习方法[J].电力系统自动化,2025,49(9):114-124.

[32] LIU Xiaoming, LIU Jun, YAO Hongwei,et al. Deep reinforcement learning method for frequency regulation of wind-solar-hydro-thermal-storage systems based on virtual synchronous generator [J]. Automation of Electric Power Systems, 2025, 49(9): 114-124.

[33] LI X L, FENG P, TIAN Z, et al. Transient stability analysis for grid-tied VSG considering high-order nonlinear interactions between active and reactive power control loops[J]. IEEE Transactions on Power Electronics, 2024, 39(6): 6974-6988.

[34] YAMEEN M Z, LU Z G, EL-SOUSY F F M, et al. Improving frequency stability in grid-forming inverters with adaptive model predictive control and novel COA-jDE optimized reinforcement learning[J]. Scientific Reports, 2025, 15: 16540.

[35] 吕志鹏,盛万兴,钟庆昌,等.虚拟同步发电机及其在微电网中的应用[J].中国电机工程学报,2014,34(16):2591-2603.

[36] Zhipeng LYU, SHENG Wanxing, ZHONG Qingchang, et al. Virtual synchronous generator and its applications in micro-grid[J]. Proceedings of the CSEE, 2014, 34(16): 2591-2603.

[37] 张旭,徐鑫,董成武,等.基于EMD- KPCA-LSTM与SVG控制的双馈风电系统次同步振荡抑制方法[J].电气工程学报,2025,20(2):54-67.

[38] ZHANG Xu, XU Xin, DONG Chengwu, et al. Sub-synchronous oscillation suppression method for DFIG wind power systems based on EMD-KPCA-LSTM and SVG damping control [J]. Journal of Electrical Engineering, 2025, 20(2): 54-67.

[39] YAN L Q, ZHAO Z, ULLAH Z, et al. Optimization of optical storage VSG control strategy considering active power deviation and virtual inertia damping parameters[J]. Ain Shams Engineering Journal, 2024, 15(12): 103131.

基金资助

国家自然科学基金项目(62303183)