基于局部强化学习改进牛顿⁃拉夫逊算法的光伏MPPT智能控制

Intelligent Control for Maximum Power Point Tracking of Photovoltaic Power Generation Based on Local Reinforcement Learning Strategy Improving Newton-Raphson-Based Optimizer

摘要

目的 针对分布式发电领域光伏发电的最大功率点跟踪问题，提出基于智能优化算法的控制方法。 方法 探讨的牛顿-拉夫逊优化算法主要分为牛顿拉夫逊搜索规则和陷阱避免算子的引入，经过局部强化学习策略和变螺旋搜索策略改进后将其应用于光伏发电最大功率追踪问题。在三种实验环境下进行仿真，每种仿真环境设置了三次参数变化以改变光伏组件的最大发电功率，将改进后的算法与传统以及常见的最大功率控制技术在仿真结果中进行对比。 结果 结果表明本控制方法具有较好的全局收敛能力、收敛速度表现和鲁棒性。

Abstract

Purposes Aiming at the maximum power point tracking (MPPT) problem of photovoltaic power generation, a strong control method based on intelligent optimization algorithm is proposed. Methods The Newton-Raphson-based optimizer discussed in this paper was mainly divided into Newton-Raphson search rules and trap avoidance operators, which were applied to the maximum power tracking problem of photovoltaic power generation after being improved by the partial reinforcement learning strategy and variable spiral search strategy. The simulation was carried out in three experimental environments. Three parameter changes were set in each simulation environment to change the maximum power generation of photovoltaic modules. The improved Newton-Raphson-based optimizer (INRBO) was compared with the traditional and common maximum power control technologies in the simulation results. Results The results show that there are excellent global convergence ability, convergence speed performance and robustness in INRBO for MPPT.

Graphical abstract

关键词

光伏发电 / 最大功率点跟踪 / 牛顿-拉夫逊优化算法 / 局部强化学习 / 变螺旋搜索

Key words

photovoltaic power generation / maximum power point tracking / Newton-Raphson-based optimizer / partial reinforcement learning / variable spiral search

光伏发电作为国家大力提倡的可再生能源发电方式，具有低成本和高可普及性的特点。影响光伏发电能力的因素有很多，如光照强度（辐照度）、温度、环境湿度、组件质量等。其中最主要的因素就是辐照度和温度。由于地球自转等因素的影响，光伏发电组件接收的辐照度会在一天内发生变化，其工作温度也会随之改变，光伏发出的光生电流也相应变化^［1］。此时光伏组件输出的电压-功率特性曲线呈现多峰值的现象，其中只有一个是全局最大功率点（Global Maximum Power Point， GMPP）。在大规模分布式发电中，为了在当时当地的条件下产生尽可能多的发电功率以创造最大的经济效益，最大功率点跟踪技术（Maximum Power Point Tracking， MPPT）应运而生^［2］。光伏组件的最大功率点（MPP）位于电流-电压（I-V）特性曲线某一峰值的拐点处，该最大功率拐点对于每个组件是唯一的，并且随着周围或环境干扰而变化。因此通常运用各种方法跟踪实时的最大功率点，如扰动观察法（P&O）^［3］、增量电导法（IncCond）^［4］以及智能优化算法^［5］。扰动观察法和增量电导法作为传统的MPPT控制方法，因其简单性和较低的计算需求而被广泛使用。然而，这些方法在部分阴影和快速变化的光照条件下，易于陷入局部最大功率点，从而导致能量损失。近年来，智能控制方法在MPPT中的应用得到了广泛研究，如模糊逻辑控制^［6］、神经网络控制^［7］和遗传算法^［8］等。这些方法具有自适应性强、响应速度快等优势，但也存在计算复杂度高、实现难度大等问题。特别是在复杂环境下，智能控制方法能够更好地适应多变的光照条件，提高系统的整体性能。

本文首先介绍了光伏发电MPPT的原理和数学模型，其次采用强化学习策略对牛顿-拉夫逊优化算法进行改进。在仿真部分中将上述改进算法和多个控制方法应用于MPPT的跟踪中，经过对比仿真，最终得出了结论。

1 光伏发电组件的数学模型

光伏电池能够将太阳能直接转变成电能，光伏电池与二极管具有相似的特性，即太阳照射后由光子激发出“电子-空穴对”，经分离会产生电动势^［9］。由电子学知识可知，光伏电池的外特性模型可以看作是一个恒流源和正激二极管的并联电路。光伏电池单二极管等效电路^［10］如图1所示。在光伏组件的光生电流发生变化时，为了调节输出电压最终使其输出最大功率，通常采用BOOST电路或BUCK电路对其输出电压进行调节。本文采用的BOOST升压电路如图2所示。

其中，I_ph为光生电流，I_D为通过二极管的电流，V_D为二极管两端的电压，R_s和R_sh分别为光伏组件的串联电阻和并联电阻，V_pv和I_pv分别表示光伏电池输出的电压和电流。

根据基尔霍夫定律，光伏电池输出特性如下^［11］：

I_{\mathrm{p}\mathrm{v}}=I_{\mathrm{p}\mathrm{h}}-I_{\mathrm{D}}-I_{\mathrm{s}\mathrm{h}} .（1）

I_{\mathrm{D}}=I_{\mathrm{0}}\left[{\mathrm{e}}^{\frac{q{V}_{\mathrm{D}}}{n{N}_{\mathrm{s}}{k}_{\mathrm{2}}T}}-\mathrm{1}\right] .（2）

I_{\mathrm{s}\mathrm{h}}=\frac{V_{\mathrm{D}}}{R_{\mathrm{s}\mathrm{h}}} .（3）

V_{\mathrm{D}}=V_{\mathrm{p}\mathrm{v}}+I_{\mathrm{p}\mathrm{v}}{R}_{\mathrm{s}} .（4）

式中：I_pv为光伏电池的输出电流，V_pv为光伏电池的输出电压，I₀为二极管反向饱和电流，取值为2.139 9e^-10 A，q为电子电荷，取值为1.602 176 46×10^-19 C，k₂ 为玻尔兹曼常数，取值为1.380 650 3×10^-23 J/K，T为光伏电池工作的绝对温度。n为二极管品质因子。为保证本文技术验证阶段不受其他因素干扰，本文仅在单光伏电池环境下进行仿真。N_s作为光伏电池数量，取值为1。负载被简化为R，其两端电压为V。基于以上模型，端口电路的电流-电压的非线性关系可被建模为如下公式：

I_{\mathrm{p}\mathrm{v}}=I_{\mathrm{p}\mathrm{h}}-I_{\mathrm{D}}-\frac{V_{\mathrm{p}\mathrm{v}}+I_{\mathrm{p}\mathrm{v}}{R}_{\mathrm{s}}}{R_{\mathrm{s}\mathrm{h}}} .（5）

当光伏电池向负载输出最大功率P_m时，此时I_pv=I_m，V_pv=V_m。

P_{\mathrm{m}}=V_{\mathrm{m}}{I}_{\mathrm{m}}=V_{\mathrm{m}}(I_{\mathrm{p}\mathrm{h}}-I_{\mathrm{D}}-\frac{V_{\mathrm{m}}+I_{\mathrm{m}}{R}_{\mathrm{s}}}{R_{\mathrm{s}\mathrm{h}}}) .（6）

根据公式（6）搭建光伏电池的数学模型。在光伏电池MPPT数学模型中，不同的辐照度条件下改变变换器的占空比d，最终实现最大功率点跟踪^［12］。

2 局部强化改进的牛顿⁃拉夫逊优化算法

2.1 牛顿-拉夫逊优化算法

牛顿⁃拉夫逊优化算法（Newton-Raphson Based Optimizer， NRBO）^［13］是受到牛顿⁃拉夫逊（Newton-Raphson）方法启发的一种新型群智能优化算法。它使用两个规则来促使搜索种群进行整个搜索过程：牛顿-拉夫逊搜索规则（Newton-Raphson Search rule， NRSR）和陷阱避免算子（Trap Avoidance Operator， TAO）。初始化公式如下所示。

x_i^j=lb+\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\times \left(ub-lb\right) .（7）

其中，x_i^j 表示搜索种群某个体的位置。lb，ub分别表示种群搜索位置的上下限，i=1，2，…，N_p表示种群中的第i个个体，N_p表示搜索种群的个体数。j=1，2，…，dim表示第j个维度，dim表示该种群的维度数。

牛顿-拉夫逊搜索规则（NRSR）的过程如下所示：从一个假定的初始解开始，并在一个确定的方向上进行到下一个位置，用函数f（x）的泰勒级数的前几个分量在假定根的区域中来定位函数的根。因此可由公式（8）推导得出迭代公式（10）。

x_{i+\mathrm{1}}=x_i-\frac{\left(f\left(x_n+\mathrm{\Delta }x\right)-f\left(x-\mathrm{\Delta }x\right)\right)\times \mathrm{\Delta }x}{\mathrm{2}\times \left(f\left(x_n+\mathrm{\Delta }x\right)+f\left(x_n-\mathrm{\Delta }x\right)-\mathrm{2}\times f\left(x_n\right)\right)}.（8）

x_n，x_n+1 分别表示泰勒级数中第n，n+1项解，Δx表示已知解和实际解的差并被引申到算法中。

\mathrm{\Delta }x=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\left(\mathrm{1},\mathrm{d}\mathrm{i}\mathrm{m}\right)\times \left|x_b-x_i^t\right| .（9）

\mathrm{N}\mathrm{R}\mathrm{S}\mathrm{R}=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{n}\times \frac{\left(y_w-y_b\right)\times \mathrm{\Delta }x}{\mathrm{2}\times \left(y_w+y_b-\mathrm{2}\times x_i\right)} .（10）

y_{\mathrm{w}}=r_{\mathrm{1}}\times \left(\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left(z_{i+\mathrm{1}}+x_i\right)+r_{\mathrm{1}}\times \mathrm{\Delta }x\right) .（11）

y_{\mathrm{b}}=r_{\mathrm{1}}\times \left(\mathrm{M}\mathrm{e}\mathrm{a}\mathrm{n}\left(z_{i+\mathrm{1}}+x_i\right)-r_{\mathrm{1}}\times \mathrm{\Delta }x\right) .（12）

z_{n+\mathrm{1}}=x_i-\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}\mathrm{n}\times \frac{\left(x_w-x_b\right)\times \mathrm{\Delta }x}{\mathrm{2}\times \left(x_w+x_b-\mathrm{2}\times x_i\right)} .（13）

randn表示均值为0、方差为1的正态分布随机数，x_w表示最差位置，x_b表示最佳位置，x_i 表示当前位置，randn（1，dim）表示和dim有关的随机数。y_w和y_b是根据z_i+1 和x_i 生成的两个向量的位置，r₁ 表示0到1之间的随机数。

\delta ={\left(\mathrm{1}-\left(\frac{\mathrm{2}\times t}{\mathrm{M}\mathrm{a}\mathrm{x}\_t}\right)\right)}^{\mathrm{5}} .（14）

δ作为自适应系数，在多样化和集约化之间起到平衡作用。t表示当前迭代次数，max_t表示最大迭代次数。为了保持探索阶段和开发阶段之间的平衡，参数δ在迭代过程中从1到-1之间自适应变化。NRSR与自适应参数ρ一起在优化过程中考虑随机动作、增加多样化和避免局部最优的同时显著减少迭代次数，实现了牛顿-拉夫逊方法在智能优化算法领域的改进。

\rho =a\times \left(x_{\mathrm{b}}-x_i^t\right)+b\times \left(x_{r_{\mathrm{1}}}^t-x_{r_{\mathrm{2}}}^t\right) .（15）

a和b分别代表0到1之间的随机数，r₁和r₂表示1到N_p 之间不相等的两个随机整数。公式（16）表示根据牛顿-拉夫逊方法构造x1 _n^t 的方法，公式（17）表示根据当前最优位置x_b 构造x2 _i^t 的方法。x1 _i^t 和x2 _i^t 分别是根据已知量构造的探索和开发参数，各自具有较强的全局探索性能和局部开发性能，在牛顿-拉夫逊搜索规则中，利用这两者的特性构建了公式（18-19）。其中，r₂ 表示0到1之间的随机数。

x{\mathrm{1}}_i^t=x_i^t-\mathrm{N}\mathrm{R}\mathrm{S}\mathrm{R}+\rho .（16）

x{\mathrm{2}}_i^t=x_b-\mathrm{N}\mathrm{R}\mathrm{S}\mathrm{R}+\rho .（17）

x{\mathrm{3}}_i^t=x_i^t-\delta \times \left(x{\mathrm{2}}_i^t-x{\mathrm{1}}_i^t\right) .（18）

x_i^{t+\mathrm{1}}=r_{\mathrm{2}}^{\mathrm{2}}\times x{\mathrm{1}}_i^t+\left(\mathrm{1}-r_{\mathrm{2}}\right)\times \left(r_{\mathrm{2}}\times x{\mathrm{2}}_i^t+x{\mathrm{3}}_i^t\right) .（19）

陷阱避免算子（TAO）的逻辑如下所示。当0到1之间的随机数rand的值小于0.6时，TAO通过组合最优位置x_b 和当前位置x_n^t 生成x^t_TAO 来改变x_n^t+1的位置。这可以有效提高NRBO处理实际问题的有效性，避免陷入局部最优。

x_i^{t+\mathrm{1}}=x_{TAO}^t .（20）

.（21）

其中θ₁ 和θ₂ 分别是-1到1之间的随机数和-0.5到0.5之间的随机数。μ₁ 和μ₂ 分别是由如下公式生成的随机数。

{\mu }_{\mathrm{1}}=\beta \times \mathrm{3}\times \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}+\left(\mathrm{1}-\beta \right) .（22）

{\mu }_{\mathrm{2}}=\beta \times \mathrm{r}\mathrm{a}\mathrm{n}\mathrm{d}+\left(\mathrm{1}-\beta \right) .（23）

.（24）

式中：rand表示0到1之间的随机数，\delta表示0到1之间的数。由于参数μ₁ 和μ₂ 的选择具有随机性，种群多样性变得更加丰富，进一步有助于避免陷入局部最优解。

2.2 局部强化学习策略

局部强化理论解释了不同的强化计划如何以不同的方式影响生物体的行为^［14］。研究表明，强化的时机和方法极大地影响了行为的强度和一致性。将局部强化理论的规则和概念映射到优化算法^［15］，有如下变量假设。

强化变量（schedule）：强化变量Schedule的意义是确定如何以及何时需要采取强化行为，在不同的时刻为学习者提供不同的优化参考。每个学习者都有一个特定的强化变量。由于每个强化变量表示该学习者在本种群中的优先级，因此强化变量表示了学习者在下一次迭代中被选择的可能性。此外，可变间隔调度方案^［16］在公式（25）—（27）中被建模成为一个用于随机分析的动态机制。强化学习的使用时机和方式在搜索过程中是可变的，因此，在每次迭代时学习者会选取在强化变量中具有最高优先级的行为子集μ∈｛1，2，3，…，N｝。先将学习者按强化变量的优先级按降序排序，然后使用公式（27）将学习者的行为选择为候选行为。

\mathrm{S}\mathrm{R}={\mathrm{e}}^{-\left(\mathrm{1}-\mathrm{\tau }\right)}（25）

\mu \in \left\{\mathrm{1,2},\mathrm{3},\dots ,N\right\}\left|\forall j\in \mu ,\mathrm{s}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}^{\mathrm{j}}\ge \mathrm{s}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}^{\mathrm{*},\mathrm{\lambda }}\right. .

（26）

\lambda =\left\{\mu =U\left(\mathrm{1},N\times \mathrm{S}\mathrm{R}\right)\right\} .（27）

式中，τ是当前迭代次数和总迭代次数的比值时间因子，SR是选择率，μ是基于调度方案的行为子集，λ是所选子集的大小，N是行为（决策变量）的总数。Schdule*表示具有排序优先级的强化变量，Schdule^*，λ表示Schdule^*中第λ个强化变量。

刺激（stimulation）：任何试图改变学习者行为的方式都是刺激。在局部强化理论中，利用以下方式来生成新的解，如等式（28）—（31）中所示。

\mathrm{S}{\mathrm{F}}_i=\tau +U\left(\mathrm{0},\beta \right) .（28）

（29）

X_{i,\mathrm{n}\mathrm{e}\mathrm{w}}^{\mu }=X_i^{\mu }+\mathrm{S}{\mathrm{F}}_i\times S_i^{\mu }（30）

\gamma ={\sum }_{j\in \mu }(\frac{\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_{i,j}}{\mathrm{M}\mathrm{a}\mathrm{x}(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i)})（31）

其中，SF _i 是激励因子，S_i^μ 表示刺激行为；γ是第i个学习者在第j维时强化变量归一化处理后在全部维度中的平均值；X_{\mathrm{b}\mathrm{e}\mathrm{s}\mathrm{t}}^{\mu }表示子集中的最优个体，X_i^μ 表示子集中的第i个个体，X_j^μ 表示子集中的第j个个体。

学习者（learner）：学习者是优化种群中的个体，其行为需要使用局部强化学习理论进行改进，最终作为解决方案。

行为（behavior）：学习者的行为被认为是个体在优化过程中得到的适应度值。每个学习者X_i 的适应度值是使用问题所定义的目标函数f_Xi′←F（X_i）得到的\left\{f_{X_{\mathrm{1}}},f_{X_{\mathrm{2}}},\dots ,f_{X_{N-\mathrm{1}}},f_{X_N}\right\}。换句话说，行为是学习者的函数。

响应（response）：响应是指刺激后学习者新的行为。f_{X_{\mathrm{1}}}\mathrm{\text{'}}是响应代表的适应度值。在这项研究中，若f_{X_{\mathrm{1}}}\mathrm{\text{'}}<f_{X_{\mathrm{1}}}，响应则被用来更新行为。

强化（reinforcement）：为了使强化概念化，使用以下机制来实现强化学习机制。当刺激后的响应优于原行为时，接受该响应并采取正强化机制来增加该个体的强化变量。当刺激后的响应差于原行为时，拒绝该响应并采取负强化机制来减少该个体的强化变量。强化变量较好的个体将被选择用于下一次迭代中的刺激和强化。其过程如下公式所示。R表示强化率，Schdule _i^μ 表示第i个学习者的行为的强化变量。

\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }=\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }+(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }\times R) .（32）

\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }=\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }-(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i^{\mu }\times R) .（33）

恢复（reschedule）：恢复是指在训练过程中当学习者持续接受所有行为的负强化时，重置该学习者及其强化变量的过程。在这种情况下，利用标准差（Std）作为度量来确定是否需要恢复该学习者的强化变量。其过程如下公式所示。

\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i=\left\{\begin{array}{c}\mathrm{U}(\mathrm{0,1}),\mathrm{S}\mathrm{t}\mathrm{d}(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i)=\mathrm{0}\\ \mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i,\mathrm{S}\mathrm{t}\mathrm{d}(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i)\ne \mathrm{0}\end{array}\right. .（34）

X_i=\left\{\begin{array}{c}\mathrm{U}(\mathrm{l}\mathrm{b},\mathrm{u}\mathrm{b}),\mathrm{S}\mathrm{t}\mathrm{d}(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i)=\mathrm{0}\\ X_i,\mathrm{S}\mathrm{t}\mathrm{d}(\mathrm{S}\mathrm{c}\mathrm{h}\mathrm{e}\mathrm{d}\mathrm{u}\mathrm{l}{\mathrm{e}}_i)\ne \mathrm{0}\end{array}\right. .（35）

其中，Std（Schdule _i ）表示第i个学习者不同维度的强化变量的标准差，lb和ub分别是下限和上限。此外，U（a，b）是指在（a，b）之间均匀分布的随机值。

迭代：每两个刺激—评估—强化过程之间的时间间隔称为一次迭代。它改变了学习者在优化过程中的行为，被认为是一个时间间隔。在两段时间间隔之间使用评估机制可以使具有较高优先级的学习者在下一次迭代中有更多机会被利用。

局部强化学习的一次迭代逻辑具体如下所示：（1）在初始化阶段随机生成强化变量、种群及其行为；（2）在每次迭代中根据强化变量选择学习者及其对应行为；（3）刺激每个学习者产生响应，利用适应度函数生成新的适应度值并与行为做比较；（4）根据响应施加正/负强化；（5）根据表现更新每个学习者的强化变量及行为。全部迭代结束后，历史最优适应度值将作为结果输出。

2.3 变螺旋搜索机制

鲸鱼优化算法（Whales Optimization Algorithm， WOA）包括3个阶段：包围猎物、气泡网攻击方式和搜索猎物。在搜索猎物时，鲸鱼根据目标位置和当前位置进行螺旋式位置更新搜索时间，以缓慢向上盘旋的方式寻找猎物并接近目标，如下公式所示。

\left\{\begin{array}{c}x(t+\mathrm{1})=x_{\mathrm{b}}+D\cdot {\mathrm{e}}^{\mathrm{b}\mathrm{l}}\cdot \mathrm{c}\mathrm{o}\mathrm{s}(\mathrm{2}\mathrm{\pi }l)\\ D=\left|C\cdot x_{\mathrm{b}}-X(t)\right|\end{array}\right. .（36）

其中，b是可以改变螺旋形状的常数，l是在-1到1之间均匀分布的随机数。在变螺旋搜索机制中，b被设计为随迭代过程变化的变量以动态调节螺旋形状，最终提高种群前期对未知区域的探索能力和后期对最优位置附近的开发。改进后的公式被用来替代原算法的公式（18），如下所示。

\left\{\begin{array}{c}x{\mathrm{3}}_n^t=x_{\mathrm{b}}+b\cdot D\cdot {\mathrm{e}}^l\cdot \mathrm{c}\mathrm{o}\mathrm{s}(\mathrm{2}\mathrm{\pi }l)\\ b={\mathrm{e}}^{-\mathrm{5}\cdot \mathrm{c}\mathrm{o}\mathrm{s}(\mathrm{\pi }\cdot (\mathrm{1}-\frac{t}{t_{\mathrm{m}\mathrm{a}\mathrm{x}}}))}\end{array}\right. .（37）

2.4 改进算法

基于牛顿-拉夫逊优化算法的迭代逻辑加入局部强化学习策略进行改进，构建改进的牛顿-拉夫逊优化算法（INRBO）。在INRBO中，局部强化学习策略中的学习者即牛顿-拉夫逊优化算法中种群的个体，牛顿-拉夫逊优化算法的位置更新过程即局部强化学习中的刺激过程。改进算法的控制流程如图3所示。

牛顿-拉夫逊法是一种基于导数的迭代优化方法，适用于快速找到非线性系统的极值点。在光伏系统中，输出功率P与电压V的关系通常是非线性的，该问题的目标是改变电压V使输出功率P最大化，满足公式（6）的要求。牛顿-拉夫逊法通过计算功率对电压的导数来更新电压值：

V_{n+\mathrm{1}}=V_n-\frac{f(V_n)}{f\mathrm{\text{'}}(V_n)} .（38）

f(V_n)=\frac{\mathrm{d}P}{\mathrm{d}V} .（39）

f\mathrm{\text{'}}(V_n)=\frac{{\mathrm{d}}^{\mathrm{2}}P}{\mathrm{d}{V}^{\mathrm{2}}} .（40）

通过这种迭代，系统可以快速逼近最大功率点。局部强化学习是一种基于试错的算法，通过奖励机制来引导控制器的学习。在结合变螺旋搜索机制优势的前期探索和后期开发能力后，该算法最终能实现快速响应环境变化，适应复杂的光伏系统动态特性。

INRBO算法的伪代码如下所示。

3 仿真实验

3.1 基准测试函数的仿真

CEC基准测试函数作为用于验证优化算法的常规优化能力的测试工具，被广泛应用于智能算法的仿真实验中。在这一节中，本文所提出的INRBO算法在CEC2021基准函数的基础函数中与NRBO和改进的粒子群算法（IPSO）^［17］进行仿真测试，以验证INRBO在改进后寻优方面的有效性。其中f₁是单峰函数，f₂—f₄是基础函数，f₅—f₇是混合函数，f₈—f₁₀是组合函数。仿真次数为30次，其中平均值表示30次实验中每个算法寻到最优值的平均数，标准差表示这些最优值的标准差，最优值表示每个算法在30次实验中的最优值。仿真结果如表1所示。

3.2 模型搭建

本文根据光伏发电及其MPPT控制过程的原理在Simulink中建模，如图4所示。

本文的研究对象是光伏发电系统的最大功率跟踪，因此优化目标应该是光伏发电系统的有功功率输出，优化问题是寻找最大值。结合BOOST升压电路的电压关系，可得该光伏发电组件模型的最优化目标函数maxP=f（d）。

P=\frac{V_{\mathrm{p}\mathrm{v}}^{\mathrm{2}}{(\frac{\mathrm{1}}{\mathrm{1}-d})}^{\mathrm{2}}}{R} .（41）

为了模拟光照、温度变化条件下的光伏发电功率控制曲线，在不同的光照和温度条件下将所提出的改进算法和传统的扰动观察法、电导增量法、近期提出的信息获取优化算法（IAO）^［18］以及IPSO进行仿真模拟。该仿真组件的输入为光伏阵列输出的电流电压，输出为占空比d。当达到全局最优即最大功率点时，输出的占空比趋于稳定，经脉冲宽度调制（PWM）信号发生器控制绝缘栅双极晶体管（IGBT）完成最终控制。

本文以型号为Aavid Solar ASMS-185M的多晶硅光伏电池为例进行仿真建模，其标准测试参数如表2所示。

Boost电路的仿真参数为：C₁ =500 μF，L=7 mH，C₂ =10 F，R=20 Ω，开关频率f=20 kHz，算法迭代次数max_t=20，种群数量N=5。光伏组件通过控制辐照度和环境温度，在3种不同环境下对5种MPPT方法进行仿真。

环境1：温度t=20 ℃，辐照度S₁=1 000 W/m²，S₂ =500 W/m²，S₃=800 W/m²。在该环境下，温度保持不变，分别在0 s，0.3 s，0.6 s时设置光伏组件受到光照的强度，观察MPPT控制系统的功率追踪表现。

环境2：辐照度S=800 W/m²，温度t₁=25 ℃，t₂=40 ℃，t₃=15 ℃。在该环境下，辐照度保持不变，在0 s，0.3 s，0.6 s时调整光伏组件的温度，观察MPPT控制系统的功率追踪表现。

环境3：辐照度S₁=500 W/m²，S₂=1 000 W/m²，S₃=300 W/m²，温度t₁=25 ℃，t₂=40 ℃，t₃=20 ℃。在仿真时间维度下粗略模拟光伏组件在中国北方高原地区夏季晴朗白天的实际运行环境。在该环境下，分别在0 s，0.3 s，0.6 s时设置光伏组件的辐照度和温度，代表早晨、正午和傍晚，观察MPPT控制系统的功率追踪表现。

该光伏电池在温度为25 ℃时不同辐照度的电压-电流曲线和功率-电压曲线如图5所示。

3.3 结果分析

5种MPPT算法的功率-时间波形如图6-8所示，其中纵坐标表示电路输出的实时功率P（W），横坐标表示时间t（s）。由图中可以看出，扰动观察法和电导增量法作为传统的MPPT控制方法，不同的环境条件对其控制产生的功率变化影响较小且难以达到最大功率。鲁棒性作为这一领域的重要评价指标，明显影响着设备的稳定和经济效益。IAO虽然能达到较好的寻优效果，但其鲁棒性表现极差。IPSO在MPPT控制中的鲁棒性表现一般，尤其是在初始阶段的持续震荡表现，难以维持稳定的控制状态。环境条件发生变化后，INRBO能迅速控制输出占空比，在短时间内达到稳定状态。与IPSO相比，INRBO鲜明地展示了智能算法的寻优特性。忽略光伏组件在仿真环境中模拟不稳定，INRBO输出的最大功率均优于IPSO。

从图6中可以看出，INRBO在仿真前期能以较快速度稳定在最大功率附近。在0~0.3 s时，温度保持t=20 ℃不变且辐照度减弱至S₂=500 W/m²，INRBO依然能迅速稳定工作，鲁棒性显著强于其他两个算法。0.6 s后当温度保持不变辐照度变为S₃=800 W/m²时，INRBO发出的功率基本保持最大。而IAO虽然在寻优能力方面良好，但在第一和第三阶段的结果持续震荡，鲁棒性较差。

图7显示了在环境2下5种MPPT控制方法的仿真表现。在环境2中辐照度保持S=800 W/m²不变。0~0.3 s时环境温度为t₁=25 ℃，此时INRBO的表现最好，几乎全程输出最大发电功率且无明显影响发电效率的功率震荡出现。0.3~0.6 s时环境温度变为t₂=40 ℃，INRBO保持稳定的高功率输出。0.6 s后t₃=15 ℃，此时INRBO的输出功率趋于稳定且能控制输出更大功率，效果显著。而IAO全程虽然能输出较好的功率，但鲁棒性表现最差。

图8显示了在环境3下5种MPPT控制方法的仿真表现。环境3模拟了更为严苛的环境变化。0 ~0.3 s时环境温度为t₁=25 ℃，辐照度为S=500 W/m²。此时INRBO的表现依然最好，几乎全程输出最大的发电功率且基本无明显影响发电效率的功率震荡出现。0.3~0.6 s时环境温度变为T₂ =40 ℃，辐照度为S=1 000 W/m²，INRBO保持高效的功率输出和优秀的鲁棒性。0.6 s后t₃=20 ℃，S₃=300 W/m²，此时INRBO的表现保持显著。IAO全程虽然能输出较好的功率，但整体表现持续震荡，难以维持稳定输出。

表3—5展示了不同环境下两种智能算法在稳定后的跟踪结果。从中可以看出，INRBO在响应能力和寻优能力方面表现均明显优于IPSO。即使在短时间内的突变环境下，INRBO依然表现出优秀的收敛精度和鲁棒性。作为鲁棒性较差的技术手段，IAO不进入本次仿真的范畴。

4 结论

本研究主要针对光伏组件在实际发电过程中的MPPT问题，对控制方法进行深入探究。本文介绍并研究了光伏组件的输出特性并建立相应数学模型，提出了局部强化策略和变螺旋搜索策略改进的牛顿-拉夫逊优化算法，并将其应用于光伏MPPT问题中。实验阶段在仿真电路里设置3种仿真环境，每种仿真环境设置了三次参数变化以改变光伏组件的最大发电功率^［19］。在上述仿真条件下，将INRBO与传统的扰动观察法、电导增量法以及常见的粒子群算法进行了比较。仿真结果证明了INRBO具有较好的寻优能力且强大的鲁棒性，在MPPT优化问题中表现良好。得出如下结论：

1）INRBO针对光伏发电MPPT问题中能得到更准确的结果，这表明了INRBO在该问题中能寻找到更符合要求的全局最优值，具有较好的全局收敛能力。

2）INRBO可以在复杂环境下以更快的速度解决光伏发电的MPPT问题，这表明了INRBO有更快的收敛速度，能适应复杂的工作环境，这为本研究的实践化应用奠定了坚实的技术基础。

3）考虑在仿真过程中光伏发电组件本身的输出震荡问题，INRBO在仿真中表现出了更少的功率震荡，这表明了INRBO具有较强的鲁棒性，能降低震荡带来的功率损耗，具有更高的经济实用价值。

INRBO作为一种专用的光伏发电MPPT算法，控制表现良好。在未来的研究中，本算法依然具有较大的改进潜力，可以与其他改进策略结合以进一步提升其MPPT控制能力。

参考文献

[1] 孟青，杨智菲，许超，等.基于离网型微电网系统的光伏逆变控制策略研究［J］.电工技术，2024（4）：4-9.

[2] 李凯，姜新正.基于改进粒子群区间二型模糊神经网络的MPPT控制研究［J］.太阳能学报，2024，45（5）：556-564.

[3] 高浩田，李东喜，陈泽华，等.基于交互式多特征融合算法的药物靶标预测［J］.太原理工大学学报，2024，55（4）：751-758.

[4] 付光杰，王柏松.基于改进SCSO算法的光伏MPPT研究［J］.现代电子技术，2024，47（10）：143-150.

[5] 许守东，毕书奇，李世伟，等.考虑锁相暂态响应的光伏发电系统三相短路电流计算方法［J］.电工电能新技术，2024，43（7）：32-40.

[6] Pandey A K， Singh V， Jain S.Maximum power point tracking algorithm based on fuzzy logic control using P-V and I-V characteristics for PV array［J］.IEEE Transactions on Industry Applications，2023，59（4）：4572-4583.

[7] Zhang Y， Wang Y J， Zhang Y，et al.Photovoltaic fuzzy logical control mppt based on adaptive genetic simulated annealing algorithm optimized bp neural network［J］.Processes，2022，10（7）：1411.

[8] Edara D C， Vanukuri LP， Sistla V，et al.Sentiment analysis and text categorization of cancer medical records with lstm［J］.Journal of Ambient Intelligence and Humanized Computing，2023，14（5）：5309-5325.

[9] Raza A， Ans M， Khera A R，et al.Designing efficient materials for high-performance of non-fullerene organic solar cells through side-chain engineering on DBT-4F derivatives by non-fused-ring electron acceptors［J］.Journal of Molecular Modeling，2024，30（6）：190-198.

[10] Mudgal S， Dubey K P， Glasser Z，et al.Large optoelectronic chromatic dispersion in PN-type silicon photodiodes and photovoltaic cells［J］.Optics Letters，2024，49（8）：2185-2188.

[11] 葛津铭，尹贻波，李赫，等.基于直流侧电压等效补偿的光伏并网系统间谐波电流抑制策略［J］.电网技术，2022，48（12）：4886-4895.

[12] 任志玲，毛奕栋.基于改进黏菌算法的光伏多峰值MPPT控制［J］.太阳能学报，2024，45（2）：421-428.

[13] Ravichandran S， Manoharan P， Pradeep J.Newton-Raphson-based optimizer：A new population-based metaheuristic algorithm for continuous optimization problems［J］.Engineering Applications of Artificial Intelligence，2024，134：108976.

[14] Ida L M.Learning analytics as modes of anticipation：enacting time in actor-networks［J］.Scandinavian Journal of Educational Research，2024，68（2）：218-232.

[15] Ahmad T， Keyvan R， Amin B，et al.Partial reinforcement optimizer：An evolutionary optimization algorithm［J］.Expert Systems with Applications，2024，238：121740.

[16] A J H.The sequencing of trials during partial reinforcement affects subsequent extinction［J］.Journal of Experimental Psychology：Animal Learning and Cognition，2023，50（1）：1-10.

[17] 白小惠，莫思特，范松海，等.基于NACS-PSO算法的光伏系统MPPT控制研究［J］.电子测量技术，2024，47（3）：62-70.

[18] Wu X， Li S， Jiang X，et al.Information acquisition optimizer：a new efficient algorithm for solving numerical and constrained engineering optimization problems［J］.Journal of Supercompoting，2024，80（18）：25736-25791.

[19] 吴雪峰，陈逸智，王昌栋，等.基于深度学习和时空关联建模的降水数据地形订正方法［J］.太原理工大学学报，2024，55（4）：734-742.

基金资助

国家自然科学基金资助项目(62272424)

河南省自然科学基金杰出青年基金项目(222300420095)

河南省科技重点项目(222102210071)