基于多智能体强化学习的电池一致性充放电控制策略

Battery Consistency Charge-Discharge Control Strategy Based on Multi-Agent Reinforcement Learning

摘要

锂离子电池作为电动汽车的核心动力源，具有高能量密度、长寿命循环和环保等优异性能，但由于电池单体间普遍存在的不一致性，使电池组整体性能下降、寿命缩短，甚至引发安全事故。为解决多阶段复杂充放电工况下电池组的一致性控制问题，提出一种基于多智能体强化学习（multi-agent reinforcement learning， MARL）的一致性充放电控制策略：构建电池二阶RC等效电路模型，模拟电池组荷电状态（state of charge， SOC）的变化，为智能体与环境的交互提供更真实的动态行为模型；对一致性控制问题进行强化学习建模，将智能体与电池单体对应，确定目标函数与奖励函数，构建电池组一致性控制多智能体强化学习MARL模型；采用近端策略优化算法（PPO）对MARL模型进行优化，得到最优的一致性充放电策略。仿真实验结果表明，在包含32个电池单体的6阶段充放电工况下，该策略能在35 min内将SOC一致性误差抑制在1%以内，实现了复杂工况下的精确、高效一致性控制。

Abstract

As the core power source of electric vehicles, lithium-ion batteries offer excellent performance characteristics such as high energy density, long cycle life, and environmental friendliness. However, inconsistencies among individual battery cells often lead to degraded overall performance, reduced lifespan, and even safety hazards. To solve the problem of consistent control of battery packs under multi-stage complex charging and discharging conditions, a consistency charging and discharging control strategy based on multi-agent reinforcement learning (MARL) is proposed: the second-order RC equivalent circuit model of the battery is constructed to simulate the changes of the state of charge (SOC) of the battery pack, providing a more realistic dynamic behavior model for the interaction between the agent and the environment; The consistency control problem is modeled through reinforcement learning, with agents corresponding to individual battery cells, the objective function and reward function determined, and a multi-agent reinforcement learning (MARL) model for consistency control of battery packs is constructed. The proximal strategy optimization algorithm is adopted to optimize the MARL model and obtain the optimal consistent charge and discharge strategy. The simulation experiment results show that under the six-stage charge and discharge conditions containing 32 battery cells, this strategy can suppress the SOC consistency error within 1% within 35 minutes, achieving precise and efficient consistency control under complex working conditions.

Graphical abstract

0　 引 言

为降低碳排放，实现可持续发展，人类社会正在用电动汽车逐步取代燃油汽车^[1-3]。锂离子电池是电动汽车的关键部件，决定着电动汽车的行驶里程和输出功率。电动汽车的电池组由多个电池模块构成，每个电池模块又包含多个电池单体^[4]。为了获得更大的容量和输出功率，电池单体和电池模块处于串联/并联模式^[5]。受电池制造工艺的限制和实际使用工况的影响，电池单体间以及模块间易发生不一致现象，导致电池过充和过放，影响电池性能。因此，对电池的一致性控制十分必要^[6]。

目前，电池组荷电状态（state of charge，SOC）均衡控制的方法主要分为被动均衡和主动均衡两大类^[7-8]。被动均衡使用电阻消耗高SOC电池模块/单体中的能量。Amin等^[9]探讨了利用金属氧化物半导体场效应管（metal-oxide-semiconductor field-effect transistor，MOSFET）内部电阻进行被动均衡的方法，并分析了其在小容量和大容量电池中的效果。Song等^[10]提出了一种新的被动均衡算法，通过电池容量和电阻的变化来优化均衡效果。吴青峰等^[11]提出了一种基于分流电阻的电池组间电池健康状态(State of Health, SOH)被动均衡方案，研究分流电阻阻值计算和接入切除法则，实现锂电池SOH均衡。被动均衡的控制电路和算法都比较简单，但会将大量的电量以热量的形式消耗，降低电池的整体效率，并可能造成过热等问题^[12]。主动均衡通过将SOC高的电池单体/模块电量转移到少的单体/模块上，实现电池组SOC平衡。现有研究主要针对均衡拓扑，Shah等^[13]通过使用高电压单体为低电压单体充电，实现主动均衡，并展示了在电动汽车电池管理系统中的实际应用。Samanta等^[14]提出一种基于双向直流-直流转换器（direct current to direct current converter，DC-DC）的有源电池均衡拓扑，极大减少了有源元件和电源开关的数量。Rau等^[15]开发了一种以电感为基础的主动均衡拓扑结构，提高了电池系统的整体性能和寿命。Manjunath等^[16]介绍了一种基于两级模块的电池间有源均衡拓扑，该拓扑基于改进的降压-升压转换器，适用于串联锂离子电池组一致性控制，降低了控制的复杂度。上述主动均衡方法降低了电池组一致性控制过程中的能耗^[17]，但拓扑构建思路较为简单，一致性控制效率较低。此外，一些研究通过可重构电池系统实现一致性控制。可重构电池通过在电池组中添加多组开关电路，并控制开关对电池组中的模块/单体进行选择性充放电，从而实现电池组一致性控制^[18-20]。虽然这类电路提高了电池的充放电效率，但开关电路存在固有的短路风险。当控制策略错误或硬件故障出现时，电池组可能短路引发火灾或爆炸^[21-22]。上述研究表明，提升一致性控制的拓扑结构有助于实现更精细的控制效果，但受限于电路设计的复杂度与成本因素，仅靠硬件手段仍存在局限。因此，拓扑需要结合高效的控制策略，进一步提升整体一致性控制的性能。

目前已有较多主动一致性控制算法，例如：Ma等^[23]应用模糊逻辑控制，通过两级双向均衡电路实现基于SOC的一致性控制，以改善电池不一致和优化均衡效率；Ouyang等^[24]引入了一种分层最优均衡控制算法，专注于减少一致性控制时间和抑制电池温升；Chen等^[25]开发了3种基于模型预测控制（model predictive control，MPC）的策略以遵循统一的轨迹，最大限度地提高了最低电池电压并最小化电池差异；Fan等^[26]开发了一种MPC算法，通过结合快速求解策略，确定电池系统的均衡电流；吴文进等^[27]提出一种基于变论域模糊比例-积分-微分（proportional-integral-derivative，PID）算法的锂电池组级联式一致性均衡控制策略，采用变论域模糊PID算法提高了电池电压的均衡速度；Duraisamy等^[28]提出一种基于机器学习的均衡控制算法，根据电池不一致性程度、均衡时间、充电速率和温升选择平衡电阻器，以提高均衡速度和降低均衡损耗；Karmakar等^[29]提出一种基于比例积分和人工神经网络的控制算法，在SOC平衡、电压平衡、功耗和散热方面有很大改进；Caspar等^[30]提出一种基于合作博弈论的电池系统主动均衡控制策略，实现可扩展和灵活的电池一致性控制。但目前提出的一致性控制策略大多用于只含少量电池的简单工况，如静态工况或单一充电或放电工况，在面对复杂多变的充放电工况时难以实现高效的实时控制。此外，电池是一个强时变性的复杂动态系统，当工况发生变化，现有策略难以发挥作用。

针对上述问题，本文提出一种基于多智能体强化学习的一致性充放电控制策略。相对于传统一致性控制方法，本文方法优点如下：1） 利用强化学习的自适应和在线学习能力，实现复杂工况下的动态自适应调整；2） 采用强化学习算法，学习并优化控制策略以应对不同的工况；3） 减少实际应用时的计算负担。

1　 一致性充放电控制方法

1.1　强化学习

强化学习在状态-动作框架上运行，在时间步t，智能体观察环境状态s_t，并选择要采用的操作a_t。根据奖励函数r(s_t,a_t)给智能体当前的动作一个标量奖励，用来评判当前动作的优劣。智能体的目标是通过不断试错，学习到最优策略{\pi }^{\mathrm{*}}:s\to a，使预期的累计奖励G最大化，具体可描述为：

G=E_{\pi }\left({\displaystyle \sum _{t=\mathrm{0}}^{\mathrm{\infty }}}{\gamma }^t{r}_t\right)(1)

其中：r_t为t时刻获得的奖励；标量\gamma \in \left[\mathrm{0,1}\right]，是用于降低未来预期奖励值的折扣因子；E_{\pi }为期望算子，表示在策略\pi指导下，对所有可能的状态-动作序列及对应奖励的数学期望。为学习最优策略，智能体在环境中不断试错，学习在不同状态下的最优动作，以最大化预期累积奖励G。

为了确定智能体在状态s下的奖励，定义状态价值函数V_{\pi }(s)为策略\pi下从状态s开始，未来能够获得的期望累积奖励：

V_{\pi }(s)=E_{\pi }\left[{\displaystyle \sum _{k=\mathrm{0}}^{\mathrm{\infty }}}{\gamma }^t{r}_{t+k}\left|s_t\right.=s\right](2)

其中：r_{t+k}为在未来t+k时刻获得的奖励；s_t=s表示初始状态为状态s。此外，状态-动作值函数Q_{\pi }(s,a)用于评估智能体在特定状态s下选择特定动作a后的预期回报。它表示智能体从状态s开始，选择动作a，随后遵循策略\pi时所能获得的预期回报。具体表示为：

Q_{\pi }(s,a)=E_{\pi }\left[{\displaystyle \sum _{k=\mathrm{0}}^{\mathrm{\infty }}}{\gamma }^k{r}_{t+k}\left|s_t\right.=s,a_t=a\right](3)

当智能体与环境交互并收集足够的数据后，可以确定近似Q函数。应用最优策略{\pi }^{\mathrm{*}}最大化Q值得到最优Q函数：Q^{\mathrm{*}}(s,a)=\mathrm{m}\mathrm{a}{\mathrm{x}}_{\pi }{Q}_{\pi }(s,a)。最优策略{\pi }^{\mathrm{*}}定义为：

{\pi }^{\mathrm{*}}(s)=\underset{a}{\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{m}\mathrm{a}\mathrm{x}}{Q}^{\mathrm{*}}(s,a)(4)

智能体通过选择在给定状态下产生最高的Q值动作，执行最优策略{\pi }^{\mathrm{*}}。

1.2　多智能体系统

在多智能体系统中，每个智能体的奖励和状态不仅受到自身决策的影响，还受到其他智能体决策的干扰，这使得决策问题相较单智能体场景更为复杂。随机博弈提供了适用于该类系统的理论建模框架。随机博弈允许多个智能体在动态环境中进行决策，其系统状态和每个智能体的奖励不仅由当前行动决定，也受所有智能体策略的联合影响。

为有效求解该类随机博弈问题，本文采用中心化学习、去中心化执行的强化学习架构。该架构基于一种改进的Actor-Critic算法，主要特点为：Actor网络为去中心化结构，每个智能体根据自身局部观测独立地选择动作；Critic网络为中心化结构，可获取所有智能体的联合状态与动作信息，对系统整体性能进行评估。在训练阶段，智能体接收环境状态，通过通信网络与其他智能体交换信息，并通过Critic网络进行评估。根据优化目标函数和对其他智能体环境和Critic网络的评估得到当前动作。环境更新多次循环之后最大化奖励，可得到最优策略。多智能体系统架构具体如图1所示。

1.3　多智能体强化学习环境建模

多智能体控制算法应用于电池组一致性充放电控制任务时，需要对电池组环境进行建模。环境中包含多个电池单体，通过构建电池二阶RC等效电路模型模拟电池充电过程中SOC的变化，构建的二阶RC等效电路模型如图2所示。其中，电压源描绘了SOC相关的开路电压，R_{\mathrm{s}}为电池欧姆内阻，R_{\mathrm{p}\mathrm{1}}和R_{\mathrm{p}\mathrm{2}}为极化电阻，C_{\mathrm{p}\mathrm{1}}和C_{\mathrm{p}\mathrm{2}}为极化电容，V_{\mathrm{p}\mathrm{1}}和V_{\mathrm{p}\mathrm{2}}为极化电压，I为负载电流，V_{\mathrm{t}}为端子电压，V_{\mathrm{O}\mathrm{C}}为电池开路电压，C_{\mathrm{n}}为电池的额定容量，C_{\mathrm{r}\mathrm{e}\mathrm{m}}为电池的剩余容量，z为SOC值（电池剩余电量与满充电状态下容量的比值）。两个RC分支模拟了电池的极化效应，包括电荷转移、扩散和电极上的钝化层效应。

二阶RC等效电路模型控制方程由下式给出：

\frac{\mathrm{d}z(t)}{\mathrm{d}t}=\frac{I(t)}{\mathrm{3}\mathrm{600}{C}_{\mathrm{n}}}(5)

\frac{\mathrm{d}{V}_{\mathrm{p}\mathrm{1}}(t)}{\mathrm{d}t}=-\frac{V_{\mathrm{p}\mathrm{1}}(t)}{R_{\mathrm{p}\mathrm{1}}(t)C_{\mathrm{p}\mathrm{1}}(t)}+\frac{I(t)}{C_{\mathrm{p}\mathrm{1}}(t)}(6)

\frac{\mathrm{d}{V}_{\mathrm{p}\mathrm{2}}(t)}{\mathrm{d}t}=-\frac{V_{\mathrm{p}\mathrm{2}}(t)}{R_{\mathrm{p}\mathrm{2}}(t)C_{\mathrm{p}\mathrm{2}}(t)}+\frac{I(t)}{C_{\mathrm{p}\mathrm{2}}(t)}(7)

V_{\mathrm{t}}(t)=V_{\mathrm{o}\mathrm{c}}(z,t)+V_{\mathrm{p}\mathrm{1}}(t)+V_{\mathrm{p}\mathrm{2}}(t)+R_{\mathrm{s}}(t)I(t)(8)

针对电池一致性控制目标，构建多智能体强化学习训练环境。本文方法以电池组中电池单体/模组的SOC为决策变量，构建优化目标函数：

\mathrm{m}\mathrm{i}\mathrm{n}{\displaystyle \sum _{i=\mathrm{1}}^n}\left[{\alpha }_{\mathrm{1}}\left|z_i-z_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}\right|+{\alpha }_{\mathrm{2}}(z_{\mathrm{m}\mathrm{a}\mathrm{x}}-z_{\mathrm{m}\mathrm{i}\mathrm{n}})\right](9)

其中，{\alpha }_{\mathrm{1}}和{\alpha }_{\mathrm{2}}分别为目标函数两部分的权重值，z_i为电池单体/模块的SOC值，z_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}为所有电池SOC的平均值，z_{\mathrm{m}\mathrm{a}\mathrm{x}}为电池组中电池单体/模块的SOC最大值，z_{\mathrm{m}\mathrm{i}\mathrm{n}}为储能系统中储能单体的SOC最小值。如(9)式所示，每个智能体的优化目标函数分为了两部分：第一部分为智能体控制的电池单体/模块的SOC值和储能系统平均SOC值之差；第二部分为电池组中电池单体/模块最大SOC值与最小SOC值之差。通过最小化这两部分的差值，实现电池组的一致性控制。

针对不同工况对一致性控制的不同需求，本文提出两种一致性充放电控制方案：一种在无充放电时（即静态工况）进行一致性控制；一种在充放电过程中（即动态工况）进行一致性控制。不同工况下一致性充放电控制的约束条件不同。静态工况下要保证电池的总放电电流等于充电电流，设置的一致性控制的约束条件为：

{\displaystyle \sum _{i=\mathrm{1}}^n}{I}_i=\mathrm{0}(10)

其中，{\displaystyle \sum _{i=\mathrm{1}}^n}{I}_i为当前电池组的总充放电电流。

动态工况下电池一致性控制要求控制过程满足电池正常充放电工作需求，且不会妨碍电池组的正常工作。为使一致性控制过程中电池的充放电电流保持设定值，本文设置的一致性控制的约束条件为：

{\displaystyle \sum _{i=\mathrm{1}}^n}{I}_i=I_{\mathrm{s}\mathrm{e}\mathrm{t}}(11)

其中，I_{\mathrm{s}\mathrm{e}\mathrm{t}}为设定的电池充放电电流值。此外，添加电流安全限制，使充放电电流绝对值不得大于安全电流I_{\mathrm{m}\mathrm{a}\mathrm{x}}：

\left|I_i\right|\le I_{\mathrm{m}\mathrm{a}\mathrm{x}}(12)

环境的状态空间为电池组中电池的SOC值，动作空间为设置的电池充放电电流变化范围。针对单个智能体i的总奖励函数为：

r={\omega }_{\mathrm{1}}{r}_i+{\omega }_{\mathrm{2}}{r}_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l}}+{\omega }_{\mathrm{3}}{r}_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}+{\omega }_{\mathrm{4}}{r}_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}(13)

其中，{\omega }_i(i=\mathrm{1,2},\mathrm{3,4})是电池奖励系数，根据奖励函数的重要程度和量级的不同为强化学习分配不同的奖励系数。每个智能体的奖励函数分为4个部分：

1） r_{\mathrm{i}}为平均差奖励函数，是电池i的SOC值z_i和电池组的平均SOC值z_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}之差，表示为：

r_i=\left|z_i(t)-z_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}(t)\right|(14)

z_{\mathrm{m}\mathrm{e}\mathrm{a}\mathrm{n}}={\displaystyle \sum _{i=\mathrm{1}}^n}{z}_i/n(15)

2） r_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l}}为全局奖励函数，是大规模分布式储能系统的电池组中最大SOC值z_{\mathrm{m}\mathrm{a}\mathrm{x}}和最小SOC值z_{\mathrm{m}\mathrm{i}\mathrm{n}}之差，表示为：

r_{\mathrm{g}\mathrm{l}\mathrm{o}\mathrm{b}\mathrm{a}\mathrm{l}}=z_{\mathrm{m}\mathrm{a}\mathrm{x}}(t)-z_{\mathrm{m}\mathrm{i}\mathrm{n}}(t)(16)

3） r_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}为目标奖励函数，即当满足一致性控制目标，电池组中SOC差值小于1%时，智能体得到的奖励，表示为:

r_{\mathrm{t}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}\mathrm{t}}=\left\{\begin{array}{cc}\mathrm{0},& \left|z_{\mathrm{m}\mathrm{a}\mathrm{x}}-z_{\mathrm{m}\mathrm{i}\mathrm{n}}\right|>\mathrm{1}\mathrm{\%}\\ {\alpha }_{\mathrm{3}},& \left|z_{\mathrm{m}\mathrm{a}\mathrm{x}}-z_{\mathrm{m}\mathrm{i}\mathrm{n}}\right|\le \mathrm{1}\mathrm{\%}\end{array}\right.(17)

其中，{\alpha }_{\mathrm{3}}为设定的奖励值。

4） r_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}为smooth奖励函数，加入该函数可降低一致性控制过程中电流的波动，增加电池组寿命，表示为:

r_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}=\left|I_n^i-I_{n-\mathrm{1}}^i\right|(18)

其中，I_n^i和I_{n-\mathrm{1}}^i分别为n和n‑1次储能单体i的充放电电流值。

1.4　一致性充放电控制模型

为实现复杂工况下的电池组一致性控制，本文构建了一个基于多智能体系统与近端策略优化（proximal policy optimization，PPO）算法的一致性控制模型，如图3所示。该模型主要由两个部分组成：左侧为多智能体系统环境，包括若干个电池单体组成的动力电池组模型。每个电池单体对应1个智能体，在系统中协同工作，根据环境状态（电池单体SOC值）通过PPO算法调整充放电电流，以实现对整个电池组运行状态的感知与管理。右侧为基于PPO的强化学习算法模块，包括经验池、评价网络和Actor-Network结构。在训练过程中，智能体从环境中收集的交互数据被存入经验池，之后通过Batch方式传入评价网络进行策略评估，同时更新行为策略网络和目标策略网络。策略网络通过重要性采样机制进行改进，并将更新后的策略返回至多智能体系统，实现闭环自主学习与策略优化。

2　 实验结果及分析

2.1　实验超参数设置

采用上述二阶RC等效电路模型对多智能体强化学习算法进行训练，训练初始阶段强化学习算法根据电池状态，随机产生充放电电流。多个二阶RC等效电路模型作为训练环境，根据充放电电流，产生对应的电池SOC状态，多智能体强化学习策略根据设定的奖励函数判定策略优劣并对策略进行更新优化。本文所需的多智能体PPO算法超参数如表1中所示。

2.2　结果与分析

本实验模拟了由多个容量为1.2 Ah的电池单体组成的电池组进行一致性充放电控制的仿真实验。由于过大的充电倍率会对电池造成较大损伤，因此实验过程中，充放电电流被限制在最大7 C（8.4 A）以内。电池的SOC通过安时积分法进行估计。仿真实验分为3组，分别对应静置状态、放电状态以及多阶段充放电状态，模拟了电池组在静态工况、动态工况以及实际工况中的一致性控制行为。放电电流设为正值，充电电流设为负值。为了验证本文控制策略在应对极端不一致性时的效果，仿真中特意加大了电池单体间初始SOC的差异。

2.2.1　静态工况

采用本文方法在静态工况下进行电池一致性控制，结果如图4所示。图4（a）为一致性控制过程中的电池单体的SOC变化情况。可以发现，经过9 min，电池组系统便可以实现对8个电池单体的一致性控制，SOC最大一致性误差小于1%。图4（b）为一致性控制过程中不同电池单体的电流变化情况。可以看出，在初始阶段，根据SOC的不同，电池执行了不同的充放电策略。在SOC一致之后，所有电池单体的充放电电流均趋于0，说明一致性控制过程收敛良好。电流曲线的平滑变化进一步证明了设计的平滑奖励函数在避免控制动作剧烈波动方面的有效性，提升了系统的稳定性和安全性。对比传统的电路控制方法^[26]，采用强化学习算法后，一致性控制策略能够根据电池状态动态调整充放电电流，实现更为精准和高效的一致性控制。

2.2.2　动态工况

采用本文方法在放电工况下控制电池充电电流，进行一致性控制。采用32个单体的电池组进行实验，初始SOC值在40%~90%内随机分布，结果如图5所示。图5（a）显示了32个单体的SOC在一致性控制过程中的变化情况，可以发现，本文方法可以在电池组放电过程中完成一致性控制，在保持电池组输出总电流不变的同时，7 min内实现对32个电池单体的一致性控制，且SOC一致性误差小于2%。图5（b）显示了放电工况下一致性控制过程中电流的变化过程。可以看出，加入smooth奖励函数电流之后，只在接近完成一致性控制的时候发生一次电流突变，其他时间电流均较为稳定。在完成一致性控制后，所有智能体的输出电流一致，且不同电池在充放电过程中的最大电流未超过电流约束值8.4 A。本文方法在动态工况下实现电池组一致性控制，能够根据实时状态自适应调整各单体电池的充放电策略，实现协同优化，避免了充放电不均的问题。相比传统固定规则方法^[31]，该方法提升了能量利用效率和一致性控制速度，同时具备更强的鲁棒性和灵活性。

2.2.3　实际工况

在实际多阶段充放电工况下，采用本文方法进行一致性控制仿真实验。图6展示了多阶段充放电工况下一致性控制过程中电池组SOC的变化。实验过程中随机选取多个时间节点更改充放电状态和倍率，将电池的充放电过程分为6个充放电阶段。如图6所示，经过6个阶段的一致性控制，电池组中32个电池单体的SOC值在35 min内实现一致，电池SOC一致性误差由50%降至1%，降低率为98%。在复杂充放电工况下，多智能体强化学习方法能够实时感知电池组状态并动态调整控制策略，显著提升控制的实时性和精确性。相比之下，传统一致性控制方法多依赖于预设规则，难以有效应对快速变化的工况，可能导致控制响应滞后且精度不足，无法保证电池组的最佳性能和安全性。

不同一致性控制方法的结果对比如表2所示。MPC策略^[26]、博弈论^[31]和PI一致性控制器^[32]所用控制场景均为单次充放电或放电场景，且控制电池个数远小于本文策略。与基于MPC的一致性控制策略相比，本文方法将一致性控制误差降低率提升了3个百分点，其控制的电池单体个数提升1倍；与博弈论和PI一致性控制器方法相比，本文方法不但将一致性控制的电池个数增加了3倍，一致性控制误差的降低率分别提升了15.39、3.24个百分点。

3　 结 语

为消除电池组SOC值不一致带来的影响，采用MARL方法分别在静态工况和动态工况下实现电池组一致性充放电控制，通过电池二阶RC等效电路模型模拟电池充放电过程中的SOC变化，搭建了PPO强化学习训练环境，使智能体通过不断与环境交互，最大化奖励函数，得到最优一致性充放电控制策略。模拟实验结果表明，本文方法可以在静态工况下9 min内完成8个电池单体的SOC一致性控制，一致性误差抑制在1%之内；在放电工况下7 min内完成对32个电池单体的一致性控制，一致性误差抑制在2%之内；在6阶段充放电工况下35 min内完成对32个电池单体的一致性控制，误差小于1%。相对于现有方法，本文方法提高了一致性控制处理复杂工况的能力，增加了策略的控制精确性和实用性。

参考文献

[1] 张茜.乘用车和商用车场景下电动汽车与燃油车技术路线对比分析［J］. 石油石化绿色低碳， 2022， 7（4）： 6-9. DOI： 10.3969/j.issn.2095-0942.2022.04.002 .

[2] ZHANG Q. Comparative analysis of EV and ICE vehicles in passenger and commercial vehicle scenarios［J］. Green Petroleum & Petrochemicals， 2022， 7（4）： 6-9. DOI： 10.3969/j.issn.2095-0942.2022.04.002（Ch ）.

[3] 来鑫， 陈权威， 顾黄辉， 等. 面向“双碳”战略目标的锂离子电池生命周期评价： 框架、方法与进展［J］. 机械工程学报， 2022， 58（22）： 3-18. DOI： 10.3901/JME.2022.22.003 .

[4] LAI X， CHEN Q W， GU H H， et al. Life cycle assessment of lithium-ion batteries for carbon-peaking and carbon-neutrality： Framework， methods， and progress［J］. Journal of Mechanical Engineering， 2022， 58（22）： 3-18. DOI： 10.3901/JME.2022.22.003（Ch ）.

[5] 肖曦， 田培根， 于璐， 等. 动力电池梯次利用储能系统电热安全研究现状及展望［J］. 电气工程学报， 2022， 17（1）： 206-224. DOI： 10.11985/2022.01.027 .

[6] XIAO X， TIAN P G， YU L， et al. Status and prospect of safety studies of cascade power battery energy storage system［J］. Journal of Electrical Engineering， 2022， 17（1）： 206-224. DOI： 10.11985/2022.01.027（Ch ）.

[7] RAJASHEKARA K. Present status and future trends in electric vehicle propulsion technologies［J］. IEEE Journal of Emerging and Selected Topics in Power Electronics， 2013， 1（1）： 3-10. DOI： 10.1109/JESTPE.2013.2259614 .

[8] KAMEL M， SANKARANARAYANAN V， ZANE R， et al. State-of-charge balancing with parallel and series output connected battery power modules［J］. IEEE Transactions on Power Electronics， 2022， 37（6）： 6669-6677. DOI： 10.1109/TPEL.2022.3143835 .

[9] OMARIBA Z B， ZHANG L J， SUN D B. Review of battery cell balancing methodologies for optimizing battery pack performance in electric vehicles［J］. IEEE Access， 2019， 7： 129335-129352. DOI： 10.1109/ACCESS.2019.2940090 .

[10] JIANG B W， LIU Y J， HUANG X L， et al. A new battery active balancing method with supercapacitor considering regeneration process［C］//IECON 2020 The 46th Annual Conference of the IEEE Industrial Electronics Society， New York： IEEE Press， 2020： 2364-2369. DOI： 10.1109/IECON43393.2020.9254839 .

[11] CARTER J， FAN Z， CAO J. Cell equalisation circuits： A review［J］. Journal of Power Sources， 2020， 448： 227489. DOI： 10.1016/j.jpowsour.2019.227489 .

[12] AMIN， ISMAIL K， NUGROHO A， et al. Passive balancing battery management system using MOSFET internal resistance as balancing resistor［C］//2017 International Conference on Sustainable Energy Engineering and Application （ICSEEA）， New York： IEEE Press， 2017： 151-155. DOI： 10.1109/ICSEEA.2017.8267701 .

[13] SONG H， LEE S. Study on the systematic design of a passive balancing algorithm applying variable voltage deviation［J］. Electronics， 2023， 12（12）： 2587. DOI： 10.3390/electronics12122587 .

[14] 吴青峰，杨凯义，杨艺涛，等.基于开关分流电阻的锂电池SOH被动均衡方案［J］.太阳能学报，2024，45（12）：520-527. DOI： 10.19912/j.0254-0096.tynxb.2023-1310 .

[15] WU Q F， YANG K Y， YANG Y T， et al. Passive SOH balancing scheme for lithium battery based on switching shunt resistance［J］. Acta Energiae Solaris Sinica， 2024， 45（12）： 520-527. DOI： 10.19912/j.0254-0096.tynxb.2023-1310 （Ch ）.

[16] KHALID A， STEVENSON A， SARWAT A I. Performance analysis of commercial passive balancing battery management system operation using a hardware-in-the-loop testbed［J］. Energies， 2021， 14（23）： 8037. DOI： 10.3390/en14238037 .

[17] SHAH S， MURALI M， GANDHI P. A practical approach of active cell balancing in a battery management system［C］//2018 IEEE International Conference on Power Electronics， Drives and Energy Systems （PEDES）， New York： IEEE Press， 2018： 1-6. DOI： 10.1109/PEDES.2018.8707811 .

[18] SAMANTA A， CHOWDHURI S. Active cell balancing of lithium-ion battery pack using dual DC-DC converter and auxiliary lead-acid battery［J］. Journal of Energy Storage， 2021， 33： 102109. DOI： 10.1016/j.est.2020.102109 .

[19] RAU J， ZHANG H W， BISCHOF V， et al. Development of a smart battery system with active balancing for a mobile robot platform［C］//International Conference on the Efficiency and Performance Engineering Network. Cham： Springer Nature Switzerland， 2023： 385-395. DOI: 10.1007/978-3-031-49421-5_31 .

[20] MANJUNATH K， KALPANA R， SINGH B， et al. A two-stage module based cell-to-cell active balancing circuit for series connected lithium-ion battery packs［J］. IEEE Transactions on Energy Conversion， 2023， 38（4）： 2282-2297. DOI： 10.1109/TEC.2023.3283424 .

[21] GHAEMINEZHAD N， OUYANG Q， HU X S， et al. Active cell equalization topologies analysis for battery packs： A systematic review［J］. IEEE Transactions on Power Electronics， 2021， 36（8）： 9119-9135. DOI： 10.1109/TPEL.2021.3052163 .

[22] TASHAKOR N， KACETL J， FANG J Y， et al. Generic dynamically reconfigurable battery with integrated auxiliary output and balancing capability［J］. IEEE Transactions on Power Electronics， 2023， 38（7）： 7933-7944. DOI： 10.1109/TPEL.2023.3263809 .

[23] ALAHMAD M， HESS H， MOJARRADI M， et al. Battery switch array system with application for JPL’s rechargeable micro-scale batteries［J］. Journal of Power Sources， 2008， 177（2）： 566-578. DOI： 10.1016/j.jpowsour.2007.11.053 .

[24] KIM H， SHIN K G. On dynamic reconfiguration of a large-scale battery system［C］//2009 15th IEEE Real-Time and Embedded Technology and Applications Symposium. New York： IEEE Press， 2009： 87-96. DOI： 10.1109/RTAS.2009.13 .

[25] ZHAO R， LIU J， GU J J. Simulation and experimental study on lithium ion battery short circuit［J］. Applied Energy， 2016， 173： 29-39. DOI： 10.1016/j.apenergy.2016.04.016 .

[26] ZHANG Y Z， XIONG R， HE H W， et al. Long short-term memory recurrent neural network for remaining useful life prediction of lithium-ion batteries［J］. IEEE Transactions on Vehicular Technology， 2018， 67（7）： 5695-5705. DOI： 10.1109/TVT.2018.2805189 .

[27] MA Y， DUAN P， SUN Y S， et al. Equalization of lithium-ion battery pack based on fuzzy logic control in electric vehicle［J］. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6762-6771. DOI：10.1109/TIE.2018.2795578 .

[28] OUYANG Q， HAN W J， ZOU C F， et al. Cell balancing control for lithium-ion battery packs： A hierarchical optimal approach［J］. IEEE Transactions on Industrial Informatics， 2020， 16（8）： 5065-5075. DOI：10.1109/TII.2019.2950818 .

[29] MCHEN J， BEHAL A， LI Z J， et al. Active battery cell balancing by real-time model predictive control for extending electric vehicle driving range［J］. IEEE Transactions on Automation Science and Engineering， 2024， 21（3）： 4003-4015. DOI：10.1109/TASE.2023.3291679 .

[30] FAN T E， LIU S M， YANG H， et al. A fast active balancing strategy based on model predictive control for lithium-ion battery packs［J］. Energy， 2023， 279： 128028. DOI：10.1016/j.energy.2023.128028 .

[31] 吴文进，吴晶，郭海婷，等.基于变论域模糊PID算法的锂电池组级联式均衡控制［J］.电子测量与仪器学报，2024，38（8）：137-144. DOI： 10.13382/j.jemi.B2407281 .

[32] WU W J， WU J， GUO H T， et al. Cascaded equalization control of lithium batteries based on variable discourse domain fuzzy PID algorithm［J］. Journal of Electronic Measurement and Instrumentation， 2024， 38（8）： 137-144. DOI： 10.13382/j.jemi.B2407281（Ch ）.

[33] DURAISAMY T， KALIYAPERUMAL D. Machine learning-based optimal cell balancing mechanism for electric vehicle battery management system［J］. IEEE Access， 2021， 9： 132846-132861. DOI： 10.1109/ACCESS.2021.3115255 .

[34] KARMAKAR S， BERA T K， BOHRE A K. Novel PI controller and ANN controllers-based passive cell balancing for battery management system［J］. IEEE Transactions on Industry Applications， 2023， 59（6）： 7623-7634. DOI：10.1109/TIA.2023.3299886 .

[35] CASPAR M， SCHÜRMANN T， ANNEKEN M， et al. Active balancing control for distributed battery systems based on cooperative game theory［J］. Journal of Energy Storage， 2023， 68： 107585. DOI：10.1016/j.est.2023.107585 .

[36] 陈桂成.锂离子电池组一致性智能控制与低温柔性预热［D］. 济南：山东大学， 2023. DOI：10.27272/d.cnki.gshdu.2023.003180 .

[37] CHEN G C. Consistency intelligent control and low temperature flexible preheating of lithium-ion battery pack［D］. Jinan： Shandong University， 2023. DOI： 10.27272/d.cnki.gshdu.2023.003180（Ch ）.

[38] LIAO L， LI H G， LI H J， et al. Research on equalization scheme of lithium-ion battery packs based on consistency control strategy［J］. Journal of Energy Storage， 2023， 73： 109193. DOI：10.1016/j.est.2023.109193 .