基于分时电价的电池快速充电优化策略

Battery Fast-Charging Optimization Method Based on Time-of-Use Electricity Price

摘要

现有的电动汽车快速充电方法主要关注充电速度和充电安全，忽视了充电过程中用户的经济损失。为此，提出一种考虑电池衰减和电网分时电价的快速充电策略。将分时电价作为输入参量，同时将电池衰减和电能损耗全部转化为充电经济损失，采用强化学习算法和电化学-热-老化耦合模型进行优化。实验结果表明，该策略可以根据分时电价，自适应调整充电倍率。在相同充电速度下，该策略的经济损失比恒流恒压充电方法减少20.9%，比多阶段恒流充电方法减少15.3%；在相同的物理约束下，该策略的充电速度比脉冲充电方法提升21.1%，比恒流恒压方法提升9.9%，实现了充电成本和充电速度最优化。

Abstract

Most of the existing charging methods primarily focus on charging speed and charging safety, ignoring the economic loss of the user during the charging process. To address this limitation, this paper proposes a fast-charging strategy that takes into account battery degradation and time-of-use electricity price. The time-of-use electricity price serves as an input parameter; the battery degradation and power loss are converted into charging economic loss, which is optimized by using the reinforcement learning algorithm and the electrochemical-thermal-aging coupling model. The results show that the proposed method can adaptively adjust the charging rate according to the time-of-use electricity price. Given the same charging speed, this method reduces economic loss by 20.9% compared with the constant-current and constant-voltage charging method and 15.3% compared with the multi-stage constant current charging method. Under the same physical constraints, this method is 21.1% faster than the pulse charging method and 9.9% faster than the constant current constant voltage method, optimizing both charging cost and charging speed.

Graphical abstract

关键词

锂离子电池 / 分时电价 / 电池衰减 / 快速充电策略

Key words

lithium-ion battery / time-of-use electricity price / battery degradation / fast-charging strategy

0　 引 言

电动汽车是应对二氧化碳排放和能源短缺的主要途径之一。近年来，各国政府为推动电动汽车在全球范围内的普及做出了诸多努力^[1-3]，但电动汽车的普及率仍远未达到预期。里程焦虑是制约电动汽车大规模推广的核心障碍之一，开发快速充电技术是解决这一障碍的关键方案^[4-5]。

现有充电方法包括恒流恒压充电^[6]（constant-current and constant-voltage，CC-CV）及其改进方法，如多阶段恒流充电（multi-stage constant current charging，MCC）^[7-8]、升压充电^[9]、脉冲充电^[10-11]等。Kumar等^[12]采用灰色关联分析和田口实验法优化MCC充电方法，获得更高的充电效率和更低的温升。Attia等^[13]基于机器学习算法提出一种优化的四阶段MCC充电方法开发了具有早期结果预测功能的闭环优化系统。该系统仅使用前100个生命周期数据即可预测电池寿命终止次数，使循环测试时间减少80%~90%。Sirisukprasert等^[14]采用自适应控制方法对电池实施脉冲充电，通过优化占空比与频率，使充电效率提升6%，充电速度提高约17%。但这类充电方法不能精准控制充电过程中电池各物理参数的变化，且缺乏有效的闭环反馈机制应对外部环境和工况的波动^[15-17]，无法实现最优的综合性能。

近年来，越来越多的学者开始关注电池内部的反应，并致力于研究精确的电池模型以支持快速充电方法的研发。这些模型包括等效电路模型^[18]、电化学模型^[19-20]和电热耦合模型^[21]等。与传统的CC-CV充电方法不同，基于模型的在线控制器可以根据锂离子电池的短期和长期瞬态效应等内部特性，并结合智能优化算法实时优化充电倍率，对电池充电过程中关键的内部物理量（如析锂过电位、固体电解质界面膜过电位、产热速率、电解液分解速率等）实现精细控制，从而提升充电效率和可靠性。Zou等^[22]基于完全耦合的电-热等效电路模型施加变量约束，并应用非线性时变模型进行预测，优化了充电策略，可有效防止充电过程中的副反应。Yin等^[23]引入降阶电化学模型结合扩展卡尔曼滤波算法，对表面离子浓度和副反应速率两个内部变量进行估计，并以此限制充电电流，使充电时间缩短40%以上。Zhang等^[24]引入增强热行为模型，并考虑电池极化效应，提出了一种优化充电时间和温升的快速充电方法，将充电速度提升了50%。上述快速充电方法依赖于精准的电池模型，但模型精度与计算复杂度存在固有矛盾，使这类方法在资源受限的充电场景下难以实现。

强化学习算法在执行过程中所需计算量很低，适用于实际应用。Park等^[25]提出一个无模型深度强化学习框架，能在电池全生命周期内适应环境变化。Hao等^[26]提出一种基于自适应模型的强化学习算法，以优化连续电流空间具有电池退化约束的最小时间充电策略，可在12.5 min内完成充电，并遵守动态约束条件。Yang等^[27]在云平台中建立了一个用于感知电池内部微电化学状态的降阶电化学-热模型，并结合强化学习训练快速充电策略，使电池循环寿命延长了75%。Hou等^[28]定义了用户充电紧迫度，利用强化学习算法，根据用户充电紧迫程度实现了充电倍率的自主调整，将电池使用寿命延长了26%。Ouazzani等^[29]提出一种基于深度强化学习的多级恒流快速充电方法，可以在6 min内实现快速充电。

现有的充电方法通常将电池损伤作为优化目标，且仅考虑了电池内部状态，而忽视了充电过程中产生的其他费用和电网价格波动对充电的影响。为此，本文提出一种综合考虑电池衰减和电网分时电价的充电方法，以分时电价为输入，将充电过程中的电能损耗和电池损伤统一量化为用户的经济损失，并借助强化学习算法实现最优化控制；引入双延迟深度确定性策略梯度（twin delayed deep deterministic policy gradient，TD3）算法优化充电过程^[30]，缓解传统强化学习算法在连续动作空间中常见的Q值（期望累积奖励）高估与策略更新不稳定等问题。实验证明，所提出的充电策略不仅实现了充电过程中的用户经济损失最优化，同时极大提升了充电速度。

1　 电池充放电策略优化

1.1　电网分时电价

居民电动汽车充电桩通常采用分时电价收费模式，以鼓励错峰用电，降低电网负担。以山东省为例，居民电动汽车充电桩的尖峰时段（18:00—19:00）电价为0.888元/kWh，低谷时段（12:00—14:00）电价为0.222元/kWh，前者为后者的4倍。因此，需要针对电价的变化采取不同的充电策略，以保证用户充电的经济损失最小。

用户充电过程中的经济损失可以分为两部分：充电过程中消耗电量所产生的费用以及充电过程中电池衰减所产生的费用。在尖峰时段，由于电价较高，充电消耗电量所产生的费用占主要部分；而低谷时段电价较低，充电过程中电池衰减所产生的费用占主要部分。

充电过程中所消耗的电量主要与电池内阻有关，A123 26650 M1B电池（LiFePO₄，电池容量2.5 Ah，上限截止电压3.65 V）在不同荷电状态（State of Charge，SOC）下的内阻如图1所示。在低SOC阶段（≤30%），电池内阻较高；而在中高SOC阶段（31%~100%），内阻较低。为降低充电过程中的能量损耗，宜在低SOC阶段采用小倍率充电，在中高SOC阶段采用大倍率充电。然而，电池衰减特性与此相反：低SOC阶段大倍率充电对电池损伤较小，而中高SOC区间大倍率充电则会加剧电池衰减。由此可见，能量损耗与电池损伤是一对相互制约的因素：低SOC阶段能量损耗大但电池损伤小，中高SOC阶段能量损耗小但电池损伤大^[31]。因此，通过合理调控不同SOC区间内的充电倍率，可在满足用户充电需求的基础上，实现峰谷时段用户充电经济损失的最小化。

1.2　充电约束与充电目标

为保证充电过程中的安全性，首先设定充电安全约束。当超过安全约束，充电可能对电池造成不可逆的损伤。充电安全约束主要包括电流约束、电池SOC约束、电压约束和温度约束：

\left\{\begin{array}{l}\mathrm{0}\le I_k\le I_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ \mathrm{S}\mathrm{O}{\mathrm{C}}_k\le \mathrm{S}\mathrm{O}{\mathrm{C}}_{\mathrm{m}\mathrm{a}\mathrm{x}}\\ V_{\mathrm{l}\mathrm{o}\mathrm{w}}\le V_k\le V_{\mathrm{u}\mathrm{p}\mathrm{p}}\\ T_k\le T_{\mathrm{m}\mathrm{a}\mathrm{x}}\end{array}\right.(1)

式中：I_k和I_{\mathrm{m}\mathrm{a}\mathrm{x}}分别为k时刻电池的充电电流和设定的最大充电电流；\mathrm{S}\mathrm{O}{\mathrm{C}}_k和\mathrm{S}\mathrm{O}{\mathrm{C}}_{\mathrm{m}\mathrm{a}\mathrm{x}}分别为k时刻电池的SOC值和设定的最大SOC值；V_k、V_{\mathrm{l}\mathrm{o}\mathrm{w}}和V_{\mathrm{u}\mathrm{p}\mathrm{p}}分别为k时刻电池的电压、上限和下限截止电压；T_k和T_{\mathrm{m}\mathrm{a}\mathrm{x}}分别为k时刻电池的表面温度和所能承受表面温度的最大值。

电池充电目标包括最小化充电时间（J_{\mathrm{1}}）、最小化电池损伤和电能损耗给用户带来的经济损失（J_{\mathrm{2}}）：

\mathrm{m}\mathrm{i}\mathrm{n}{J}_{\mathrm{1}}=NT(2)

\mathrm{m}\mathrm{i}\mathrm{n}{J}_{\mathrm{2}}=B_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}+E_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}(3)

式中：N为电池充电总周期数；T为电池快充单个控制周期时间；B_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}表示电池衰减带来的经济损失；E_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}表示电能损耗带来的经济损失。实际充电过程中，通过控制不同SOC下的充电电流，可以使充电过程中的电池衰减和电能损耗所带来的经济损失最小化。

1.3　强化学习奖励函数

与充电约束和充电目标相对应，设置强化学习奖励函数：

R(k)=w_{\mathrm{1}}{r}_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}(k)+w_{\mathrm{2}}{r}_{\mathrm{v}\mathrm{o}\mathrm{l}\mathrm{t}}(k)+w_{\mathrm{3}}{r}_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{t}}(k)+w_{\mathrm{4}}{r}_{\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}}(k)+w_{\mathrm{5}}{r}_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{e}\mathrm{d}}(k)+w_{\mathrm{6}}{r}_{\mathrm{t}\mathrm{a}\mathrm{r}}(k)(4)

式中：w_{\mathrm{1}}~w_{\mathrm{6}}表示对应奖励函数的系数；r_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}表示电流平滑奖励函数，其目的是降低充电过程中的电流波动；r_{\mathrm{v}\mathrm{o}\mathrm{l}\mathrm{t}}、r_{\mathrm{h}\mathrm{e}\mathrm{a}\mathrm{t}}、r_loss、r_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{e}\mathrm{d}}分别表示电池电压、电池温度、用户经济损失、充电速度奖励函数；r_{\mathrm{t}\mathrm{a}\mathrm{r}}表示SOC奖励函数，旨在引导强化学习算法尽快完成预定充电目标，通常设定为常数。

用户的经济损失r_loss主要来自E_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}和B_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}：

r_{\mathrm{l}\mathrm{o}\mathrm{s}\mathrm{s}}(k)=-(B_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}+E_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}})(5)

式中：消耗电能产生的费用指充电过程中需要缴纳的电费，电池衰减的费用指充电过程中电池损伤产生的费用。电动汽车电池在衰减至80% 健康状态（State of Health，SOH）时就需要更换，这部分费用是电动车充电的隐形消费。因此，充电电池损伤带来的经济损失可表示为：

B_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}=\frac{\mathrm{\Delta }\mathrm{S}\mathrm{O}\mathrm{H}(k)}{(\mathrm{1}-D)}\times (B_{\mathrm{n}\mathrm{e}\mathrm{w}}-B_{\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{d}})(6)

式中：B_new表示新电池的价格（一节A123 26650 M1B锂电池的价格为35元）；B_{\mathrm{u}\mathrm{s}\mathrm{e}\mathrm{d}}表示电池达到退役标准后，进行梯次利用时的价格；D为电池的退役SOH阈值（通常以80%为参考值），该阈值可根据具体电池类型的差异进行设定；\mathrm{\Delta }\mathrm{S}\mathrm{O}\mathrm{H}(k)指充电过程中电池的损伤。其中，\mathrm{\Delta }\mathrm{S}\mathrm{O}\mathrm{H}(k)计算如下：

\mathrm{\Delta }\mathrm{S}\mathrm{O}\mathrm{H}(k)=-\frac{|I_k|\mathrm{\Delta }t}{\mathrm{2}{N}_k(c,T_a)C_n}(7)

式中：C_n 为电池额定容量；\mathrm{\Delta }t表示充电的持续时间。N_k （c,T_a ）可表示为：

N_k\left(c,T_a\right)=\mathrm{3}\mathrm{600}\mathrm{A}\mathrm{h}\left(c,T_a\right)/C_n(8)

式中：\mathrm{A}\mathrm{h}\left(c,T_a\right)是计算容量衰减与电池核心温度关系的通用表达式，可以从文献[32]中获取。

电能损耗带来的经济损失可以表示为：

E_{\mathrm{c}\mathrm{o}\mathrm{s}\mathrm{t}}={\int }_{t_{\mathrm{1}}}^{t_{\mathrm{2}}}{P}_{\mathrm{c}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{g}\mathrm{e}}\mathrm{d}t\times P_{\mathrm{g}\mathrm{r}\mathrm{i}\mathrm{d}}(9)

式中：P_charge代表充电过程中电池的实时功率；t₁和t₂分别代表电池充电开始和结束的时刻；P_grid代表某时刻电价。需要说明的是，本文的电池充电时间仅为10 min，电价几乎不发生改变。因此，在进行实验验证时，未验证电价发生变化的情况。

平滑奖励函数r_smooth可以表示为：

r_{\mathrm{s}\mathrm{m}\mathrm{o}\mathrm{o}\mathrm{t}\mathrm{h}}(k)=-\left|I_k-I_{k-\mathrm{1}}\right|(10)

式中：I_k和{I_k}_{-\mathrm{1}}分别为k时刻和k-1时刻电池充电电流。平滑奖励函数可以用电池两次控制周期的电流之差表示。差值越大，表示充电过程中的电流波动越大，其负向惩罚也就越大。

充电速度奖励函数r_speed，旨在满足电池充电安全约束的前提下，最大化电池充电速度，可以表示为：

r_{\mathrm{s}\mathrm{p}\mathrm{e}\mathrm{e}\mathrm{d}}(k)=-\left|I_k-I_{\mathrm{m}\mathrm{a}\mathrm{x}}\right|(11)

式中：I_max为电池可以承受的最大充电电流（根据电池规格书，将I_max设定为5 C，即12.5 A）。

电池温度奖励函数r_heat旨在防止电池温度超过安全约束，避免造成不可逆损伤、热失控等安全事故。温度约束采用软约束的方式给出，即通过奖励函数的方式给出。当电池核心温度超过阈值的时候，会给予一定的惩罚，保证电池的核心温度控制在约束范围之内：

(12)

式中：T_tar为电池表面温度最大值，当电池温度超过该数值时，会造成电池容量的急剧衰减，甚至引发安全事故。在本文实验中，电池最高表面温度设定为35 ℃，{\tau }_{\mathrm{2}}为电池温度软约束系数。

与核心温度约束类似，电压约束表示为：

(13)

式中：V_low和V_upp分别表示电池的上限和下限截止电压，当电池超过电压范围的时候，就会造成过充或过放；{\tau }_{\mathrm{1}}表示电池电压软约束系数。为了让电池充分探索、学习电池充电过程中的边界条件，电压奖励函数也设定为软约束模式。在本次实验过程中，电池上限和下限截止电压分别为3.65 V和2.5 V。

2　 实验结果与分析

2.1　仿真环境训练

采用电化学-热-老化耦合模型对充电算法进行训练，其结构如图2所示。电化学-热-老化耦合模型采用一维电化学模型和三维热模型进行耦合，精确地构建了两者间的双向互动关系：电化学反应产热决定了电池的温度分布，而温度场的变化又实时反馈并影响电化学反应的动力学速率。模型将电池看作一个整体，由多孔电极和隔膜组件两部分组成，并采用一系列偏微分方程描述电池在充放电过程中的锂化反应、离子传输、电化学反应和热传导等。该耦合模型可通过质量守恒、电荷守恒和能量守恒描述。经过测量，电池在4 C和6 C时的电压平均绝对误差分别为0.083 V和0.087 V，说明模型可以较好地模拟电池在不同充电倍率下的响应。

在训练过程中，深度强化学习网络输出一个动作a_t （即充电电流），并将其输入至电化学-热-老化耦合模型。该模型基于电池的当前状态S_t 与输入电流a_t，计算下一时刻的电池状态S_t+1，包括端电压、SOC、表面温度与核心温度等参数，同时，通过预设的奖励函数，结合电池状态的变化对充电动作的优劣进行评估，获取奖励r_t。 通过不断交互，系统会生成大量的状态转移样本序列即（S_t，a_t，r_t，S_t+1），并储存于经验回放池（Replay Buffer）中。系统每次会从经验回放池中随机抽取小批量（mini-batch）状态转移样本序列输入到强化学习算法中，用于模型训练。本文采用的TD3算法，拥有两个独立的Critic网络（Critic1, Critic2），通过取两者中的较小Q值（在当前电池状态S_t，采取充电电流a_t，所能获得的期望累积奖励），可有效缓解Q值过估计问题。TD3算法依据输入的状态转移样本序列（即电池状态、输出电流及其对应奖励），更新Actor网络和Critic网络参数，从而实现快速充电算法的优化。快速充电算法训练的具体流程如图2所示，TD3强化学习在训练过程中的超参数设置如表1所示。

采用电化学-热-老化耦合模型进行训练，能够有效模拟电池老化过程中的内部反应，既可避免实际充放电测试对电池的损耗，也省去了真实训练中所需的充电、冷却与放电等繁琐操作，大幅节约时间和资源，同时显著提升训练效率。此外，该模型可仿真电池老化过程中的关键参数变化，使得基于该模型训练的快速充电算法能够适应不同SOH的电池，提高了算法的实用性和泛化性。

2.2　真实环境实验

为保证真实环境下实验的安全性，搭建基于LabVIEW的快充控制器，以监测电池充电状态，并将充电指令下发给双向可编程直流电源。LabVIEW控制器可以设定温度和电压上限，当检测到电池电压或者温度超过阈值的时候，将立刻停止充电，防止充电过程中出现危险。电池实际测试环境如图3所示。充电过程中，电池的电压、电流、温度等状态参数通过传感器实时上传给LabVIEW控制器。LabVIEW控制器在收集到电池的状态之后，首先判断电池状态，若电池处于安全范围内，则将电池状态上传给上位机。上位机中的充电算法根据电池的实时状态，生成充电控制指令，下发给双向可编程直流电源，并由双向可编程直流电源给电池充电。整个过程设置了电池保护的双重机制，保证算法在从仿真环境移植到实际运行环境中的安全。在实际充电过程中，采用IT-M3900C型双向可编程直流电源（艾德克斯公司）充电，其最大输出电流高达170 A，可以满足快速充电的需求，其自带的电压和电流传感器可实时测量电池的电压和电流，并上传给LabVIEW控制器。采用K型贴片式热电偶传感器（精度4‰，艾迪温公司）测量电池温度。沿纵向在电池表面粘贴3个热电偶传感器，取3个热电偶读数的平均值作为电池温度的实际测量值。采用ANR 26650 M1B电池对算法进行验证。

由于峰、谷电价的充电策略不同，故分别在尖峰和低谷时段两种情况下进行对比。

图4展示了电池在充电过程中的充电倍率、温度、SOC和电压。如图4（a）所示，当处于尖峰时段的时候，电池在低SOC下采用小倍率充电，而在中高SOC下采用大倍率充电。这一策略与常规充电方式不同，虽然可能缩短电池寿命，但能显著降低充电过程中的电能消耗。由于尖峰时段电价较高，节省的电费足以弥补对电池的损耗。而当处于低谷电价时刻，电池在低SOC下采用大倍率充电，而在中高SOC下采用小倍率充电，这与尖峰时段截然不同，此时充电策略以降低电池损伤为主。由图4（b）可以发现，在两种情况下，电池温度均保持在安全范围（低于35 ℃）之内，证明了本文方法中温度约束的有效性。图4（c）显示了充电过程中的SOC变化，虽然在尖峰和低谷时段采用了不同的充电策略，但充电时间基本相同。图4（d）显示，尖峰和低谷时段充电过程中电压均未超出电压约束范围（2.5~3.65 V），表明本文方法中电压约束的有效性。

2.3　对比实验

为了考察本文算法相对于传统充电算法的优势，选取相同充电时间的恒流恒压充电（CC-CV-1）方法和相同物理约束下的恒流恒压充电（CC-CV-2）方法进行对比，低谷时段的充电结果如图5所示。图5（a）和图5（b）分别展示了不同充电策略在低谷时段充电过程中充电倍率和温度的变化。可以发现，本文方法可根据电池物理约束设置值与当前的电池状态自主调节充电倍率，在电池温度较低的时候，以大倍率进行充电；当电池温度逼近设定的温度上限时，降低充电倍率，保证电池最大化提升充电速度，同时不超过所设定的物理约束。虽然恒流恒压充电方法可以实现与本文方法相同的充电时间，但其表面温度远超所设定的表面温度最大值，可能导致电池容量的快速下降，甚至发生热失控等安全事故。图5（c）显示了充电过程中的SOC变化，在相同的物理约束下，恒流恒压充电方法充电速度较低，而本文方法相对高出9.9%。图5（d）显示了充电过程中的电压变化情况，本文方法和两种恒流恒压充电方法在充电过程中均未超出电压上限，均能保证充电过程中的安全性。

为了进一步验证本文方法相对于一般优化充电方法的优越性，将其与多阶段恒流充电（MCC）方法以及脉冲充电（PC）方法进行对比，低谷时段充电结果如图6所示。其中，脉冲充电方法采用6 C脉冲充电的方式，占空比为0.6。图6（a）显示充电过程中充电倍率的变化。高频的方波对电池有加热作用，适用于低温下对电池充电，但其充电效率较低，充电速度较慢。多阶段恒流充电方法与本文方法充电速度接近，但其充电倍率无法实时调整，只能按照预先设定的充电倍率进行。而本文方法则可以根据电池实时的物理状态自主调整充电倍率。图6（b）显示充电过程中温度的变化，在相同的充电速度下，本文方法可以严格遵守所设定的安全温度边界，而多阶段恒流充电方法虽然实现了与本文方法相近的充电速度，但是其最高表面温度超出设定的表面温度最大值（35 ℃），可能导致电池容量快速下降，增加用户的经济损失。图6（c）显示充电过程中SOC的变化，本文方法充电速度比脉冲充电方法提升21.1%。虽然脉冲充电方法具有减小析锂、延长电池使用寿命等作用，但当电池的最高温度被限制时，其充电速度明显低于多阶段恒流充电方法以及本文方法。图6（d）充电过程中电压的变化显示，所有电压均未超过电压上限，说明充电方法设置合理。

2.4　应用实例

以特斯拉 Model S电动汽车为例比较不同优化方法的充电效果。特斯拉Model S电池包由7 100节电池单体组成。所有充电方法均从0% SOC 开始，至 80% SOC 结束，所充电量相同。假设汽车在充电过程中，在尖峰时段和低谷时段发生的充电事件频次相同，则不同充电方法结果如表2所示，所有结果均为整个寿命周期内综合峰谷充电条件的平均值。其中，剩余寿命是通过电化学-热-老化耦合模型仿真预测获得。首先，对电池进行不同充电策略下的寿命测试，获取电池前期寿命衰退曲线，再结合充电过程中电压、电流、温度等参量的变化，修正电化学-热-老化耦合模型参数，最后利用修正后的模型预测电池寿命衰退情况，获取电池的剩余寿命。

由表2可知，本文方法与恒流恒压和多阶段恒流充电方法充电时间相近，但电池充电能耗和剩余循环次数均优于后者。本文方法单次充电成本比恒流恒压充电方法降低了20.9%，比多阶段恒流充电方法降低了15.3%。脉冲充电方法虽然平均能耗和电池寿命衰减较低，但充电时间较长，且该方法无法根据实时电价动态调整充电能耗与电池寿命之间的平衡，因此充电价格略高。综合来看，本文方法比脉冲充电方法速度提升了21.1%，单次充电的成本降低了0.7%。综上所述，本文方法在保证快速充电的同时，实现了用户充电成本的最优化。

3　 结 语

为降低用户充电成本，延长电池使用寿命，本文提出一种综合考虑电池衰减与电网分时电价的电池充电策略。具体而言，将充电过程中的电能消耗和电池损伤全部转化为用户充电成本，并采用强化学习方法进行优化。不同分时电价下的测试结果表明，在充电速度接近时，本文方法的成本比恒流恒压充电方法单次充电成本降低20.9%，比多阶段恒流充电方法降低15.3%；在物理约束相同时，本文方法的充电速度比传统恒流恒压充电方法提升9.9%，比脉冲充电方法提升21.1%，在降低充电成本的同时，最大化提升了充电速度。

参考文献

[1] LIU Y Y， ZHU Y Y， CUI Y. Challenges and opportunities towards fast-charging battery materials［J］. Nature Energy， 2019， 4： 540-550. DOI：10.1038/s41560-019-0405-3 .

[2] BOSE B， GARG A， PANIGRAHI B K， et al. Study on Li-ion battery fast charging strategies： Review， challenges and proposed charging framework［J］. Journal of Energy Storage， 2022， 55： 105507. DOI：10.1016/j.est.2022.105507 .

[3] WANG C Y， LIU T， YANG X G， et al. Fast charging of energy-dense lithium-ion batteries［J］. Nature， 2022， 611（7936）： 485-490. DOI：10.1038/s41586-022-05281-0 .

[4] JIN S， GAO X S， HONG S F， et al. Fast-charge， long-duration storage in lithium batteries［J］. Joule， 2024， 8（3）： 746-763. DOI：10.1016/j.joule.2023.12.022 .

[5] YANG Y， ZHONG X L， XU L， et al. The principle and amelioration of lithium plating in fast-charging lithium-ion batteries［J］. Journal of Energy Chemistry， 2024， 97： 453-459. DOI：10.1016/j.jechem.2024.06.005 .

[6] XIE R H， WU Y C， TANG H M， et al. A strongly coupled vehicle-to-vehicle wireless charging system for emergency charging purposes with constant-current and constant-voltage charging capabilities［J］. IEEE Transactions on Power Electronics， 2024， 39（4）： 3985-3989. DOI：10.1109/TPEL.2024.3352909 .

[7] TAHIR M U， SANGWONGWANICH A， STROE D I， et al. Multi-objective optimization for multi-stage constant current charging for Li-ion batteries［J］. Journal of Energy Storage， 2024， 86： 111313. DOI：10.1016/j.est.2024.111313 .

[8] YU K， ADEYINKA A M， CHOE S Y， et al. Optimized multi-stage constant current fast charging protocol suppressing lithium plating for lithium-ion batteries using reduced order electrochemical-thermal-life model［J］. Journal of Power Sources， 2025， 626： 235759. DOI：10.1016/j.jpowsour.2024.235759 .

[9] GRAW J， ZIMMERMANN H. Charging multiple batteries using the boost-flyback converter［C］//2012 IEEE International Energy Conference and Exhibition （ENERGYCON）.New York： IEEE Press， 2012： 963-967. DOI：10.1109/EnergyCon.2012.6348289 .

[10] LI S Q， WU Q， ZHANG D， et al. Effects of pulse charging on the performances of lithium-ion batteries［J］. Nano Energy， 2019， 56： 555-562. DOI：10.1016/j.nanoen.2018.11.070 .

[11] LIU J H， WANG X. Experimental study of the effect of different pulse charging patterns on lithium-ion battery charging［J］. Journal of Power Sources， 2024， 610： 234700. DOI：10.1016/j.jpowsour.2024.234700 .

[12] KUMAR K， PAREEK K. Fast charging of lithium-ion battery using multistage charging and optimization with Grey relational analysis［J］. Journal of Energy Storage， 2023， 68： 107704. DOI：10.1016/j.est.2023.107704 .

[13] ATTIA P M， GROVER A， JIN N， et al. Closed-loop optimization of fast-charging protocols for batteries with machine learning［J］. Nature， 2020， 578（7795）： 397-402. DOI：10.1038/s41586-020-1994-5 .

[14] SIRISUKPRASERT S， ISURU NIROSHANA S M. An adaptive pulse charging algorithm for lithium batteries［C］//2017 14th International Conference on Electrical Engineering/Electronics， Computer， Telecommunications and Information Technology （ECTI-CON）.New York： IEEE Press， 2017： 218-221. DOI：10.1109/ECTICon.2017.8096212 .

[15] SUAREZ C， MARTINEZ W. Fast and ultra-fast charging for battery electric vehicles-A review［C］//2019 IEEE Energy Conversion Congress and Exposition （ECCE）.New York： IEEE Press， 2019： 569-575. DOI：10.1109/ecce.2019.8912594 .

[16] TOMASZEWSKA A， CHU Z Y， FENG X N， et al. Lithium-ion battery fast charging： A review［J］. eTransportation， 2019， 1： 100011. DOI：10.1016/j.etran.2019.100011 .

[17] ZHANG D S S. Challenges and strategies for fast charge of Li-ion batteries［J］. ChemElectroChem， 2020， 7（17）： 3569-3577. DOI：10.1002/celc.202000650 .

[18] GONZALEZ-SAENZ J， BECERRA V. Determining fast battery charging profiles using an equivalent circuit model and a direct optimal control approach［J］. Energies， 2024， 17（6）： 1470. DOI：10.3390/en17061470 .

[19] DUAN X D， HU D Y， CHEN W H， et al. Electrochemical modeling of fast charging in batteries［J］. Advanced Energy Materials， 2024， 14（26）： 2400710. DOI：10.1002/aenm.202400710 .

[20] CHU Z Y， FENG X N， LU L G， et al. Non-destructive fast charging algorithm of lithium-ion batteries based on the control-oriented electrochemical model［J］. Applied Energy， 2017， 204： 1240-1250. DOI：10.1016/j.apenergy.2017.03.111 .

[21] LIANG J L， GAN Y H， SONG W F， et al. Thermal-Electrochemical simulation of electrochemical characteristics and temperature difference for a battery module under two-stage fast charging［J］. Journal of Energy Storage， 2020， 29： 101307. DOI：10.1016/j.est.2020.101307 .

[22] ZOU C F， HU X S， WEI Z B， et al. Electrothermal dynamics-conscious lithium-ion battery cell-level charging management via state-monitored predictive control［J］. Energy， 2017， 141： 250-259. DOI：10.1016/j.energy.2017.09.048 .

[23] YIN Y L， HU Y， CHOE S Y， et al. New fast charging method of lithium-ion batteries based on a reduced order electrochemical model considering side reaction［J］. Journal of Power Sources， 2019， 423： 367-379. DOI：10.1016/j.jpowsour.2019.03.007 .

[24] ZHANG C P， JIANG J C， GAO Y， et al. Charging optimization in lithium-ion batteries based on temperature rise and charge time［J］. Applied Energy， 2017， 194： 569-577. DOI：10.1016/j.apenergy.2016.10.059 .

[25] PARK S， POZZI A， WHITMEYER M， et al. A deep reinforcement learning framework for fast charging of Li-ion batteries［J］. IEEE Transactions on Transportation Electrification， 2022， 8（2）： 2770-2784. DOI：10.1109/TTE.2022.3140316 .

[26] HAO Y H， LU Q G， WANG X Z， et al. Adaptive model-based reinforcement learning for fast-charging optimization of lithium-ion batteries［J］. IEEE Transactions on Industrial Informatics， 2024， 20（1）： 127-137. DOI：10.1109/TII.2023.3257299 .

[27] YANG X F， HE H W， WEI Z B， et al. Enabling safety-enhanced fast charging of electric vehicles via soft actor critic-Lagrange DRL algorithm in a cyber-physical system［J］. Applied Energy， 2023， 329： 120272. DOI：10.1016/j.apenergy.2022.120272 .

[28] HOU L F， ZHANG X Q， GU X， et al. A fast charging method for lithium-ion batteries considering charging urgency of the user［J］. IEEE Transactions on Energy Conversion， 2025， 40（2）： 1237-1247. DOI：10.1109/TEC.2024.3509687 .

[29] OUAZZANI H E， HASSANI I E， BARKA N， et al. MSCC-DRL： Multi-Stage constant current based on deep reinforcement learning for fast charging of lithium ion battery［J］. Journal of Energy Storage， 2024， 75： 109695. DOI：10.1016/j.est.2023.109695 .

[30] EGBOMWAN O E， LIU S C， CHAOUI H. Twin delayed deep deterministic policy gradient （TD3） based virtual inertia control for inverter-interfacing DGs in microgrids［J］. IEEE Systems Journal， 2023， 17（2）： 2122-2132. DOI：10.1109/JSYST.2022.3222262 .

[31] KEIL P， JOSSEN A. Charging protocols for lithium-ion batteries and their impact on cycle life—An experimental study with different 18650 high-power cells［J］. Journal of Energy Storage，2016， 6（1）： 125-141. DOI： 10.1016/j.est.2016.02.005 .

[32] WEI Z B， QUAN Z Y， WU J D， et al. Deep deterministic policy gradient-DRL enabled multiphysics-constrained fast charging of lithium-ion battery［J］. IEEE Transactions on Industrial Electronics， 2022， 69（3）： 2588-2598. DOI： 10.1109/TIE.2021.3070514 .

基金资助

国家重点研发计划(2022YFB2403900)

国家电网公司科技项目(SDDD-2024-02)