基于Transformer的锂离子电池荷电状态智能预测方法

A Transformer-based intelligent prediction method for lithium-ion battery state of charge

摘要

锂离子电池的荷电状态（state of charge，SOC）是新能源电动汽车电池管理系统中的关键参数。针对复杂运行环境下锂离子电池SOC预测精度不足等问题，提出了一种基于Transformer神经网络的电动汽车锂离子电池SOC智能预测方法。以日产Leaf电池为研究对象，搭建了新能源电动汽车锂离子电池充放离子电测试平台，模拟用户的真实能量需求及实时能量需求的动态变化，动态调整电池的充放电策略，采集多维度电池数据并进行预处理。构建基于Transformer模型的SOC预测框架，通过神经网络提取复杂时间序列特征，实现了对锂离子电池SOC的高精度预测。实验结果表明，提出的方法在预测精度上优于其他网络，其平均绝对误差低于1.51%，均方根误差（root mean square error，RMSE）低于0.48%，验证了该方法的有效性和准确性。

Abstract

The state of charge （SOC） of lithium-ion batteries is a critical parameter in the battery management system of new energy electric vehicles. To address the issue of insufficient SOC prediction accuracy for lithium-ion batteries under complex operating conditions，an intelligent SOC prediction method for electric vehicle lithium-ion batteries based on the Transformer neural network was proposed. Taking the Nissan Leaf battery as the research object， a charging and discharging test platform for new energy electric vehicle lithium-ion batteries was built to simulate the real energy demands of users and the dynamic changes in real-time energy needs. This platform dynamically adjusted the battery’s charging and discharging strategies， collected multi-dimensional battery data， and preprocessed the data. Then， a SOC prediction framework based on the Transformer model was constructed， which extracted complex time series features through neural networks， achieved high-precision predictions of lithium-ion battery SOC. The experimental results indicate that the proposed method outperforms other networks in prediction accuracy， with a mean absolute error of less than 1.51% and a RMSE of less than 0.48%， validating the effectiveness and accuracy of this method.

Graphical abstract

关键词

荷电状态 / 新能源电动汽车 / 电池管理系统 / Transformer / 锂离子电池

Key words

state of charge / new energy electric vehicle / battery management system / Transformer / lithium-ion battery

锂离子电池因其能量密度高、寿命长及自放电率低等优点，已经成为新能源电动汽车、新能源电动飞机等电动交通工具的首选能源解决方案。随着电动交通工具在全球范围内的普及，锂离子电池健康管理变得尤为重要。其中，锂离子电池荷电状态是电池健康管理系统的核心参数，精确的SOC预测技术可有效提高电池的利用率、延长电池组的使用寿命，对电动交通工具的行政规划及控制策略制定均具有重要意义^［1-3］。

锂离子电池的SOC预测方法主要分为基于模型的预测方法^［4-5］及数据驱动的预测方法^［6-8］。在基于模型的预测方法中，Sun等^［9］提出一种基于变窗口自适应卡尔曼滤波的SOC估算方法，通过检测误差信息变化、更新误差矩阵以减小SOC估计误差。Plett^［10］提出了一种加权最小二乘法，用于改进因电流和电压等测量噪声导致的准确率低下问题。刘芳等^［11］提出了一种改进的遗传算法，用于电池内阻、极化内阻和电容等参数的在线辨识。这种改进方法有效地避免了遗传算法在锂电池模型参数辨识过程中易陷入局部最优解的局限性。Yang等^［12］提出了一种基于模型的扩展卡尔曼滤波算法进行SOC估计，该算法结合了在Simulink环境中开发的车辆动力学模型，实现对SOC的精准预测。Pang等^［13］提出了一种自适应卡尔曼滤波算法，将卡尔曼滤波与最小二乘法相结合，与传统的固定参数卡尔曼滤波相比，该方法能够显著减小SOC预测结果的偏差。赵剑坤等^［14］提出了一种考虑电池衰退影响的动静态SOC估算方法，该方法基于安时积分法进行SOC估算，并通过引入电池健康状态（state of health，SOH）修正电池的初始有效容量。对于静态SOC估算，主要考虑电池衰退因素；而在动态SOC估算中，不仅考虑了电池的衰退，还综合考虑了运行电流和温度的影响。

尽管基于模型的预测方法在电池SOC预测中取得了一定成效，但在动态变化的使用环境和复杂操作条件下，这些方法难以全面捕捉电池性能随时间和工况变化的复杂性^［15-16］。为应对这一挑战，许多学者开始了一系列基于数据驱动预测方法的研究。Shao等^［17］提出了具有自适应奇异值分解变换无迹卡尔曼滤波的扩展输入到长短期记忆网络（long short-term memory，LSTM）方法，为两种不同电池在不同电流和温度下的SOC预测提供了较好的解决方案。Chen等^［18］提出了一种结合长短期记忆网络和自注意力机制的模型，在正常温度下及高温条件下为SOC的预测提供了较为准确的方法。而针对温度变化下新能源汽车动力电池SOC估计不精确的问题，孙君光等^［19］提出了一种基于神经网络和无迹卡尔曼滤波的修正方法，通过Thevenin等效电路模型、神经网络温度因子和递推最小二乘法相结合，精准捕捉温度变化对电池开路电压和容量的影响。Hosen^［20］提出了一种基于卷积神经网络（convolutional neural network，CNN）对整段充电状态下的SOC进行估计，所提出方法可以灵活改变网络输入维度，准确地推导出锂离子电池临界状态下的充电曲线。Hu等^［21］提出了基于非线性状态空间重构和LSTM的联合估计方法，有效地提高了SOC和电池健康状态的估计准确性。Zhang等^［22］改进了安时积分法，利用长短期记忆网络模型提高了SOC估算方法的精度。Guo等^［23］提出了采用卷积双向长短期记忆神经网络模型，将统计知识和物理知识融合，从而获得更加准确可靠的SOC估计。

尽管SOC预测研究已取得进展，但在动态环境下仍难以保持高精度和鲁棒性。现有方法多依赖物理模型或固定参数，难以应对复杂工况与电池状态的变化。基于人工智能的预测方法虽具潜力，但高度依赖于数据^［24］。目前广泛使用的公开数据集如INR18650-20R、A123等型号电池容量较小，结构和性能与实际电动车电池差异明显，且采集工况单一，难以真实反映电池在不同温度与负载条件下的SOC变化，限制了研究成果的实际应用价值。

本文以日产Leaf电池为研究对象，搭建锂离子电池充放电测试平台，采集多温度、多负载下的多维度数据，并构建了优化版Transformer网络的SOC预测模型。该模型凭借强大的自注意力机制，能够有效捕捉电池状态的长期依赖关系，特别适用于处理复杂时序特征的SOC预测任务。实验结果表明，优化后的Transformer模型在预测精度上明显优于传统方法，克服了公开数据集在多样性和复杂性方面的局限，为实际应用中的SOC预测提供了有效手段，并为数据驱动方法在工业场景中的应用提供理论支持。

1 方法介绍

本文基于Transformer模型，构建了电动汽车锂离子电池SOC的预测方法，研究流程如图1所示。具体包括：

1） 搭建锂电池充放电测试平台，收集电池的关键数据，包括电压、电流等特征信息。按时间窗口序列化处理，并进行数据清洗与归一化，构建神经网络所需的标准化数据集。

2） 搭建了基于Transformer网络的新能源电动汽车锂电池SOC预测模型，训练并优化网络参数，使模型达到最佳的预测效果。

3） 使用优化后的模型，输入电池数据，生成电池的SOC退化曲线，预测其在不同工况下的SOC变化趋势。

Transformer模型嵌入的多头注意力机制使得网络可并行且高效地捕捉时间序列中的复杂时序关系，Transformer模型结构如图2所示。

1.1 位置编码

位置编码向输入序列中添加位置信息，以便使模型能够理解输入数据的顺序关系，表示为

\begin{array}{l}\mathrm{P}\mathrm{E}(\mathrm{p}\mathrm{o}\mathrm{s},\mathrm{2}i)=\mathrm{s}\mathrm{i}\mathrm{n}\left(\frac{\mathrm{p}\mathrm{o}\mathrm{s}}{\mathrm{10}{\mathrm{000}}^{\mathrm{2}i/d}}\right)\\ \mathrm{P}\mathrm{E}(\mathrm{p}\mathrm{o}\mathrm{s},\mathrm{2}i+\mathrm{1})=\mathrm{c}\mathrm{o}\mathrm{s}\left(\frac{\mathrm{p}\mathrm{o}\mathrm{s}}{\mathrm{10}{\mathrm{000}}^{\mathrm{2}i+\mathrm{1}/d}}\right)\end{array}（1）

式中：PE（pos，2i）和PE（pos，2i+1）分别为位置编码矩阵中的偶数和奇数位置； pos为位置；i为维度索引。通过引入位置编码，使得模型能够更好地理解和处理序列数据，为后续的模型训练和预测提供了基础。

1.2 多头注意力机制

如图3所示，Self-Attention 结构是该模型的核心组成部分之一，通常由三部分组成：查询、键和值。三者的计算方式为

\left\{\begin{array}{l}\mathit{Q}={\rm X}{\mathit{W}}_{\mathit{Q}}\\ \mathit{K}={\rm X}{\mathit{W}}_{\mathit{K}}\\ \mathit{V}={\rm X}{\mathit{W}}_{\mathit{V}}\end{array}\right.（2）

式中： W_Q 、 W_K 与 W_V 均为可学习的权重矩阵。然后通过计算查询向量 Q 和键向量 K 之间的点积，并对结果进行缩放和softmax归一化，得到注意力权重矩阵 A。

\mathit{A}=\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}\left(\frac{\mathit{Q}{\mathit{K}}^{\mathrm{T}}}{\sqrt[]{d_k}}\right)（3）

式中：d_k 为键向量 K 的维度，最后通过注意力权重矩阵 A 与值向量 V 进行加权求和得到注意力机制部分的输出 Z。

\mathit{Z}=\mathit{A}\mathit{V}（4）

多头注意力机制通过并行计算多个注意力头来捕获输入序列中的不同信息。通过引入多头注意力机制有效地增强了模型对序列数据的建模能力。

2 实验与结果

2.1 实验平台介绍

本文以日产Leaf电池为研究对象，该型号电池主要应用于日产聆风系列电动汽车，其续航里程可达160 km，电池主要参数如表1所示。

实验装置如图4所示，包括8个电池模块，每个模块包含2个电池单元，共计16个电池单元的电池组，用于记录电池充放电过程的I-tech电池测试仪。实验过程中，其充放电循环基于日前与实时能量调度切换进行设计与调整^［25］。

2.2 实验结果及性能分析

为验证本文所提方法的优越性，进一步采用3种常见神经网络作为对比，分别预测锂电池的SOC，具体包括循环神经网络、LSTM及CNN-LSTM模型。同时设定2个任务评估不同方法在锂电池数据集上的性能。每个任务包含20段完整放电数据，并随机选取4段为测试数据。

图5为任务1下不同网络预测对比图。从图5中可以看出，本文所提出的基于Transformer模型的锂离子电池SOC预测模型与对比模型相比，预测误差较小。在任务1下平均绝对误差分别为0.16%、0.23%、0.22%和0.20%。图5中黑色方框范围内，本文提出的模型误差最低，其平均绝对误差分别为0.06%、0.08%、0.14%和0.07%；在图5中灰色方框范围内，SOC的变化趋势较为复杂，而其依然保持了最小的平均绝对误差，分别为0.17%、0.38%、0.28%和0.29%。RNN网络的误差分别为0.95%、2.18%、1.83%和0.99%。这一结果充分证明了本文提出的模型在精度上的优势。

图6为各模型在不同任务的RMSE误差对比。Transformer模型在所有任务中均表现优异，特别是在任务1-1中，其RMSE显著低于其他模型，展现了卓越的预测能力。

综合来看，本文提出的模型在上述任务中的表现优于其他模型，RMSE误差较低，表明其预测准确性更高。然而，对于10%~30%的SOC预测结果相对较差，因此，如何解决这一挑战成为接下来研究的关键问题。

此外，本文还探究了模型维度、注意力头数、批次大小和前馈网络维度这4个关键参数对预测精度的影响。为了全面分析这些参数对模型性能的影响，针对每个参数分别设置了多种不同的组合，共设计了20组实验配置，模型具体参数设置如表2所示。

为了验证不同参数设置对模型预测精度的影响，本文选取了2个电池的4个放电过程作为测试样本。不同参数配置下的RMSE误差如图7所示，圆球表示RMSE值，灰色圆球为最低值。通过比较不同参数配置下的模型性能，确定最优配置。

实验结果表明，增加模型维度可提升表示能力，特别在复杂数据集上表现更优，但超出一定值后，性能趋于平缓甚至过拟合，需合理选择以保证泛化能力。注意力头数的增加有助于捕捉多样特征，但增加了计算复杂度，实验表明适量头数可在性能与计算效率间达成平衡。批量大小影响训练稳定性与速度，适中值在精度和收敛速度上表现更优。因此，本文最终选择了一组经过优化的参数配置，用于模型的最终训练，以确保性能与效率的最佳平衡。

3 结论

针对锂离子电池SOC预测任务中不同模型的表现，Transformer模型展现了卓越的预测性能。具体结论如下：

1）相较于其他模型，Transformer在时序预测任务中展现了显著的优势。其独特的自注意力机制使其能够有效地捕捉长时间依赖关系，特别是在复杂时序数据的建模上，表现出较低的预测误差。相比传统模型，Transformer更擅长处理高维度和多变的时序数据，具备较强的泛化能力和稳定性。

2）实验结果表明，增加模型维度可以显著提升预测精度，但过高的维度可能导致过拟合。经过多组实验验证，选取适中的注意力头数量与合适的批量大小能够有效地提高模型的总体表现。

总体而言，本文验证了Transformer模型在电池SOC预测任务中的有效性。未来的研究将继续优化模型结构和数据处理方法，以提升预测精度，并探索更多实际应用场景中的潜在改进措施。

参考文献

[1] Zhang W， Li X， Li X.Deep learning-based prognostic approach for lithium-ion batteries with adaptive time-series prediction and on-line validation［J］.Measurement，2020，164：108052.

[2] Zhu Y F， Li X， Zhang Y W，et al.Cross-domain prognostic method of lithium-ion battery in new energy electric aircraft with domain adaptation［J］.IEEE Sensors Journal，2023，23（13）：14487-14498.

[3] 华旸，周思达，何瑢，等.车用锂离子动力电池组均衡管理系统研究进展［J］.机械工程学报，2019，55（20）：73-84.

[4] Buchicchio E， De Angelis A， Santoni F，et al.Battery SOC estimation from EIS data based on machine learning and equivalent circuit model［J］.Ener-gy，2023，283：128461.

[5] Ding P， Liu X J， Li H Q，et al.Useful life prediction based on wavelet packet decomposition and two-dimensional convolutional neural network for lithium-ion batteries［J］.Renewable and Sustai-nable Energy Reviews，2021，148：111287.

[6] Korkmaz M.SoC estimation of lithium-ion batteries based on machine learning techniques：a filtered approach［J］.Journal of Energy Storage，2023，72：108268.

[7] Zhou H， Luo J， Yu Z.Co-estimation of SOC and SOH for Li-ion battery based on MIEKPF-EKPF fusion algorithm［J］.Energy Reports，2023，10（11）：4420-4428.

[8] Sangeetha E P， Subashini N， Santhosh T K，et al.Validation of EKF based SoC estimation using vehicle dynamic modelling for range prediction［J］.Electric Power Systems Research，2024，226：109905.

[9] Sun D M， Yu X L， Wang C M，et al.State of charge estimation for lithium-ion battery based on an Intelligent Adaptive Extended Kalman Filter with improved noise estimator［J］.Energy，2021，214：119025.

[10] Plett G L.Recursive approximate weighted total least squares estimation of battery cell total capa-city［J］.Journal of Power Sources，2011，196（4）：2319-2331.

[11] 刘芳，马杰，苏卫星，等.基于模型参数在线辨识技术的SOC估算方法［J］.东北大学学报（自然科学版），2020，41（11）：1543-1549.

[12] Yang B， Li G， Tang W， et al. Research on optimized SOC estimation algorithm based on extended Kalman filter ［J］. Frontiers in Energy Research， 2022， 10： 1027439.

[13] Pang Y Z， Zhang X Y， Tian J T. The SOC estimation for power battery using KF method which parameters are updated by least square method ［J］. Applied Mechanics and Materials， 2014， 694： 67-72.

[14] 赵剑坤，陈世龙，杨乃兴，等.锂离子电池全生命周期的动静态荷电状态估算方法［J］.西安交通大学学报，2024，58（10）：44-50.

[15] Chen P Y， Mao Z Y， Wang C Y，et al.A novel RBFNN-UKF-based SOC estimator for automatic underwater vehicles considering a temperature compensation strategy［J］.Journal of Energy Sto-rage，2023，72：108373.

[16] Takyi-Aninakwa P， Wang S L， Liu G C，et al.Enhanced extended-input LSTM with an adaptive singular value decomposition UKF for LIB SOC estimation using full-cycle current rate and temperature data［J］.Applied Energy，2024，363：123056.

[17] Shao Y X， Zheng Y J， Zhang J N，et al.A cloud capacity estimation method for electric vehicle lithium-ion battery independent of cloud SOC［J］.Journal of Energy Storage，2024，85：110998.

[18] Chen G X， Peng W W， Yang F F.An LSTM-SA model for SOC estimation of lithium-ion batteries under various temperatures and aging levels［J］.Journal of Energy Storage，2024，84：110906.

[19] 孙君光，杜睿，陈立新，等.考虑温度变化的新能源汽车动力电池荷电状态估计［J］.西安交通大学学报，2024，58（11）：39-51.

[20] Hosen M S.A quick battery charging curve prediction by artificial neural network［J］.Patterns，2021，2（9）：100338.

[21] Hu J X， Hu W H， Cao D，et al.Probabilistic net load forecasting based on transformer network and Gaussian process-enabled residual modeling lear-ning method［J］.Renewable Energy，2024，225：120253.

[22] Zhang H L， Tang W， Na W，et al.Implementation of generative adversarial network-CLS combined with bidirectional long short-term memory for lithium-ion battery state prediction［J］.Journal of Energy Storage，2020，31：101489.

[23] Guo X Y， Lin X， Yang X，et al.UCTNet：Uncertainty-guided CNN-Transformer hybrid networks for medical image segmentation［J］.Pattern Recognition，2024，152：110491.

[24] Li X， Zhang W， Li X，et al.Partial domain adaptation in remaining useful life prediction with incomplete target data［J］.IEEE/ASME Transactions on Mechatronics，2024，29（3）：1903-1913.

[25] Yang S， Ling L， Li X， et al. Industrial battery state-of-health estimation with incomplete limited data towards second-life applications ［J］. Journal of Dynamics， Monitoring and Diagnostics， 2024，3（4）：246-257.

基金资助

国家自然科学基金(11902202)