基于分解式Transformer的联邦长期时间序列预测算法

摘要

为解决基于Transformer的方法存在计算成本高和无法捕捉时间序列总体趋势的问题，将Transformer与季节性趋势分解法相结合，提出基于分解式Transformer的联邦长期时间序列预测算法，其中分解方法用于捕捉时间序列的全局概况。在实际场景中，时间序列数据来自多个不同客户端。考虑数据隐私问题，利用联邦学习从多个客户端获得整体最优预测模型，采用基于局部锐度感知最小化的优化器提高全局模型的泛化性。与先进的方法相比，该方法在4个基准数据集的多变量和单变量时间序列预测任务中都有改进，在用电负荷(electricity consuming load, ECL)数据集上性能最高可提升26.9%。试验结果充分表明季节性趋势分解法与局部锐度感知最小化的优化器在长期时间序列预测任务上的有效性。

关键词

隐私保护 / 联邦学习 / 长期预测 / 模型泛化 / Transformer