基于iTransformer的轻量级时序预测模型

摘要

针对时序预测领域难以平衡预测精度与时效性问题，以iTransformer模型为基础框架，提出一种轻量级时序预测模型ILformer。iTransformer作为基于变量的典型时序预测模型，能有效捕获多变量间复杂交互关系，但其存在计算复杂度较高与参数量较大的局限性，导致在资源受限的实际应用场景中模型难以高效部署。ILformer针对这些不足展开优化。首先，引入线性注意力机制(Linear Attention)替代传统注意力机制，使输入处理更加灵活，通过线性投影和维度重排，ILformer在减少参数量的同时，能更好地适应不同输入形状和结构，尤其在处理大规模数据时计算效率较高，并能在不降低模型精度前提下显著减少注意力模块的计算复杂度；其次，通过对注意力机制进行奇异值分解实现矩阵降维，大幅减少了矩阵乘法和加法的计算次数，提升了计算效率，同时降低了模型的过拟合风险；最后，在8个不同数据集上进行实验。实验结果表明：ILformer在保持相同精度的同时，推理速度提高了40.46%,参数量减少了78.75%,且计算量减半，展示了优异性能与实用性。

关键词

时序预测 / 轻量级 / 奇异值分解 / 线性注意力机制

基金资助

河南省科技攻关项目(232102210050,242102210060); 河南省自然科学基金资助项目(222300420295,242300421474)