RIME-Transformer模型在复杂时序预测问题中的应用

摘要

为解决传统Transformer在长序列建模和计算效率的不足,本文提改进的Transformer模型,该模型在特征提取阶段引入多尺度卷积结构,通过并行卷积核在不同尺度上捕捉短期波动与长期趋势,增强对多层次时序模式的表征能力。随后,模型采用可学习的位置编码代替固定的正弦编码,更好地应对非平稳数据和不规则时间间隔问题。在全局依赖建模过程中,改进的编码器利用多头自注意力机制建立跨时间步的特征交互,动态分配时刻权重以聚焦关键片段,有效降低长序列建模的计算复杂度。Transformer模型还结合了霜冰优化算法(rime optimization algorithm, RIME)在高维超参数空间中进行高效搜索与优化,提升模型的收敛速度与泛化能力。实验在3个真实复杂数据集上进行,结果表明RIME-Transformer模型在多项指标上均优于主流方法研究结果,验证所提模型在复杂时序预测任务中的有效性与优越性。

关键词

Transformer / 霜冰优化算法 / 多尺度特征编码 / 可学习位置编码 / 注意力池化