时频空间Transformer网络在主机负载预测中的应用

摘要

随着大型电子业务系统和科研计算任务日益复杂，预测主机集群未来的指标数据变化趋势具有很强的现实意义.然而，主机时序数据的时空依赖问题很大程度上阻碍了主机集群资源的高效利用.为此，本文提出了TFSformer模型，该模型利用全局时空注意力和窗口卷积注意力解决了时空依赖问题.在时序数据预处理阶段，本文通过引入Wavelet-TCN-Embedding,实现了对主机负载特征序列的小波分解，将短期和全局时序依赖的特征有效地提取出来，从而提高了预测的准确性.其次，模型通过引入全局时空注意力和窗口卷积注意力，可以挖掘不同负载指标之间的空间依赖关系并且实现了对不同时间尺度下的时间依赖关系的关注，以此解决主机时间序列的时空依赖问题.同时，在主机系统上的实验证明了TFSformer在短期序列预测方面具备出色的性能，模型有效地提高了集群资源利用率并且降低了运维成本.

关键词

时间序列预测 / TFSformer / Wavelet-TCN-Embedding / 全局时空注意力 / 窗口卷积注意力

基金资助

国家自然科学基金项目(71971066)资助