知识蒸馏驱动的卫星网络流量轻量化预测模型

摘要

传统流量预测模型计算复杂度高，难以适应卫星网络的资源限制，同时对卫星流量的时空特性建模不足，无法有效表征其拓扑变化和流量分布，导致预测精度与计算效率难以兼顾，限制了其在卫星网络中的实际应用.为此，提出一种由知识蒸馏驱动的轻量化卫星网络流量预测模型，旨在捕捉卫星网络流量的时空特征并降低模型复杂度.首先，该模型通过构建结合图卷积网络(GCN)和Transformer的教师模型，以及融合GCN和门控循环单元(GRU)的学生模型，实现时空特征提取.其次，设计包含软损失、硬损失、特征损失和时序动态加权KL(Kullback-Leibler)散度损失的蒸馏机制，利用多层次特征提取与动态序列权重调整，引导学生模型高效学习教师模型中的时空依赖关系与流量动态.实验结果表明，蒸馏后的学生模型在MSE和MAE上分别降低26.1%和17.4%,接近教师模型性能，同时参数量、计算量和推理时间分别减少75.6%、78.6%和3.6倍，展示了其在资源受限环境下的高效性.

关键词

卫星网络 / 流量预测 / 时空特征 / 知识蒸馏 / 动态加权损失

基金资助

国家自然科学基金项目(61602305,61802257)资助; 上海市自然科学基金项目(18ZR1426000,19ZR1477600)资助