计算星座中基于HRL的多实例虚拟化研究

摘要

针对计算敏感型虚拟网络服务在有限资源卫星节点上的低嵌入灵活性问题，引入多实例虚拟化机制，通过多个虚拟网络功能(VNF)实例分担原VNF计算负载，并提出计算星座中基于分层强化学习(HRL)的实例生成与嵌入联合优化算法。首先，采用滑动窗口选取资源冗余度最高的卫星网络区域执行嵌入，降低HRL状态空间维度，缩短相邻实例嵌入跳数，以提升算法性能与运行效率，从而适配大规模星座；而后，将多实例虚拟化问题建模为分层马尔可夫决策过程，采用HRL求解。上层智能体负责实例网络生成决策，平衡嵌入灵活性与管理开销；下层智能体负责实例网络嵌入决策，实现网络资源高效利用。仿真结果表明，所提方案在保障服务接收率的同时，提高了系统净收益。

关键词

计算星座 / 多实例虚拟化 / 分层强化学习 / 滑动窗口