基于强化学习的任务缓存和计算卸载效益最大化算法研究

摘要

近年来，移动边缘计算(Mobile Edge Computing, MEC)技术的持续发展和应用成功地应对了随着终端用户数量急剧增加而导致网络边缘数据量爆炸性增长的用户服务需求.然而，如何实时优化分配这些服务器给不同用户仍然是一个亟待解决的紧迫问题.本文专注于多用户多MEC服务器场景中任务缓存和计算卸载策略的联合优化问题，借助于强化学习算法分别解决这两个子问题.在任务缓存方面，本文以最大化系统缓存命中率为目标，引入了基于Gomory割平面的多臂选择算法(Gomory Based Multi-Arm Selection, GMAS)来适应不同任务数据量的差异，并通过理论证明了算法遗憾上界的对数性.而在任务卸载方面，提出了Dueling架构的双重Q网络(Double DQN with Dueling architecture, D3QN)算法以应对多用户多MEC服务器中的任务卸载问题，该算法在保证任务性能的同时有效规避了DQN算法中Q值过估计的问题.仿真结果表明，本文所提出的算法在时延和能耗等方面相较A3C和DQN算法表现出明显的优势.

关键词

移动边缘计算 / 任务缓存 / 计算卸载 / 深度强化学习

基金资助

国家自然科学基金面上项目(62371116,62172383,62231015)资助; 河北省教育厅高等学校科学技术研究重点项目(ZD2022164)资助; 河北省软件工程重点实验室项目(22567637H)资助