一种边缘低空系统中基于主动推理的深度强化学习算法

杜剑波; 贡杰; 王嘉煊; 王玉婷; 陈天赐; 李树磊

doi:10.13682/j.issn.2095-6533.2025.01.002

西安邮电大学学报 ›› 2025, Vol. 30 ›› Issue (01) : 9 -18. DOI: 10.13682/j.issn.2095-6533.2025.01.002

一种边缘低空系统中基于主动推理的深度强化学习算法

杜剑波, 贡杰, 王嘉煊, 王玉婷, 陈天赐, 李树磊

作者信息 +

Author information +

文章历史 +

PDF

摘要

为了降低低空边缘系统中的系统开销和优化用户体验质量(Quality of Experience, QoE),提出一种边缘低空系统中基于主动推理的深度强化学习(Active Inference Enabled Deep Reinforcement Learning, ADRL)算法。构建一个无人机(Unmanned Aerial Vehicle, UAV)辅助的多接入边缘计算(Multi-Access Edge Computing, MEC)系统网络模型，将边缘服务器部署在具有为用户提供卸载计算服务和内容缓存服务的UAV上。在考虑UAV算力资源限制的情况下，将最小化用户开销和最大化用户体验质量作为优化目标构建优化问题，并将该问题转化为马尔可夫决策过程，以实现任务卸载、内容缓存及资源分配。将所提算法与无物体缓存算法和UAV带宽平均分配算法在QoE、系统开销及实时奖励等进行对比，仿真结果表明，所提算法将用户开销相对基准算法降低了约13%,用户QoE相对基准算法提高了约14%。