基于深度强化学习的多方式协同车联网边缘计算任务卸载

摘要

随着车联网技术的快速发展，边缘计算在车联网信息处理应用中的作用日益增强.车联网中车辆设备的计算资源和存储能力有限，而车辆需要处理大量数据和复杂的计算任务，单一的卸载方式无法满足场景的需求，现有的单一通信模式限制了任务卸载的灵活性和效率，因此需要在动态网络环境下，考虑多种卸载方式的协同，以提高系统的整体性能和灵活性.为此，提出一种基于深度强化学习的多方式协同车联网边缘计算任务卸载方案.通过采用车辆对车辆(V2V)、车辆对车辆联盟(V2A)、车辆对路侧单元(V2R)以及路侧单元对基站(R2B)等通信方式，实现了对计算密度大和时延要求高的任务的协同处理.为解决高维优化问题，采用基于马尔可夫决策过程(MDP)的建模方法，并通过深度强化学习来应对动态状态空间的复杂性.特别地，本文设计了多方式协同任务卸载优化(Multi-mode Collaborative Task Offloading, MCTO)算法，以解决在传输速率、计算资源和动态网络环境等约束条件下采用多种通信模式的任务卸载问题.仿真结果表明，MCTO算法具有良好的收敛性，并且在系统时延方面，相比其他强化学习算法有显著提升，整体性能提高了28.67%.

关键词

边缘计算 / 车联网 / 深度强化学习 / 马尔可夫决策过程 / 计算卸载