混合动作空间下的无人机协助移动群智感知任务分配

摘要

在无人机协助的移动群智感知(MCS,Mobile Crowd Sensing)系统中，由于任务分配决策是离散动作，任务执行者移动速度是连续动作，现有研究难以对二者进行同步联合优化，从而限制了感知收益的最大化.针对该问题，本文提出一种基于E-HPPO的无人机协助MCS任务分配算法.首先，针对任务分配决策的离散动作和任务执行者移动速度的连续动作，建立了具有离散动作与连续动作的两个神经策略模型的强化学习模型.其次，优化H-PPO算法，提出的E-HPPO通过分层结构对离散动作和连续动作进行处理，首先生成离散动作任务决策序列，然后根据离散动作策略网络结果生成连续动作，减少动作求解空间，提高二者之间的关联性.实验结果表明，所设计算法与现有算法和方案相比，能够有效处理离散与连续动作之间的关系，提高MCS平台的最终感知收益，并表现出良好的稳定性.

关键词

移动群智感知 / 无人机辅助 / 混合动作空间 / 任务分配 / 深度强化学习

基金资助

国家自然科学基金项目(61602305,61802257)资助; 上海市自然科学基金项目(18ZR1426000,19ZR1477600)资助