基于MASAC最大熵强化学习的跳波束卫星系统资源适配方案

摘要

针对跳波束卫星系统中通信终端多样化的业务需求导致星-地资源供需失配，以及上行传输中机器类终端能量资源受限的挑战，提出一种基于MASAC(multi-agent soft actor-critic)最大熵强化学习的资源适配方案.首先构建了两阶段传输系统模型，在星-地资源供需失配问题的基础上，研究跳波束与非正交多址接入（non-orthogonal multiple access,NOMA）的协同作用.同时，引入能量采集与收集机制，优化了终端设备能量采集与信号传输之间的关系.在此基础上，将上下行传输过程进行整合，建立跳波束图样选择，时隙分配以及速率与功率控制的多目标优化问题，并采用MASAC算法进行优化求解，得到最优联合控制方案.实验结果表明，所提方案能够有效进行资源分配以实现星-地资源供需匹配，并满足能量受限终端的信号传输需求.与基准算法相比，所提算法具有良好的性能.

关键词

跳波束卫星 / 非正交多址 / 能量收集 / 资源适配 / 深度强化学习