采用Q学习的能量收集多中继协作网络中继选择策略

孙宝玺; 李巍; 翁康怡; 余文政; 梁中华

西安交通大学学报 ›› 2026, Vol. 60 ›› Issue (6) : 245 -255.

孙宝玺, 李巍, 翁康怡, 余文政, 梁中华

作者信息 +

Author information +

文章历史 +

摘要

针对采用太阳能的能量收集（energy harvesting, EH）多中继协作通信网络中断性能较差的问题，基于强化学习理论提出了一种联合中继选择和功率分配策略的优化方法。采用基于太阳辐照度实测数据的随机EH模型用于描述能量收集动态状况；建立了EH多中继协作网络的马尔可夫决策过程模型，定义动作空间、状态空间、收益函数、传输策略和价值函数；使用Q学习算法设计了网络传输策略的学习和优化过程，明确了单步学习过程中的动作选择、状态转移和Q值更新方法。该优化方法能够根据太阳能EH状态、无线信道衰落状态和所有EH中继的电池电量，动态选择单个中继并确定其发射功率转发信号，以优化网络信息传输中断概率。此外，进行了计算机仿真实验，分析了网络参数对中断概率性能的影响，结果表明：网络中断概率在极高信噪比下存在饱和特性；所提优化方法相对于深度Q网络算法，在网络中断概率为10^-2～10^-3时可获得3～5 dB的信噪比增益；相对于Actor-Critic和SARSA算法在网络中断概率为10～0～10^-3时可分别获得2～3 dB和3～7 dB的信噪比增益。