结合PPO和蒙特卡洛树搜索的斗地主博弈模型

摘要

斗地主是一种典型的非完备信息博弈，由于具有多人博弈、动作空间庞大、合作与竞争并存等决策需求，单一的蒙特卡洛树搜索在应用时存在效率低的问题。为提升蒙特卡洛树搜索的策略效果和搜索效率，提出一种基于近端策略优化(proximal policy optimization, PPO)算法结合蒙特卡洛树搜索的斗地主博弈模型。利用PPO算法学习斗地主中的牌局和策略信息，训练出可根据当前局面提供动作概率的策略模型，为蒙特卡洛树搜索的选择和模拟阶段提供策略指导。在选择阶段，通过PPO策略模型输出的动作概率优化策略选择公式，指导高质量动作节点的选择。在模拟阶段，PPO替代了随机模拟过程，使模拟更加符合策略，减少低效路径的探索。实验结果表明：结合PPO优化后的蒙特卡洛树搜索不仅提高了决策的效率，还提升了模型的胜率，表现出较强的斗地主博弈决策优势。

关键词

PPO算法 / 蒙特卡洛树搜索 / 斗地主 / 非完备信息博弈

基金资助

中国科协科普能力提升项目(KXYJS2022092)