一种融合注意力机制的德扑计算机博弈决策模型

摘要

德州扑克是一种状态空间庞大的非完美信息博弈游戏，传统的决策模型依赖于人类先验知识，为此，以深度强化学习框架为基础，在零先验知识情况下，构造了一种德州扑克AI,较好地克服了神经虚拟自博弈(neural fictitious self play)算法的泛化能力差，通过不断与其他AI进行对弈，不断更新神经网络参数、持续提升决策精度。为进一步加快模型收敛速度、提高博弈能力，再引入注意力机制，赋予对手历史下注、弃牌等博弈动作权重知识，帮助德州扑克AI更好地分析对手打牌风格。实验数据表明：在与其他AI的对战结果中，德州扑克AI在5 000局对战中，击败了先验知识型AI和使用CFR算法的AI、使用NFSP算法的AI,证明本文中的德州扑克AI有效性、先进性较好。

关键词

非完美信息博弈 / 德州扑克 / 深度强化学习 / 注意力机制

基金资助

国家自然科学基金项目(60443004); 重庆市技术创新与应用发展专项项目(cstc2021jscx-dxwtBX0019)