人类职业选手级别！ AlphaHoldem，Automation开发的轻量级德州扑克人工智能程序

大规模不完美信息博弈问题，以德州扑克作为代表，很好地把这一难题集中了起来，它是进一步深入研究智能博弈理论与技术的极佳平台。

近年来，国际上，围绕德州扑克，这一大规模不完美信息博弈问题，在优化求解方面，取得了长足进步。期间，来自加拿大阿尔伯特大学，和美国卡内基梅隆大学的研究者，所设计的AI程序DeepStack，以及Libratus，先后在两人无限注德州扑克中，均战胜了人类专业选手。之后，卡内基梅隆大学设计的AI程序Pluribus，又在六人无限注德州扑克中，战胜了人类专业选手。

上述有着里程碑意义的德州扑克AI，全都依赖一种迭代式的反事实遗憾最小化算法，也就是Counterfactual Regret Minimization，简称CFR。该算法在训练期间，不但要耗费大量计算资源，而且需要诸多德州扑克游戏的领域知识。

近日，中国科学院自动化研究所，有个博弈学习研究组，其由兴军亮研究员领导，在德州扑克AI方面，取得了重要进展，还提出了一种程序，叫AlphaHoldem，这是高水平轻量化的，只针对两人无限注德州扑克的AI程序 。

整体上，AlphaHoldem采用精心设计的一种伪孪生网络架构，将改进的一种深度强化学习算法与新型的一种自博弈学习算法相结合，不借助任何领域知识，直接从牌面信息端到端地学习候选动作进而进行决策。，。

AlphaHoldem运用1台具有8块GPU卡的服务器，历经三天的自行博弈学习，从而战胜了Slumbot以及DeepStack。

每次进行决策之际，AlphaHoldem所需时间不到3毫秒，相较于DeepStack，速度提升幅度超过了1000倍。与此同时，AlphaHoldem同四位高水平德州扑克选手展开1万局对抗，其结果显示它已然达到了人类专业玩家的水准。

背景介绍

有种名为德州扑克的扑克游戏在国际上那可是极为流行的，它因为最早是在20世纪初起源于美国德克萨斯州所以才得了这个名字。德州扑克遵循的规则是什么样的，是动用去掉王牌后的那一副扑克牌，这一副牌总共是52张牌。参与德州扑克至少得有2人，而至多能有22人，通常参与的人数处于两人到十人之间。

游戏开启的时候，最先给每一位玩家发放两张属于自己的私有牌当作各自那儿的「底牌」，紧接着把五张公共牌依照顺序先是三张朝上发出，再是一张朝上发出，最后又是一张朝上发出。在发完两张私有牌，三张公共牌里的第三张后，再发第四张公共牌，接着发第五张公共牌之后。玩家能够进行多次没有限制的押注，这四轮押注分别被称作「翻牌前」、「翻牌」、「转牌」、「河牌」。

一场德州扑克游戏的完整流程示意，由图 1 进行了展示。在经过四轮押注以后，当仍无法分出胜负之时，游戏便会进入「摊牌」阶段。在此阶段，所有玩家均要亮出各自底牌，并且将这些底牌与公共牌组合成为五张牌，最终成牌最大的玩家赢得胜利。不同组合的牌型解释以及大小，由图 2 给出了说明。

图1：两人无限注德州扑克一次游戏过程示意

图2：德州扑克不同牌型大小说明和比较

德州扑克是最流行的的扑克类游戏，它为研究智能博弈基础理论和方法，提供了一个绝佳试验平台，同时也是一个绝佳测试平 台。

其一，德州扑克博弈所涉及问题的复杂度相当大，两人无限注德州扑克的决策空间复杂度超出10的161次方；其二，德州扑克博弈进程属于典型的回合制动态博弈进程，游戏参与者每一步的决策都依存于上一步的决策结果，并且会对后续的决策步骤造成影响；此外，德州扑克博弈属于典型的不完美信息博弈，在博弈进程里玩家自身底牌信息未公开致使每个玩家的信息都不完备，玩家于每一步决策时都得充分考量对手的各类可能情形，这便牵涉到对手行为与心理建模、欺诈与反欺诈等诸多问题。

此外，德州扑克游戏规则极为简单，其边界是确定的，它特别契合作为一个虚拟实验环境，能对博弈的相关基础理论方法进行深入探究，还能对核心技术算法进行深入探究。

现存于当下的主流德州扑克AI背后所蕴含的核心思想，乃是借助反事实遗憾最小化（Counterfactual Regret Minimization, CFR）算法去靠近纳什均衡策略。更确切地讲，先是运用抽象（Abstraction）技术让德州扑克的状态以及动作空间得以压缩，进而使得博弈树的规模有所减小，而后是在经过缩减的博弈树上开展CFR算法迭代。

这些方法极度依赖人类专家知识来开展博弈树抽象，而且CFR算法要针对博弈树的状态结点持续进行采样遍历以及迭代优化操作，就算经过模型缩减之后，依旧需要消耗大量的计算资源与存储资源。

比如说，DeepStack运用了一百五十三万的CPU时，还有一万三千的GPU时来训练最终的AI ，在对局阶段，需要借助一个GPU展开一千次CFR的迭代进程，平均每一个动作的计算要耗费三秒 。

Libratus生成初始策略时消耗的CPU时大于300万，每次决策所需搜索时间在4秒以上，如此大量计算以及存储资源的消耗，严重阻碍了德扑AI的进一步研究与发展，同时，CFR框架很难直接拓展至多人德扑环境，增加玩家数量会致使博弈树规模呈指数增长。

除此以外，博弈树进行抽象，这不仅需要诸多大量的领域方面的知识，并且还会不可避免地出现丢失部分内容的情况，而这些内容是对决策能够起到至关重要至关作用起到关键作用的信息。

表1：不同算法的训练测试资源对比

方法介绍

有别于已存在的、基于CFR算法的德州扑克AI，中国科学院自动化研究所博弈学习研究组，借助端到端的深度强化学习算法，研发出一款具备高水平、且为轻量型的德州扑克AI程序AlphaHoldem，它的整体架构如同图4所展示的那样。

AlphaHoldem运用Actor – Critic学习架构，其输入乃卡牌与动作的编码，随后借由伪孪生卷积网络（结构一样参数不共用）提取特征，接下来经两个全连接层获取状态的高层_feature_，最终输出动作概率以及价值估计。

AlphaHoldem取得成功，因它采用一种高效状态编码，用以完整描述当前及历史状态信息，还采用一种基于Trinal – Clip PPO损失的深度强化学习算法，借此大幅提高训练过程的稳定性和收敛速度，且采用一种新型Best – K自博弈方式，以此有效缓解德扑博弈中存在的策略克制问题。

图4：端到端学习德州扑克AI学习框架

有德州扑克AI因受CFR算法处理能力限制，都要对牌面状态与动作信息做压缩，压缩优劣全然取决于对德扑领域知识的掌握水平，并且不可避免会造成信息损失，AlphaHoldem对整个状态空间开展高效编码，不借助德扑领域知识来进行信息压缩。

将卡牌信息编码成包含多个通道的张量，以此来表示私有牌、公共牌等信息。AlphaHoldem把动作信息同样编码为多通道张量，用以表示各玩家当前以及历史的动作信息。AlphaHoldem的多维张量状态表示方法，不仅把当前及历史的状态信息完整编码了，而且很适合作为卷积神经网络的输入去进行特征的学习。

信息存在不全面的状况，再加上不同对手有着各种各样的“诈唬”欺骗举措，此种情况致使德州扑克转变为一种结果随机性很强的游戏，而这又使得很常见的强化学习算法，像PPO等，其训练进程非常不稳定，并且难以实现收敛。

AlphaHoldem提出了一种新型的Trinal – Clip PPO损失，该损失用于改进深度强化学习过程的稳定性，它通过引入3个截断参数，最终解决了PPO算法在优势函数小于零时损失值方差过大的问题，还解决了「全压」等动作造成的价值函数难估计的问题。

从整体而言，Trinal – clip PPO损失切实有效地缓和了因德扑博弈存在的强随机性致使的策略训练不稳定状况，进而让AlphaHoldem训练能够达成又快且又好的效果，呈现出良好态势。

德扑游戏里，不同策略相互间有着复杂的克制关系，这一情况致使，Naive自博弈方法难以在德扑游戏里收敛，AlphaGo所采用的Best-Win自博弈方法同样难以在德扑游戏里收敛。

然而，采用群体博弈PBT，神经虚拟自博弈NFSP等方式用来训练德扑AI，这会消耗比传统CFR算法更多的计算资源，这些方式就是AlphaStar所使用的 。

在致力于切实有效地平衡训练效率以及模型性能这两者的进程之中，AlphaHoldem采用了一种新型的Best-K自博弈方法，此方法借助于在训练进程里面测试历史模型的性能，从中挑选出K个最为出色的模型，使其与当下最新的模型展开对打，并且持续不断地经由强化学习来提升自身的性能。

性能测试

AlphaHoldem到底能达到什么水平呢？

我们把AlphaHoldem跟当下处于高水平状态的德扑AI做了比较，结果发现AlphaHoldem呈现出明显优势。在历经10万局的对抗之后，发现AlphaHoldem平均每局赢Slumbot（其为2018年世界计算机扑克大赛ACPC冠军，且如今仍在持续进化）的数量达到111.56 mbb/局（此为每1000手牌所赢大盲注的数量），赢DeepStack（该版本是课题组利用120 GPU卡训练3周而复现得到的）的数量为16.91 mbb/局 。

同时，它能够达到人类专业玩家的水准 ，借助与4位专业玩家进行对抗1万局 ，AlphaHoldem平均每局斩获专业玩家10.27 mbb 。此外 ，AlphaHoldem在配有1个AMD 2.00GHz CPU（64个核心） 、8个NVIDIA TITAN V GPU的一台服务器上仅仅训练三天 ，于一个CPU核心之下每次决策只需4毫秒 ，达成了真正的既快速又优良的效果 。

AlphaHoldem随后会被接入进课题小组自己研发的人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/）里，以此供研究者进行公开测试（图5）。

OpenHoldem是学术界首个开放的大规模不完美信息博弈研究平台，它含有多维度评测指标，有高性能基准AI，还有公开的在线测试环境。该平台支持人人对抗模式，支持机机对抗模式，支持人机对抗模式等多种模式，支持AI分布式并行对抗，支持动态测试请求响应及资源分配，支持多用户并发访问，支持跨终端统一登录。

高校、研究所、互联网企业等200余家单位的近500名注册用户，已被平台吸引留存；国内多家权威机构与多家主流媒体，对平台进行了转发报道 。

图5：OpenHoldem在线不完美信息博弈对抗平台首页

后续计划

AlphaHoldem采用端到端强化学习框架，这一框架极大降低了现有德扑AI所需，具体是降低需求领域知识，同时该框架还降低了计算存储资源消耗，并且AlphaHoldem达到了人类专业选手水平。

这个框架属于通用的端到端学习框架，我们针对多人无限注德扑对该框架的适用性做了验证，当前正致力于提升多人模型训练时的学习性能。

还要把AlphaHoldem这东西背后具备的技术去应用到更多并非完美的信息博弈问题里头，像麻将，斗地主，桥牌啦这些，与此同时，对于多人博弈策略里头各个部分的均衡结构进行分析等相关研究内容也在计划之中。

相关论文信息

在2020年，Kai Li、Hang Xu、Enmin Zhao、Zhe Wu、Junliang Xing*发布文章《OpenHoldem: An Open Toolkit for Large-Scale Imperfect-Information Game Research》于ArXiv预印本，编号为arXiv:2012.06168 。

博弈学习研究组介绍

博弈学习研究组，属于中科院自动化所隶属的科研团队。它还是中科院人工智能创新研究院的骨干研究力量。课题组的负责人是兴军亮研究员。课题组目前有正式员工9人，有博士研究生7人，还有硕士研究生9人，进而形成了一支以青年科研骨干作为主体的，具备高水平、高素质的科研队伍。

研究组把计算机博弈选为研究的切入之处，一边把最新的机器学习技术代入经典博弈理论还有模型里面，一边参考运筹学、最优化、算法设计等学科的研究手段以及算法，打造具备鲜明交叉特性的技术研究体系；依照经典博弈理论给博弈过程构建模型，之后借助最新机器学习技术对模型的参数予以学习更新，进而达成对复杂人机博弈问题的可建模性、可计算性以及可解释性的融合。

从2018年年底起，课题组着手于以德州扑克作为代表的重大规模不完美信息博弈问题的研究，于2020年时公开了学界范畴内首个大规模不完美信息博弈对抗平台OpenHoldem，该平台集成了高性能基准AI、多维度评测协议、在线对抗评估等完备功能，支持人机、机机、人人、人机混合诸多对抗模式。这一相关研发工作的主要完成人涵盖兴军亮研究员，李凯副研究员，博士生赵恩民、徐航、李金秋，硕士生闫仁业、吴哲等 。

参考资料：

Murray C，Joseph H，以及Feng – hsiung H。深蓝。人工智能，2002年，134(1)：57 – 83。 这里逗号隔开的内容，你看这样改写是否符合需求：“Murray C，Joseph H，还有Feng – hsiung H所著的深蓝，发表于人工智能2002年第134卷第1期，页码范围。

Brown N与Sandholm T刊载，具备超越常人能力的人工智能用于单挑无限注德州扑克，名为Libratus的它击败顶尖职业选手，该研究发表于《科学》2018年第359卷第6374期，页码为418至424页 。

Brown N，Sandholm T。用于多人扑克的超人人工智能。《科学》，2019年，365（6456），页885至890 。

文章出处为，Konda V R以及Tsitsiklis J N的《Actor-critic algorithms》，发表于《Advances in neural information processing systems》2000年刊，区间为1008 – 1014页。标点符号处为笔者根据语义添加，原内容无标点。

Vinyals O，Babuschkin I，Czarnecki W M等人德信竞技，在星际争霸II中运用多智能体强化学习达到大师级别，《自然》，2019年，575卷（7782期）：350 – 354页。该项内容，是由Vinyals O，Babuschkin I，Czarnecki W M等人进行的，涉及星际争霸II中多智能体强化学习的运用，其成果发表在了2019年的《自然》杂志上，所属卷数为575卷，期数为7782期，页码范围是350 – 354页 。

Heinrich J，Lanctot M，Silver D书写了关于“Fictitious self-play in extensive-form games”的内容，该内容出现在“International conference on machine learning”中及“PMLR，2015: 805 – 813”里。