中扑网德州扑克概率怎么算？看看自动化所AI如何达到人类高手水平

以德州扑克作为代表的，那种大规模的、存在不完美信息状况的博弈问题，很好地把这一难题给集中起来了，同时它还是进一步深入去研究智能博弈理论以及技术的，非常优异的平台 。

这些年，在国际范围里，针对德州扑克这个有着大规模特性同时属于不完美信息博弈的问题，其优化求解方面有了显著的进展，由加拿大阿尔伯特大学以及美国卡内基梅隆大学的研究者所设计的AI程序DeepStack和Libratus依次分别于两人无限注的德州扑克赛事里共同都战胜了人类专业选手，接着卡内基梅隆大学设计的AI程序Pluribus在此后不同的六人无限注德州扑克赛事中也战胜了人类专业选手。

那些具备里程碑意义的德州扑克 AI，全都依赖着一种迭代式的算法，即反事实遗憾最小化，也就是 Counterfactual Regret Minimization，简称为 CFR。这种算法在开展训练的进程当中，不但要消耗大量的计算资源，而且还需要诸多德州扑克游戏的领域知识。

近日，中国科学院自动化研究所，有个博弈学习研究组，其由兴军亮研究员领导，在德州扑克AI这个领域取得了重要进展，该研究组提出了一种两人无限注德州扑克AI程序，名为AlphaHoldem，且这个程序具有高水平、轻量化的特点 。

AlphaHoldem在整体方面，采用了一种经过精心设计的伪孪生网络架构，它把一种得到改进的深度强化学习算法，与一种新型的自博弈学习算法相互结合，在不借助任何领域知识的情形下，直接从牌面信息开始，端到端地学习候选动作，进而进行决策。

AlphaHoldem运用了一台配备八块 GPU 卡的服务器，历经三天的自我博弈学习，而后战胜了 Slumbot 以及 DeepStack。

于每次进行决策之际，AlphaHoldem所需时间少于3毫秒，其速度相较于DeepStack提升幅度超过了1000倍。并且，AlphaHoldem同四位具备高水平的德州扑克选手展开1万局对抗，此对抗结果显示它已然达到了人类专业玩家的水准。

背景介绍

有一款名为德州扑克的扑克游戏广泛流行于国际舞台，它因最早起始于20世纪初的美国德克萨斯州而被赋予此名称。德州扑克所遵循的规则具体是，要利用去掉王牌后的 52 张一副扑克牌进行游戏，参与人数至少为 2 人，再多也不会超 22 人，通常参与人数处于两人至十人这个范围之间。

游戏起始之际，会先给每个玩家发放两张私人拥有的牌当作各自所谓的「底牌」，紧接着，会把五张公共的牌依照顺序，先是三张朝上发出，再是一张张朝上分别发出。在发放完两张私人牌之后，发放完三张公共牌之后，发放完第四张公共牌之后，发放完第五张公共牌之后，玩家能够进行多次且没有限制的押注，这四轮押注依次被称作「翻牌前」、「翻牌」、「转牌」、「河牌」。

呈现于图1的，是一场德州扑克游戏完整流程的示意情况。经过四轮押注以后，要是依旧没办法区分出胜负，此番游戏就会进入到「摊牌」阶，所有玩家都要亮出各自手中的底牌，并与公共牌汇集组成共五张牌，而合成牌型最大的那位玩家将会是获胜者。图2所给出的，是德州扑克不同组合的牌型解释以及大小对应内容。

图1：两人无限注德州扑克一次游戏过程示意

图2：德州扑克不同牌型大小说明和比较

最流行的扑克类游戏之中有德州扑克，它还为研究智能博弈基础理论以及方法，供给了一个绝佳的试验还有测试平台 。

首先，德州扑克博弈所涉及问题的复杂度状况很显著，两人参与的无限注德州扑克其决策空间复杂度超出10的161次方；其次，德州扑克的博弈进程归属于典型的回合制动态博弈进程，游戏参与人员每一步做出的决策都依存于上一步的决策成果，并且会对后续的决策步骤造成影响；另外，德州扑克博弈属于典型的信息不完善的博弈，在博弈进程里玩家各自持有的底牌信息未对外公布致使每个玩家所掌握的信息都不完整，玩家在每一步进行决策的时候都得充分考量对手的各类可能情形，这里面涉及到对手行为以及心理建模、欺诈与反欺诈等诸多方面的问题。

另外，在于德州扑克的游戏规则极为简易，并且其边界是确定的，所以它格外适宜当作一个虚拟的实验环境，用以对博弈关联的基础理论方法以及核心技术算法展开深入的探究。

当下，主流德州扑克AI背后的关键思想，是借助反事实遗憾最小化，也就是Counterfactual Regret Minimization，简称CFR算法，去靠近纳什均衡策略。具体阐述为，先是运用抽象技术，即Abstraction，来压缩德州扑克的状态以及动作空间，以此减小博弈树的规模，而后在缩减后的博弈树上开展CFR算法迭代。

这些方式极为严重地凭借人类专家知识来实施博弈树抽象，而且CFR算法要对博弈树的状态结点不间断地开展采样遍历以及迭代优化，就算经过模型缩减之后依旧需要消耗大量的计算资源以及存储资源。

比如说，DeepStack运用了一百五十三万的CPU时，还有一万三千的GPU时来训练最终的AI，在对局的阶段的时候，需要一个GPU去进行一千次CFR的迭代进程，平均每个动作的运算需要耗费三秒。

Libratus生成初始策略时，消耗了大于300万的CPU时，并且每次决策需要搜索4秒以上，这般大量计算以及存储资源的消耗，严重阻碍了德扑AI的进一步研究且发展 ，同时，CFR框架很难直接拓展至多人德扑环境里，增加玩家数量会致使博弈树规模呈指数增长 。

另外，博弈树进行抽象，这不仅需要大量的领域方面知识，还会不可避免地，丢失一些对决策起到至关重要作用的信息。

表1：不同算法的训练测试资源对比

方法介绍

和已有的、基于CFR算法的德州扑克AI不一样，中国科学院自动化研究所博弈学习研究组，借助端到端的深度强化学习算法，研发出一款高水平轻量型的德州扑克AI程序AlphaHoldem，它的整体架构如图4所示。

AlphaHoldem运用Actor-Critic学习框架，其输入乃是卡牌与动作的编码，接着借助伪孪生卷积网络（结构一样参数不共享）来提取特征，随后经由两个全连接层进而获得状态的高层特征，最终输出动作概率以及价值估计。

AlphaHoldem 的成功，在于其采用了一种高效的状态编码，用以完整地描述当前及历史状态信息，还采用了一种基于 Trinal-Coop PPO 损失的深度强化学习算法，能够大幅提高训练过程的稳定性和收敛速度，并且采用了一种新型的 Best-K 自博弈方式，可有效地缓解德扑博弈中存在的策略克制问题。

图4：端到端学习德州扑克AI学习框架

现有德州扑克AI因受CFR算法处理能力所限，均得对牌面状态以及动作信息予以压缩，压缩效果全然取决于对德扑领域知识的掌握水平，并且不可避免地致使信息出现损失。AlphaHoldem针对整个状态空间展开高效编码，并非借助德扑领域知识实施信息压缩。

把卡牌信息，先将其编码成有多个通道的张量，这个张量用来表示私有牌、公共牌等信息。转而看动作信息，AlphaHoldem也是给它编码为多通道张量，此二张量表诸玩家当前及历史的动作信息。AlphaHoldem其多维张量状态表示方法不只是完整地编码出了当前及历史的状态信息，并且这种表示方法非常适宜当作卷积神经网络输入去进行特征的学习。

因为信息并非完美，以及不同对手存在形形色色的「诈唬」欺骗行径，致使德州扑克变成一种结果具备很强随机性的游戏，这造成常见的强化学习算法，像是PPO等，其训练过程极为不稳定，并且难以收敛。

AlphaHoldem提出了一种新型的Trinal – Clip PPO损失，该损失用于改进深度强化学习过程的稳定性，它通过引入3个截断参数，解决了PPO算法在优势函数小于零时损失值方差过大的问题，还解决了「全压」等动作造成的价值函数难估计的问题。

总的来说，Trinal – clip PPO损失切实有效舒缓了因德扑博弈极强随机性所导致的策略训练不稳定状况，进而让AlphaHoldem的训练得以既快速又优质 。

在德扑游戏里，不同策略之间有着复杂的相互克制这种关系， 此种情况致使 Naive 自博弈方法， 以及 AlphaGo 所采用的 Best-Win 自博弈方法， 非常难以在德扑游戏当中达成收敛状态。

然而，运用AlphaStar的群体博弈PBT这种方法来训练德扑AI，会消耗更多计算资源，这是其一；运用神经虚拟自博弈NFSP等方这种方法来训练德扑AI，也会消耗更多计算资源，这是其二；且这两种方法消耗的计算资源比传统CFR算法要多 。

AlphaHoldem采用了一种被称作Best-K的新型自博弈方法，这种方法是致力于有效地去平衡训练效率以及模型性能的情况下产生的，它于训练进程里检验历史模型的性能，经过筛选挑出K个最优的模型，使其与当下最新的模型进行对抗、较量，持续利用强化学习来提升自身性能 。

性能测试

AlphaHoldem到底能达到什么水平呢？

我们把AlphaHoldem跟当下处于高水平的德扑AI做了比较，得出AlphaHoldem呈现出明显优势。历经过10万局的对抗以后，AlphaHoldem平均每局赢Slumbot（2018年世界计算机扑克大赛ACPC冠军，如今仍正在进化）111.56个大盲注与每1000手牌所赢取的大盲注数量的比值，赢DeepStack（课题组运用120 GPU卡历经3周复现的版本）16.91个大盲注与每1000手牌所赢取的大盲注数量的比值。

当下，它能够达成人类专业玩家所具备的水准，借由与4位专业玩家展开1万局对抗，AlphaHoldem平均而言每局赢专业玩家10.27 mbb 。除此之外，AlphaHoldem于一台配备1个AMD 2.00GHz CPU （64个核心）、8个NVIDIA TITAN V GPU的服务器上仅仅训练三天，于一个CPU核心下每次做出决策仅仅需4毫秒，达成了实实在在的既快且优 。

AlphaHoldem，接下来，将会被接入到，课题组自己研发的，人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/）里，以供研究者开放进行测试（图5）。

OpenHoldem是学术界首个开放的大规模不完美信息博弈研究平台，它含有多维度评测指标，具备高性能基准AI，还有公开的在线测试环境。该平台支持人人对抗模式，支持机机对抗模式，支持人机对抗模式，支持AI分布式并行对抗，支持动态测试请求响应及资源分配，支持多用户并发访问，支持跨终端统一登录。

如今，平台已然吸引了众多注册用户，其中有来自高校的，有方来自研究所的，还有来自互联网企业等的，这些单位多达200余家，而注册用户数量近500名，并且该平台还受到了国内多家处于权威地位的机构以及主流媒体的相关转发报道 。

图5：OpenHoldem在线不完美信息博弈对抗平台首页

后续计划

端到端强化学习的框架被AlphaHoldem采用，这一来，现有德扑AI所需的领域知识大幅降低，计算存储资源消耗也大大减少，并且达到了人类专业选手的水平 。

这个框架属于通用的端到端学习框架范畴，我们针对多人无限注德扑进行了该框架适用性的验证，当下正在在提升多人模型训练进程的学习性能 。

我们打算把AlphaHoldem所依托的技术，运用到更多并非完美信息的博弈问题诸如麻将、斗地主、桥牌等之中，与此同时，还计划开展多人博弈策略空间的均衡结构分析等相关研究内容。

相关论文信息

kai Li、hang Xu、Enmin Zhao、Zhe Wu、Junliang Xing*，OpenHoldem：一把鉴于大规模不完全信息博弈研究的开放工具包，罗列于ArXiv预印本，编号为arXiv：201206168，时间是？2020年。

博弈学习研究组介绍

研究博弈学习的组，是中科院自动化所下面的科研团队，是中科院人工智能创新研究院里的骨干研究方面的力量，该课题组的负责人是兴军亮研究员，课题组目前有正式员工9名，有博士研究生7名，有硕士研究生9名，从而形成了一支以青年科研骨干当主体的，具备高水平以及高素质的科研队伍 。

研究组把计算机博弈当作研究的切入之处，把最新的机器学习技术引领进经典博弈理论以及模型里，还借鉴运筹学、最优化、算法设计等学科的研究办法与算法，以此打造出具有突出交叉特性的技术研究体系，运用经典博弈理论给博弈过程构建模型，通过采用最新机器学习技术对模型的参数予以学习更新，进而达成对复杂人机博弈问题的可建模之性、可计算之性以及可解释之性的融合。

2018年年底的时候，课题组着手研究大规模不完美信息博弈问题，是以德州扑克作为代表的，到了2020年，公开了学界在大规模不完美信息博弈方面首个对抗平台OpenHoldem，此平台集成了完整功能，其中有高性能基准AI，有多维度评测协议，还有在线对抗评估等，它支持多种对抗模式，有人机对抗模式，有机机对抗模式，有人人对抗模式，还有人机混合对抗模式。相关研发工作的主要完成人员包含兴军亮研究员，包括李凯副研究员，有博士生赵恩民、徐航、李金秋，还有硕士生闫仁业、吴哲等 。

参考资料：

默里 C、约瑟夫 H 以及冯·许雄 H，他们著有《深蓝》，发表于《人工智能》2002 年第 134 卷第 1 期，第 57 到 83 页。

Moravčík M、Schmid M、Burch N以及其他等人，有“深度堆栈：单挑无限注德州扑克中的专家级人工智能”，在《科学》杂志，2017年，第356卷第6337期，页码为508至513 ，。

布朗N，桑德霍尔姆T，于2018年，在《科学》杂志上发表了关于“用于单挑无限注德州扑克的超人人工智能：冷扑大师击败顶级职业选手”的研究，该杂志的卷号为359，期号为6374，文章页码位于418至424页 。

布朗 N，桑德霍尔姆 T，写了关于多人扑克的超人人工智能，发表于《科学》，2019 年，第 365 卷（第 6456 期），第 885 至 890 页。

Konda V R与Tsitsiklis J N，做了关于“Actor-critic algorithms”的研究，该研究发表在《Advances in neural information processing systems》中，具体年份为2000年，涉及的页码范围是1008 – 1014。

舒尔曼 J，沃尔斯基 F，达里瓦尔 P，以及其他多位，提出近端策略优化算法，2017 年，发表在 arXiv 预印本 arXiv:1707.06347 上 。

VinyalsO，BabuschkinI，CzarneckiWM等人的研究成果为，利用多智能体强化学习在《星际争霸II》中达到大师级水平，该成果发表于《自然》2019年第575卷（第7782期）、页码范围为350至354《自然》，2019，575(7782):350-354、。。。。。。。？!德信竞技，，。。。。。。第。

Li K、Xu H、Zhang M等一众人员，OpenHoldem：一款为大规模不完全信息博弈研究打造的开放工具包，刊载于ArXiv预印本，编号为arXiv:2012.06168，时间是2020年 。