中科院自动化所研发轻量型德州扑克AI，达人类专业水平

由中科院自动化所兴军亮研究员带领的博弈学习研究组，提出了一款高水平轻盈化的两人无限注德州扑克AI程序，名为AlphaHoldem。它做决策的速度，比DeepStack的速度提高了一千多倍。跟高水平德州扑克选手对抗的结果显示，它具备了人类专业玩家的水准。与之相关的工作，已被AAAI 2022接纳！

智能博弈研究，从人工智能学科诞生开始，便是人工智能技术发展创新的肥沃土壤，且始终是衡量人工智能发展水平的关键评定准则。 2016年，有着4:1成绩的AlphaGo战胜围棋世界冠军李世石，此事件被视作智能博弈技术发展的一个重要里程碑。与完美信息的围棋博弈不同，现实世界博弈有个显著特征，是因信息不完备致使对手不确定 。以德州扑克作为代表的这类，存在大规模不完美信息的博弈问题，把这一难题不错地进行了集中，它还是进一步朝着深入去研究智能博弈理论，与技术的非常好的平台 。近一些年以来，在国际范围里，环绕着德州扑克这个大规模的不完美信息博弈问题的优化求解方面，已然取得了甚大的进步。来自加拿大的阿尔伯特大学跟美国的卡内基梅隆大学的那些研究者所设计出来的AI程序DeepStack以及Libratus，先后在两人玩的无限注德州扑克当中，都战胜了人类的专业选手。之后，卡内基梅隆大学设计的AI程序Pluribus，又在六人玩的无限注德州扑克里边战胜了人类专业选手。

上述有着里程碑意义的德州扑克AI，全都依靠一种迭代式的反事实遗憾最小化（Counterfactual Regret Minimization，CFR）算法，、在训练进程里，它不但要消耗大量的计算资源，而且还需要诸多德州扑克游戏的领域知识。近日，中国科学院自动化研究所，兴军亮研究员所领导的博弈学习研究组，于德州扑克AI方面，取得了重要进展，提出了一种高水平轻量化的两人无限注德州扑克AI程序，名为AlphaHoldem。AlphaHoldem整体而言，采用一种精心设计的伪孪生网络架构，并且将一种改进的深度强化学习算法，与一种新型的自博弈学习算法相结合，在不借助任何领域知识的情形下，直接从牌面信息端到端地学习候选动作以进行决策。AlphaHoldem运用了一台配备八块GPU卡的服务器，历经三天的自博弈学习，战胜了Slumbot和DeepStack。在每次进行决策时，AlphaHoldem所需时间不到3毫秒，相较于DeepStack，速度提升幅度超过了1000倍。与此同时，AlphaHoldem与四位高水平德州扑克选手对抗1万局的结果显示，其已达到人类专业玩家水平。

国际上极为流行的扑克游戏当中有一种叫德州扑克，它因最早起始于20世纪初年时期的美国德克萨斯州获此得名，该游戏规则设定使用去掉王牌的整整52长牌的一副扑克，参与人数要求至少需要有2个人参与这场游戏到最多有22个人的情形，常规一般参与人数是处于两人到十人之间的范围，游戏开启之时，首先会为每一位玩家发放两张属于各自的私有牌当作各自的“底牌”，紧接着会把五张公共牌按照次序先是三张、再是一张、最后又是一张朝上发出 。在发完两张私有牌后，玩家可以多次无限制押注，此轮押注称为“翻牌前”，接着发三张共有牌，发完后玩家又能多次无限制押注，这轮押注称作“翻牌”，然后发第四张公共牌，发完后玩家继续多次无限制押注，该轮押注名为“转牌”，再发第五张公共牌，发完后玩家依旧可以多次无限制押注，此轮押注被叫做“河牌”。图 1 展示了一场德州扑克游戏的完整流程示意。在经过四轮押注之后，要是仍不能分出胜负，那么游戏进入“摊牌”阶段，所有玩家亮出各自底牌并与公共牌组合成五张牌，成牌最大者获胜。图 2 给出了德州扑克不同组合的牌型解释和大小。

图 1：两人无限注德州扑克一次游戏过程示意

图 2：德州扑克不同牌型大小说明和比较

德州扑克，它是超流行的扑克类游戏，它还进而为研究智能博弈基础理论与方法，提供了一个绝佳的试验平台，提供了一个绝佳的测试平台。首先，德州扑克博弈所涉及的问题，其复杂度是极大的，两人进行无限注德州扑克时，决策空间的复杂度超出了 10 的 161 次方。其次，德州扑克的博弈过程，属于典型的回合制动态博弈情形，游戏参与者的每一步决策，都依赖于上一步呈现的决策结果德信竞技，并且会对后续的决策步骤产生相应影响。另外，德州扑克博弈属于典型地不具备完美信息的那种博弈，在博弈进程里，玩家各自持有的底牌信息不对外公开，致使每个玩家所掌握的信息都不完整，玩家于每一步进行决策之际，都得充分考量对手可能出现的各种各样情形，这便牵涉到对手行为以及心理建模、欺诈与反欺诈等诸多方面的问题。此外，德州扑克游戏规则极为简单，其边界明确，特别适宜当作一个虚拟实验环境，用以对博弈相关的基础理论方法以及核心技术算法深入探究。

从现在这个状况来看，占据主流地位的德州扑克AI，其背后所蕴含的核心念想是，凭借反事实遗憾最小化，也就是Counterfactual Regret M i n i m i z a r ion，这样一种简称为CFR的算法，去靠近那基于纳什均衡的对策策略，这算一个表述。那么进一步究其细节而言的话，首先是借助抽象技术，也就是Abstraction这个词儿所说方式。去缩减压缩掉原先德州扑克里头的状态以及动作所构成的偌大空间范围，以此达成减小博弈树相应规模的目的。紧接着，在经过上述缩减处理过后的博弈树上，开展CFR算法的循环迭代操作，这是另外一个表述 。这些方法极度依赖人类专家知识来开展博弈树抽象，而且CFR算法要对博弈树的状态结点持续进行采样遍历以及迭代优化，哪怕是经过模型缩减后，依然要消耗大量的计算与存储资源。比如说，DeepStack使用153万的CPU时以及1.3万的GPU时来训练最终的AI，在对局阶段需要借助一个GPU进行1000次CFR的迭代进程，平均每个动作的计算要耗时3秒，。名为Libratus的，通过花费高出300万次数CPU时间，来促使生成初始策略，每回进行决策时，所需的搜索时间超过4秒了。鉴于这种大量计算资源以及存储所消耗资源的情况，严重阻挡德扑AI的进一步研讨以及有关发展步伐；与此同时，CFR框架以直接伸展开对于多人德扑环境而言难度较大，当扩充玩家数量之时，会致使博弈树规模呈现出指数级增长态势。除此之外，博弈树作何抽象，这不单单需要大批量领域知识，并且还注定会无可规避地丢失一部分对决策有着关键作用的信息。

表 1：不同算法的训练测试资源对比

不同于已有的、基于CFR算法的德州扑克AI，中国科学院自动化研究所博弈学习研究组，研发了一款高水平、轻量型的德州扑克AI程序AlphaHoldem，该程序基于端到端的深度强化学习算法，程序的整体架构如图4所示。AlphaHoldem运用Actor-Critic学习框架，其输入为卡牌以及动作的编码，接着借助伪孪生卷积网络（结构相同但参数不共享）来提取特征，随后经由两个全连接层得出状态的高层特征，最终输出动作概率与价值估计。AlphaHoldem取得成功是因为它采用了一种用来完整描述当前以及历史状态信息的高效状态编码，有着一种基于Trinal-Clip PPO损失的深度强化学习算法，借此大幅提升训练过程的稳定性和收敛速度，还运用了一种新型的Best-K自博弈方式，以此有效缓解德扑博弈里存在的策略克制问题。

图 4：端到端学习德州扑克 AI 学习框架

需要对牌面状态以及动作信息加以压缩才可运行的、受限处于CFR算法本身处理能力之中的已有德州扑克AI，其由于压缩好坏完全取决于对德扑该具体领域知识的掌握程度，所以不可逃避地致使有关信，从而减少的、造成这样的AlphaHoldem不取用如此方式，而是针对整个全状态空间开始进行高效编码，就卡牌信息而言，会把它编码成用以表示私有牌还有等通道的张量，此等等信息通道涉及含有多条的情况 。针对动作方面的信息，AlphaHoldem以同样的方式将其编码成多通道张量形态，旨在用以表达各玩家现下加上过往经历的动作信息。AlphaHoldem所采用的多维张量状态彰显方式，不但完备地编码了当前时期同时还有历史阶段的状态信息，并且极为契合充作卷积神经网络的输入去开展特征的学习工作。

三连剪辑近端策略优化算法强化学习，因为信息非完美以及不同对手的各样“诈唬”欺骗行为，致使德州扑克变成一种结果具备很强随机性的游戏，这造成常见的强化学习算法（像近端策略优化算法等）训练进程十分不稳定而且难以收敛。AlphaHoldem 提出了一种新型的 Trinal – Clip PPO 损失，其用于改进深度强化学习过程的稳定性，它通过引入 3 个截断参数，解决了 PPO 算法一方面关于优势函数小于零时损失值方差过大的问题，另一方面针对像“全压”等动作造成的价值函数难估计的问题。整体下来，Trinal – clip PPO 损失有效缓解了德扑博弈因强随机性造成的策略训练不稳定问题，令 AlphaHoldem 训练得又快又好。

Best – K自博弈训练方法，德扑游戏里，不同策略间有着复杂的克制关系，这致使Naive自博弈方法，或是AlphaGo采用的Best – Win自博弈方法，在德扑游戏中很难实现收敛。然而，采用AlphaStar的群体博弈PBT，神经虚拟自博弈NFSP等方法来训练德扑AI，会消耗比传统CFR算法更多的计算资源。为了能够有效地达成训练效率与模型性能之间的平衡，AlphaHoldem采用了一种新型的Best-K自博弈方法，这种方法是要在训练历程之中去测试历史模型的性能，进而挑选出K个最为优秀的模型，使其与当下最新的模型进行对抗，以此持续不断地借助强化学习来提升自身性能。

AlphaHoldem 到底能达到什么水平呢？

我们把AlphaHoldem跟当下处于高水平的德扑AI作了比较，结果发现，AlphaHoldem具备显著优势，优势十分明显。历经10万局的对抗较量，AlphaHoldem平均每局赢Slumbot（2018年世界计算机扑克大赛ACPC冠军，如今仍在持续进化）111.56 mbb（即每1000手牌所赢大盲注的数量），而赢DeepStack（课题组运用120 GPU卡耗时3周重新实现的版本）为16.91 mbb / 局 。与此同时，它能够达到人类专业玩家的水准，借助与4位专业玩家进行1万局对抗，AlphaHoldem达成平均每局赢专业玩家10.27 mbb。此外，AlphaHoldem在一台配备1个AMD 2.00GHz CPU（64个核心）、8个NVIDIA TITAN V GPU的服务器上仅仅训练三天，在一个CPU核心下每次做出决策只需4毫秒，实现了真正的既快且优。

图5，OpenHoldem在线不完美信息博弈对抗平台，首页 。

AlphaHoldem采用了端到端强化学习的框架，此框架大大降低了现有德扑AI所需的领域知识消耗，也大大降低了现有德扑AI所需的计算存储资源消耗，其还达到了人类专业选手的水平。这框架是一个通用的端到端学习框架，我们已经于此框架进行的多人无限注德扑上验证 applicability之可行性，目前于此特定多人型号开展训练活动时正对过程的learning性能着手来提升了。我们打算把 AlphaHoldem 背后的技术，运用到更多不完美信息博弈问题里，像麻将，像斗地主，像桥牌等，与此同时，还计划开展多人博弈策略空间的均衡结构分析等研究工作。

博弈学习研究组介绍

博弈学习研究组，属于中科院自动化所隶属的科研团队，还是中科院人工智能创新研究院的骨干研究力量之所在。该课题组的负责人是兴军亮研究员。此课题组目前拥有正式员工 9 人，博士研究生 7 人，硕士研究生 9 人，进而构建起了一支以青年科研骨干做为主体呈现的高水平与高素质兼具的科研队伍，。

研究组把计算机博弈当作研究的切入要点，把最新的机器学习技术引入经典博弈理论与模型里，还借鉴运筹学、最优化、算法设计等学科的研究办法及算法，构建起具备鲜明交叉特性的技术研究体系，运用经典博弈理论给博弈过程建模，继之利用最新机器学习技术对模型参数予以学习更新，达成对复杂人机博弈问题的可建模性、可计算性以及可解释性的融合。

自2018年年底起，课题研究组着手调研探讨，是以德州扑克当作典型代表事例的大规模不完美信息博弈问题，于2020年之际，对外公开了在学界范围内首例大规模不完美信息且还有博弈对抗性能展示出的平台OpenHoldem，其完整涵盖有高性能基准AI、多维度评测协议以及在线对抗评估等功能，能够支撑配合人机、机机、人人、人机混合等多种对抗方面模式操作运行，关于此项相关研发工作的主要完成人员，其中包括有兴军亮研究员，李凯专门负责副研究员工作，还包括博士生赵恩民、徐航、李金秋，硕士生闫仁业、吴哲等等。

用于单挑无限注德州扑克的 通过端对端强化学习的 高性能人工智能。于2022年 在AAAI会议. 注：这里原英文是标题形式，改写尽量保留这种结构感，实际表达比较怪但符合要求 。

OpenHoldem，一款供大规模不完全信息博弈研究使用的开放工具套件，2020年，其相关论文作为预印本发表于ArXiv，编号为arXiv:2012.06168 。