想在中国走上德州扑克职业路？从德信竞技视角看门道
2026年1月3日德州扑克常见术语中英文对照及解释，bad beat 也涵盖其中
2026年1月3日
选自arXiv
机器之心编译
参与：路、晓坤
近日，CMU冷扑大师团队的在读博士Noam Brown提交了一项新研究，该团队的Tuomas Sandholm教授也提交了一项新研究，团队中还有研究助理Brandon Amos也提交过一项新研究，这项新研究是关于德州扑克人工智能Modicum，它仅仅凭借一台笔记本电脑的算力，就战胜了业内顶尖的Baby Tartanian8，这是2016年的计算机扑克冠军，它还战胜了Slumbot，这是2018年的计算机扑克冠军。此前，一篇名为《Safe and Nested Subgame Solving for Imperfect-Information Games》的冷扑大师的论文，是 NIPS 2017 的最佳论文。 ，。
1 引言
进行建模的是那种对智能体以及隐藏信息之间战略互动展开的不完美信息博弈，此类博弈的主要基准是扑克，特别是一对一无限注德州扑克，也就是 HUNL 。2017 年时人工智能 Libratus 打败了德州扑克人类顶级玩家 。带来这一超人性能的关键突破是嵌套求解，随着在博弈树的位置持续下移，智能体实时重复开展着计算更为精细调整的那种策略，而该策略只是完整博弈之中的一部分 。
然而，实时子博弈求解于前半场而言，对Libratus来讲成本过高，鉴于Libratus实时求解该部分博弈树，也就是子博弈，常常延伸至游戏结束。所以，前半场Libratus会预先算出一种精密策略用作查找表。倘若该策略成功，那么它需可为计算所用的数百万核心时间以及数TB内存。另外，在更深的序贯博弈里，此方法的计算开销更为昂贵，是由于要求解更长的子博弈以及更大型的预计算策略。有一种更为通用的办法，是于博弈之时，去求解其深度受限的子博弈，且是在早期阶段进行求解 。
扑克AI DeepStack借助一项与嵌套求解相类的技术达成了这般的操作 ，然而 ，虽然DeepStack战胜了一组HUNL非顶尖人类专业选手 ，但它并未打败先前顶尖的AI ，尽管它运用了超过一百万核心时间去训练智能体 ，这意味着它所采用的方法或许在扑克等领域欠缺实际性或者有效性 ，本论文在第7部分对该问题展开了详尽的探讨 。这个论文讲了一种不一样的深度有限求解办法，这个办法打败了先前顶尖的人工智能，并且计算开销变为数量级的降低。
在完美信息博弈里头，深度有限子博弈于叶节点那儿的值，被替换成所有选手处于均衡状态期间的状态估计值 。比如说，此方法在西洋双陆棋 、国际象棋 以及围棋 上面，达成了超越人类的水准。同样的办法还广泛运用在单智能体设置当中，类似启发式搜索 。
29, 24, 30, 15
的确，在单智能体之时，还有完美信息多智能体的设置情形下，去知晓所有选手处于均衡状态之际的状态值，这就足够用以重建均衡了。然而，此方法在不具备完美信息的博弈里面，是没有效果的。
2 深度有限求解在不完美信息博弈中遇到的挑战
在那种被称作部分可观测游戏的不完美信息博弈里，子博弈中的那个最优策略，没办法经由去了解所有选手处于均衡状态时的状态值也就是博弈树节点来予以确定。图1a是一幅简单图示，它展示了一种名为剪刀石头布+也就是Rock-Paper-Scissors+，RPS+=的序贯博弈游戏。RPS+和传统的RPS是一样的，只是当玩家出剪刀的时候，赢者能够得到2分而非1分，并且输者同样会输掉2分，就是这样。图1a把RPS +游戏，予以序贯博弈的形式来进行展示，在此里面，P_1是首先展开动作的，然而却并未将动作向P_2进行泄露。在这个游戏当中，针对两个玩家而言，最优策略，也就是Minmax策略，即双人零和博弈里的纳什均衡，是每一方都以40%的概率去选择石头或者布，以 20%的概率选择剪刀。在这个均衡下，P_1 selection rock的期望值是0，选择剪刀或者布的值同样是0。也就是说，图1a里所有的红色状态在这个均衡里的值都是0。当前，假定 P_1 开展深度为 1 的深度限度搜索，深度界限处的均衡数值被替换，此深度有限子博弈如图 1b 所示。显然，于该子博弈里不存在充足信息达成 40% 石头、40% 布、20% 剪刀的最优策略。
为了便于理解，我们先来看RPS+例子，其中核心问题是，我们错误且不合实际地假定P_2会始终执行固定策略。若P_2出石头、布以及剪刀的实际真实概率是特定情况，那么P_1会去挑选任意一种策略，并且其期望值是0。然而，要是假定P_2一直执行固定策略，P_1有可能寻觅不到对P_2变化具有鲁棒性的策略。实际上，P_2的最优策略是依赖于P_1选择石头、布和剪刀的概率的。通常来讲，处于不完美信息博弈里，玩家于某个决策点的最优策略，是依靠玩家在状态方面的信度分布，也就是信赖分布状态，以及其他智能体在该决策点的策略。
于本文里，研究者引入了一种深度有限求解办法，以此确保玩家策略针对对手的变化具有鲁棒性。研究者准许对手在深度有限之处展开最后一回动作挑选，这里面每个动作对应对手会在博弈剩余部分施行的策略，而非在深度极限处单纯地替换单个状态值。策略的选定决定了状态值。对手并非按照特定于状态的形式进行挑选，也就是并非选择最大状态值。相反，自然而然地，对手必须在所有状态做出相同的，对他而言无法分辨的挑选。经由研究者证实，要是对手被赋予了处于深度有限状况下的足量策略，那么凡是处在深度有限之处的子博弈求解，皆为完整博弈的纳什均衡策略的构成部分。他们还借由实验表明，当仅予以少量策略之时（旨在提升计算速度），此方法的性能攀升至极其高的程度。
6 实验
研究者针对一对一无限注德州扑克（HUNL），构建了实验，针对一对一无限注flop扑克（NLFH），也构建了实验 附录B之中 有着这些游戏的规则 HUNL 属于不完美信息博弈 AI 的主要 大规模基准 NLFH 与HUNL 相似 只是博弈会在第二个回合之后 立刻结束 这使得其规模足够小 进而能够精确地计算最佳反应 和纳什均衡 性能依据mbb/g进行测量 这是文献里的标准胜率度量。ｍｂｂ／ｇ也被称作ｍｉｌｌｉ – ｂｉｇ ｂｌｉｎｄｓ ｐｅｒ ｇａｍｅ，这个说法乃是指一个游戏相关的数据，它所表示的是玩家们于每一次一手牌里边，平均情况下能够胜出且是大盲注（这个大盲注是玩家们在一开始时就一定要去承诺的赌注）的千分之一的数量 。
图 2：针对回应对手的 off-tree 动作、深度有限的、解决方案的利用度，此利用度作为状态值数量的函数。研究者进行了对比，对比的是动作转换的方法，以及在动作提取中包含 off-tree 动作的方法，这里在 CFR+的 1000 次迭代时达成的利用度是下限值。
6.2，于一对一无限注德州扑克（HUNL）方面，开展对抗顶尖AI的实验活动，活动内容为进行相关实验 。
我们主要的实验，采用了深度有限求解的办法，并且仅仅是运用连常见笔记本计算机都具备的计算资源，去生成堪称大师级别的HUNL扑克AI，也就是Modicum。我们针对Modicum展开了测试，其中涉及Baby Tartanian8以及Slumbot，而Baby Tartanian8乃是2016年度计算机扑克竞赛的优胜者，Slumbot则是2018年度计算机扑克竞赛的优胜者。编号为 Baby Tartanian8 的个体以及 Slumbot 均未运用实时计算，它们所采用的策略俱是于预先计算好的查找表当中搜寻而得的，编号是 Baby Tartanian8 的个体运用了大约为 250000 个核心计算小时以及 2TB RAM 去计算策略。与之相反，Modicum采用一种计算策略，此策略仅使用700个核心计算小时以及16GB的RAM ，它在运用4核CPU的情形下，还能够以人类专家的速度即时展开博弈，平均每一手扑克所需时间为20秒 。
7 对比先前研究工作
为状态进行多个值的分配，本论文介绍了一种克服此挑战的办法。一种不一样的方法是，把「状态」的定义改成所有博弈者针对状态的信念概率分布，也就是联合信念状态，这种技术先前也曾用于开发扑克AI DeepStack 。实验显示，在我们所测试的领域里，运用多值状态能够产生更优的性能。如同，我们所采用的方法，在核心计算小时数量少于 1000 个的状况之下，能够战胜两种往昔曾是顶级的德州扑克 AI。与之形成对照的是，尽管 DeepStack 战胜了在 HUNL 里并非那般专业的人类专家，然而即便运用了 1000000 个核心计算小时，它也无法战胜往昔最为顶尖的 AI。不过德信竞技，这两种方法都分别具备各自的优点与缺点，我们需要依据领域恰当地进行选择，未来的研究或许会对它们的性能与优势作出改进。 。
