揭秘德州扑克高手被称作‘鲨鱼’的背后深意
2026年3月20日
JJ德州扑克正式版 v1.0
2026年3月20日
选自arXiv
参与：路、晓坤
近日，CMU冷扑大师团队中，在读博士Noam Brown、Tuomas Sandholm教授以及研究助理Brandon Amos提交了一项新研究，该研究是关于德州扑克人工智能Modicum，它仅仅凭借一台笔记本电脑的算力便打败了业内顶尖的Baby Tartanian8以及Slumbot，其中Baby Tartanian8是2016计算机扑克冠军，Slumbot是2018年计算机扑克冠军。早先的时候，名为《Safe and Nested Subgame Solving for Imperfect-Information Games》来自冷扑大师的刊物文章属于NIPS 2017的最优刊物文章。
1 引言
把智能体和隐藏信息之间的战略互动予以建模的是不完美信息博弈，此类博弈当中比较主要的基准是扑克，特别是一对一无限注德州扑克，也就是HUNL，在2017年人工智能Libratus打败了德州扑克人类顶级玩家，带来这一超人性能有一个关键突破是嵌套求解也就是在博弈树的位置不断往下移动的时候，智能体实时重复计算更加精细调整的策略且此策略只是完整所述说博弈涵盖部分的其中一部分。
不过，实时子博弈求解于前半场时，对 Libratus 来讲成本过高，缘由在于 Libratus 实时求解的那部分博弈树，也就是子博弈，通常会延伸至游戏结束。所以，前半场 Libratus 预先算出了一个精密的策略来当作查找表。要是此策略成功，那么它就需要可用于计算的数百万核心时间以及数 TB 内存。另外，在更深的序贯博弈里，该方法的计算开销开支更为昂贵，因要去求解更长的子博弈以及更大型的预计算策略。是有一种更为通用的方法的，这种方法是在于博弈的早期阶段，就去对深度有着限制的子博弈展开求解。
这种操作，是扑克AI DeepStack运用和嵌套求解相类似的一项技术达成的。然而，虽说DeepStack战胜了一组HUNL非顶尖人类专业选手，可它并未击败先前顶尖的AI，虽说它运用超过一百万核心时间去训练智能体，这显示出它所采用的方法在扑克等领域或许不够实际或者有效。本论文在第7部分对该问题作了详细探讨。本论文阐述了一种别样的深度有限求解方式，此方式击败了先前处于顶尖水平的AI德信竞技，并使得计算开销出现数量级的降低。
在完美信息博弈里头，深度有限子博弈的叶节点处的值，被替换成所有选手在均衡状态时的状态估计值。比如说，该方法在西洋双陆棋 、国际象棋 以及围棋 上，达到了超越人类的水平。同样的方法依然广泛应用于单智能体设置当中，像启发式搜索。
29, 24, 30, 15
的确，在单智能体的设置里，在了解所有选手处于均衡状态时的状态值的情况下，是足以重建均衡的。在完美信息多智能体的设置当中，同样如此。但是，该方法在存在不完美信息的博弈里，是没有效果的。
2 深度有限求解在不完美信息博弈中遇到的挑战
在那种被称作部分可观测游戏的不完美信息博弈里，子博弈当中的最优策略没办法经由知晓所有选手均衡状态之际的状态值也就是博弈树节点来给予确定。图1a是一幅简单图示，它呈现出一种序贯博弈游戏剪刀石头布加，剪刀石头布加和传统的剪刀石头布情况一样，只是玩家出剪刀时，赢者能得2分而非1分并且输者也会输2分。图 1a 按序贯博弈的样式呈现 RPS+ 游戏，这里面 P_1 率先行动，然而却没把动作透露给 P_2。在这个游戏里，对于两位玩家而言，最优策略（也就是 Minmax 策略，即双人零和博弈里的纳什均衡）即是每一方都以 40% 的概率去选石头或者布，以 20% 的概率选剪刀。在这个均衡状态下，P_1 选石头的期望值是 0，选剪刀或者布的值同样是 0。这意味着，图 1a 里所有的红色状态在这个均衡里的值都是 0。当下，臆断 P_1 推行深度为 1 的深度有限搜索，于深度极限之处的均衡值被更替。这般深度有限子博弈恰似图 1b 之所呈现。显而易见，于这个子博弈内并无充足信息可达成 40% 石头、40% 布、20% 剪刀的最优策略。
在RPS+例子当中，那核心的问题在于何处呢？在于我们以不正确的方式，做出了P_2将会始终执行固定策略这般不妥当的假设。要是事实上而言，P_2出石头以及布还有剪刀各自的概率是那样的情况，那么的话，P_1便会选择随意一些的策略，并且其期望值会是0。然而，要是做出P_2总是执行固定策略这样的假设，P_1极有可能难以找到对于P_2所做出的改变有着鲁棒性的策略。实际上，P_2的最优策略是依赖于P_1选择石头、布以及剪刀的概率的。通常来讲，于不完美信息博弈里，玩家在某一决策点的最优策略，取决于玩家在状态方面的信度分布，以及其他智能体在该决策点的策略。
本文内，研究者引入一种深度有限求解之法，以确保玩家策略对对手变化含有鲁棒性。研究者准许对手于深度有限处做最后一次动作挑选，此动作皆对应对手于博弈余下部分会执行的策略，而非于深度极限处单纯替换单个状态值。策略的挑选决定着状态值。对手并非以特定于状态的方法去挑选，也就是不选最大状态值。相反，自然而然地，对手必须于所有状态做一样的、对他而言无法分辨的选择。研究者证实了，对于那种情形而言，假设对手被给予了在深度有限之处的足量策略，那么在深度有限之处的任一子博弈求解乃是完整博弈的纳什均衡策略的一部分。他们还借助实验表明了，当仅仅提供少量的策略时（目的是提升计算速度），该方法的性能攀升至极端的高度。
6 实验
研究者构建了实验，实验是在一对一无限注德州扑克也就是HUNL，以及一对一无限注flop扑克也就是NLFH上进行的。附录B里存在这些游戏的规则。HUNL是不完美信息博弈AI的主要大规模基准。NLFH跟HUNL相似，只是博弈会在第二个回合结束之后马上就结束，这使得它规模小到足以精确计算最佳反应以及纳什均衡。性能依据mbb/g来测量，mbb/g是文献里的标准胜率度量。mbb/g也就是milli – big blinds per game，它所代表的是，玩家在每一手牌当中，平均能够赢取的大盲注数量的千分之一，而大盲注是玩家在起始时必须要承诺下的赌注。
图2展示了，回应对手的off – tree动作中的特定解决方案的利用度，该利用度是深度有限的，它作为状态值数量的函数。研究者针对此展开对比，对比了动作转换的方法，以及在动作提取过程中包含off – tree动作的方法，特别说明在CFR +的1000次迭代中达成的利用度是下限值。
6.处于一对一无限注德州扑克这种形式上，针对顶尖AI所来进行的一场实验，是数字2所处这次实验的情况态势。
我们主要开展，运用深度有限去实施求解，且只能依赖，普通笔记本电脑所具备的计算资源，来生成大师级的HUNL扑克AI， namely Modicum的实验。我们针对Modicum，和Baby Tartanian8以及Slumbot展开测试，然而当中，Baby Tartanian8是成为2016年度计算机扑克竞赛的获胜者，Slumbot是成为2018年度计算机扑克竞赛的获胜者。不是实时运算的有Baby Tartanian8以及Slumbot呢，它们的相应方案是于预先做好计算处理的查找表里搜寻取得的，Baby Tartanian8为了算出方案动用了数目大概是250000个的关键计算小时以及2TB的随机存取存储器。相反，Modicum采用的计算策略是，仅使用700个核心计算小时以及16GB的RAM，即便其在使用4核CPU的情形下，仍能以恰似人类专家的速度实时开展博弈，具体表现为平均每手扑克所需时间为20秒。
7 对比先前研究工作
本论文介绍了一种克服这一挑战的方法，该方法是通过为状态分配多个值。一种不同的方法是，将「状态」的定义修改为所有博弈者对状态的信念概率分布，也就是我们所说的联合信念状态，这种技术以前曾被用于开发扑克 AI DeepStack。实验表明，在我们所测试的领域里，使用多值状态能够产生更好的性能。例如此时，我们所采用的方法，在核心计算小时数少于1000个的状况之下，能够战胜两种往昔顶级的德州扑克AI。相比较而言，虽说DeepStack它击败了于HUNL里并非那般专业的人类专家，然而即便它运用了1000000个核心计算小时数，却依旧无法击败往昔顶尖的AI。可是，这两种方法各自都存在着优点与缺点，我们需要依据领域正确地去进行选择，未来的研究或许会改进它们的性能以及优势。
