CMU、Facebook联合AI击败人类！六人德扑成焦点

不久前，一款名为“Pluribus”的AI扑克牌机器人，在六人无限注德州扑克这一复杂游戏里德信竞技，将人类职业选手碾压了！

这是AI第一次，在规模超出两人的复杂对局里面，打败顶级人类玩家。

由CMU与Facebook联合打造的史上最强德州扑克AI是“Pluribus”，它重点解决了多人对局环境之下的非零和博弈问题，还解决了隐藏信息推理问题，这是该领域的一个重大突破。

今日，“Pluribus”的相关论文，竟借助封面的这种形式，登上了Science杂志！

Noam Brown教授与Tuomas Sandholm教授，他们来自CMU以及Facebook AI，在论文里对“Pluribus”的策略进行了详尽解读。

作者称，扑克向来是个颇具挑战性的问题，以往AI于这类基准测试里所取得的成功，仅局限于两人参与的游戏，然而，传统意义上玩扑克的人数并非两人，多人扑克乃是一个得到公认的AI里程碑。

“Pluribus”所具备的AI，在六人参与的、无限制进行注码的德扑这项活动里，呈现出了相较于顶级的、身为人类的、专业从事该游戏的玩家而言，更为强大的技能表现。

基于MCCFR的“蓝图”策略

要是存在三人或者三个人以上参与博弈，情形就会对博弈论构成挑战，对于两个玩家的零和博弈而言，有一种策略存在着，那就是没有玩家能够借由切换成不一样的策略去提升他们的机会，这种被称作纳什均衡的情况被认定为是博弈的一个解。

可对于多人参与的游戏来讲，期望获取的奖励，有可能会因为纳什均衡存在差异而出现不同情况。能保证收敛至纳什均衡的那种快速算法，就像虚拟遗憾最小化算法也就是CFR，在多人游戏的情形下，或许会失效。即便如此，CFR在某些多人游戏的领域当中，依旧展现出了不错的经验表现。

Pluribus先是进行自我游戏以去学习通用技巧，我们称呼其为“蓝图”策略。

之后，于实际的游戏当中，它依据游戏当下的状态算出一个实时的策略用以细化blueprint策略，Pluribus程序依靠名为Monte Carlo CFR (MCCFR)的CFR变体学习blueprint策略，并且做出一些改进。（此处对blueprint未做处理，照原样保留，因为不清楚其具体含义，若有特定要求可进一步变换其保留方式）。

Pluribus会反复去模拟，所有玩家运用相同策略时的扑克手牌；在每一手牌结束之后，它会进行递归式检查，针对每个决策，并且将其与在相同情形下有可能选择的其他操作相比较，之后评估该决策的预期结果。

作者为提高Pluribus里MCCFR算法的效率，于训练的早期阶段引入了linear weighted discounting，又在训练的后期对negative-regret行为实施了策略剪枝。

系统里最为复杂的那一部分是实时策略组件，为了去处理并非完美的信息，Pluribus会执行嵌套搜索，会维护搜索树的根节点，当然呀，还有每个玩家所持有牌的根节点的概率分布，其前提在于假设所有玩家都运用相同的（已知的）策略。

Pluribus对blueprint策略的四种不同变体予以考虑，其目的在于能够对叶节点进行有效评估。

于Abstraction机制里，Pluribus借由把相似情形整合一块，削减了有关是否跟注、加注或者弃牌的决策点的数目，运用蒙特卡罗虚拟遗憾最小化，把扑克游戏中树搜索的复杂性从一个棘手难题降至一个可解决难题。

真实游戏

Pluribus得给每一个场景给出一个动作，这个动作是跟注、加注或者弃牌中的一个，是这样的情况。

抽象游戏

类似的方案，比如高牌9和高牌10一起。

抽象策略

Pluribus借助MCCFR以操作的方式使得每个bucket被映射到一个分布那里。

真实策略

每个方案都根据其bucket的抽象策略映射到操作上的分布。

大型复杂的游戏中，状态与动作的抽象，能够用以抑制搜索树的增长，这对于完整的六人无限德州扑克游戏而言是必要的，因为德扑十分复杂，以至于无法直接进行搜索。

与此相反，如同上面所呈现的示意图那样，Pluribus模拟出了一个更为简单的游戏版本，它把类似的决策点合并在了一起，并且还消除了一些操作。

“赌神”AI训练只需144美元

最后，Pluribus的blueprint策略借助64核服务器，历经8天才顺利计算得出，整个过程总共运用了12400个CPU核心小时，并且所需内存少于512GB。依据当下的云计算费用进行计算，此次花费了大概144美元。

这跟最近其他全部的超级AI里程碑游戏构成了鲜明的对照，那些AI运用了大量的服务器以及/或者GPU集群。更多的内存与计算能够支持更细粒度的blueprint，这会带来更好的性能，不过也会致使Pluribus使用更多内存或者在实时搜索时变慢。

研究人员把 blueprint 策略抽象的大小进行设置，设置成允许 Pluribus 在一台内存不超过 128GB 的机器上面实时运行，并且与此同时在内存当中存储 blueprint 策略的压缩形式。

鉴于无限德州扑克具备规模以及复杂性，整个游戏的blueprint策略必定是粗粒度的，Pluribus仅仅在第一轮投注（四次投注）里依据这个blueprint策略来开展操作，在此之中，决策点的数量少到足以使blueprint策略可不采用信息抽象，并且在操作抽象里实施了诸多操作。

第一轮过后，甚至第一轮当中，要是对手所选择的赌注大小跟blueprint action抽象里的大小全然不一样的情况下，Pluribus会展开实时搜索，目的是去确定针对当下情形的更优、更具细粒度的策略。

结论

进行自玩的形式，与开展搜索的形式，二者相互结合，于完全信息的二人零和博弈里，取得了诸多令人瞩目的成功。然而，现实世界当中的绝大多数战略交互，都是包含着隐藏信息的，并且有着两个以上的参与者。这就致使这个问题，在理论方面以及实践方面，都存在着极大的不同之处以及困难之处。

要为多人德扑去开发出一个超级AI，这在该领域可是一个被公认的里程碑。在本文当中，我们对Pluribus进行了描述，它是一个AI，具备在六人无限注德州扑克里击败人类专业玩家的能力。

Pluribus的成功显示出，哪怕对于多人博弈的性能而言，缺乏已知的强有力的理论保障，然而依旧存在大规模的、复杂的多人博弈不完全信息设定，情形如此，精心构建的self play搜索算法能够生成超越人类的策略。