Science揭秘：Libratus在双人无限注德扑中击败人类顶级选手

选自Science

作者：Noam Brown、Tuomas Sandholm

机器之心编辑部

Libratus 给出了一种办法，能在大型状态空间和隐藏信息里有效地应对博弈论推理所带来的挑战，它于 12 万手单挑无限注德州扑克比赛中战胜了四个顶尖的人类选手，成功把处理不完美信息博弈的领先基准问题以及长期存在的挑战给解决了。鉴于现实世界策略交互当中隐藏信息到处都有，所以 Libratus 引入的范式会在 AI 的今后发展以及广泛应用里起到重要作用。

近些年来，人工智能已然获取到了极为显著的进展，在众多情形之下，这般进展于基准游戏里以及同人类表现的对照当中得以呈现，当前AI程序先前已经处于跳棋、国际象棋以及围棋等方面战胜了人类的顶尖选手们；与此同时，并且在这些完全知晓信息情况的博弈活动里面，博弈双方均清楚地晓得博弈里头每一个要点所处的确切实质状况；与之形成鲜明反差的是，在不完全知晓信息的博弈活动当中，有关博弈实质状况的一部分信息是呈隐匿状态的，也就是说，在该博弈活动里面存在着涵盖多个进行决策要点时所产生的信息集合，或者博弈参与者无法精准地区分对手所开展的一系列行动情况。信息于现实世界的策略互动里被隐藏，这种情况到处都存在，如此就致使研究不完美信息博弈的技术变得越发重要了。

因多种缘由，隐匿信息令博弈愈发复杂。于不完美信息博弈来讲，AI并非单纯搜索一个最佳行动序列，而是得确定怎样恰当行动，如此对手才不会过多察觉我方拥有的私人信息。比如虚张声势是任何竞技性扑克所需技巧，可常常唬人就会被对方揪出特点并遭击败。因而换句话讲，一个行动获取的价值取决于它出现的概率。

关键点的另一个方面，为博弈的不同部分不可独立进行考量，针对给定情形，最佳策略或许取决于未发生情形下会执行的策略，所以，具有竞争性的AI始终得去考虑整个游戏的策略。

有很长历史的扑克游戏是作为理解隐藏信息的博弈，德扑是目前最受欢迎的扑克游戏当中的一个。单挑无限注德州扑克也就是HUNL，因为其规模庞大以及战略复杂，已成为近年来不完美信息博弈研究的主要游戏，还是基准挑战问题。在这个游戏里，之前顶尖的人类玩家从未被AI击败过。

于本论文里，我们对 Libratus 作了介绍，它运用了一种别具一格的办法去处理不完美信息博弈，此 AI 在一场为期 20 天、存有 20 万奖金池且总数达 12 万手的竞赛当中，战胜了 HUNL 的顶尖选手，Libratus 里的技术并非运用专家领域知识或者人类数据，它业非专门针对扑克而言，所以那些技术适用于诸多不完美信息博弈。

论文的链接是，http://science.sciencemag.org/content/early/2017/12/15/science.aao1733/tab-pdf。

摘要：无限注德州扑克属于极为流行的扑克形式种类当中的 ，一种。哪怕人工智能于完美信息博弈里收获了成功，可是私人信息还有大规模博弈树致使那种无限制博弈问题异常难以处理。我们推出了 Libratus ，它于 12 万手单挑的 ，无限注德州扑克比赛里面战胜了四个处于顶尖位置的人类选手 ，解决了应对不完美信息博弈的领先基准问题以及长期存在着的挑战。我们的博弈论方法具备以独立于应用的技术作为标志的特质，存在一个算法，其作用是去计算总体策略的蓝图，另外有一个算法，在博弈期间求解并充实子博弈的具体策略，同时还有一个自提升算法，旨在修正或许已然存在的弱点，而这个弱点有可能在对手的蓝图策略里被识别以及出现针对性举措标点符号。

图 1：子博弈求解

上：参与博弈期间，出现了一回子博弈。中：借助求解一个增强子博弈，为这个子博弈确定更为详尽的策略，那会儿每次迭代里对手持有随机牌组，还给出了策略选择，是选择旧抽象（红色）的期待值，或者选择新的细粒度抽象（绿色，这儿对弈双方的策略皆为可变的）。这使得 Libratus 把细粒度策略设定成起码和初始抽象（与所有对手牌组对弈）一样出色。下：新策略替换了原本的策略。

图2：关于嵌套子博弈解决方案的2A的可视化呈现。每一次，于游戏里达成一个子博弈之时，便会针对这个子博弈去构建以及解决一个更为详尽的抽象内容，与此同时，把它的解决方案归入整体的蓝图策略当中。

图3，呈现的是Libratus跟人类顶级玩家对照的那种表现，上面的图给出了2017年 Brains vs. AI这个竞赛的结果，其中95%的置信区间，要是手牌相互独立并且分布相同的话，是由虚线来表示的。

结论

Libratus 提出了一种方法，该方法能在大型状态空间里，有效解决博弈论推理挑战，且针对隐藏信息。我们开发的技术，在很大程度上独立于领域，所以可应用于其他不完美信息的应用，其中包括非娱乐性应用。因为现实世界策略交互里，隐藏信息到处都有，所以我们觉得 Libratus 引入的范式，对 AI 的未来发展以及广泛应用会非常重要。

挪亚姆·布朗、图奥马斯·桑德霍尔姆出现在红迪网问答中，针对利布拉图斯相关问题进行了仔细详尽的回答。

如需查看详情，可浏览reddit链接，该链接为：https://www.reddit.com/r/MachineLearning/comments/7jn12v/ama_we_are_noam_brown_and_professor_tuomas/。

本文为机器之心编译，转载请联系本公众号获得授权。

若打算 joining 机器之心（全职记者 / 实习生），则其电子邮箱为 hr@jiqizhixin.com德信竞技，按此信息与之联系即可。

若要进行投稿，或者是寻求报道，可通过此邮箱：content@jiqizhixin.com。

广告&商务合作：bd@jiqizhixin.com