【AI VS 人类新巅峰】冷普大师发明者：战略推理的超人AI

演讲嘉宾： Tuomas Sandholm

有着“冷扑大师”libratus发明人这个身份的Tuomas Sandholm，在新智元AI WORLD207世界人工智能这样的大会之上，展开了分享，他讲述了libratus工作的方式，其中涵盖了三大部分具体内容，分别有抽象算法，也就是纳什均衡的近似值，还有次游戏的解决者，以及自我改进的算法。

托马什·桑德霍尔姆说道：大家好，致以深切感谢新智元提供给我的机会。今日我打算跟诸位分享不完全信息博弈，此与西洋跳棋、围棋、象棋等其他类别完全信息博弈是存在差异的。不完全信息博弈相对而言更类似于谈判、扑克，适用于对现实问题予以解决，缘由在于现实生活里诸多情形都是基于不完全信息的。

以下，我打算向诸位介绍一下，AI 通过何种方式进入扑克牌嬉戏之中，以及我们借助什么办法才能够应对这些游戏里极其深奥繁杂的情况。

首先，想必大家都已听闻过AlphaGo，它属于另外一种全然信息博弈，对于全然信息博弈而言，你晓得游戏的构成方式，因此，在一定层面上，不完全信息博弈的难度相较于完全信息博弈的难度更甚，需要全然不同的算法。

让我来举例说明。

我们并非仅仅是为扑克游戏去搞开发技术的，对于一般的游戏来说也会涉足的，我们来瞧一瞧这是扔出去硬币的游戏，扔硬币存在着一半的可能性状况其出现是正面这种情形发生，还有一半的可能性状况显示是反面这种情形出现，我们有着两位不同不一样有别的玩家，其中有一位是被称之为1号玩家的，另一位是被叫做2号玩家的，如果玩家2猜对了的话，这样1号玩家就获得一次胜利吧就会得一分，玩家2就会被扣除一分哦就减一分了德信竞技，如果玩家2猜错了情况相反哦按照这种逆顺那么玩家1就能得一分，我内心想要去表达的那种想法见解是，大多数的时段时候，大家在那种并非是完全性质的游戏博弈当中都有看过见到过这样的一些游戏树形结构分析的。

我们来看一下，这是与信息集相关的情形，就此而言呢，我们作为玩家究竟该以怎样的方式去玩，存在着各种各样不同的玩法。红色的玩家存在两个能够获取信息的集合，基于这样一个情况，他能够据此决定究竟要怎样去玩。第二个玩家并不清楚硬币呈现的是正面还是反面这种状态，二号玩家仅仅拥有一个信息集，他在从事每一次游玩行为的时候所采用的方法都是保持一致的，其发生的可能性同样也是保持一致的。

在此处，首要面临的挑战先是无法确定他人会采取怎样的行动以及与之对应的机会，说到底就是处于未知的状态。并且，鉴于这种未知状态，我们必须得思索我们的举动会怎样给对手传递我们的私人信息。反过来讲，对手的行为会怎样向我们展现他们的私人信息呢。

这便是博弈论里纳什均衡概念现身之处，约翰·纳什于1950年发明了此概念，其改变了经济学以及诸多别类科学，1994年，他荣获了诺贝尔奖。但需留意，这仅是在存在多个玩家且皆为理性玩家的前提之下的定义，它事实上并未起到任何作用。故而若要达成这一点，你得结合算法依照纳什均衡实际去计算策略。

此时此刻，那些独立于其他的技术变成了扑克AI的基准，要是你回溯到约翰·纳什1950年的博士论文，你会发觉，纳什均衡仅有的应用理论就是扑克，自那之后，扑克AI取得了诸多进展，大概13年前，这个领域切实有了显著发展，于2006年起始，每年举办年度计算机扑克挑战赛，世界各地不同的研究小组能够对比他们的成果，并且逐年加大难度，这致使了核心技术推理方面的多个数量级的稳固改进。并且，有限下注的德州扑克问题在2015年已经得到解决。

因此，无限注德州扑克已然成为人工智能不完全信息博弈的主要标杆以及挑战问题，这关乎一个极为庞大的游戏，它存在10的161次方个不一样的情况，我们暂停下来思索一番这个数字，它可不单单是宇宙里所有原子的数量，并且，要是宇宙中的每个原子都拥有一整个另外的宇宙，再去计算这些子原子的数量，这样也是超出范围了，你得借助AI技术去解决它们，而在此之前并没有人工智能能够打败顶级人类玩家。所以，要是去思索 AI 里的游戏，那就会发现存在诸多很棒的子集，像奥赛罗，像跳棋，像国际象棋以及棋子。然而，无限德州扑克依旧是不见踪影，这可是一场颇具难度的比赛。因为它规模极为庞大，并且属于不完全信息博弈的一种。

那么，今年1月的时候，我举办了AI复赛的春季版本。我将其称作复赛，是由于我在2015年4月以及5月举办过一次类似比赛。那时在那场比赛里，我们没办法战胜最出色的玩家。我邀请了前十名中的4名无限德州扑克专家这类专业人士前往匹兹堡参加比赛。我们在20天的时间内玩了12万手牌。

它跟人类的游戏玩法差异极大，缘由在于它并非起始于对人类数据的学习。自刚刚输掉那场比赛起，它便借助优化以及AI去构建自身策略。它与人类玩的全然不同。最终的状况是，我们的AI libratus在这场比赛里极其显著地战胜了顶级人类大师。这是赢率高达99.98％、具备统计学意义的成果。并且每个人都输给了冷扑大师。

在那之后，我们于中国的海口开展了一场类似的比赛，我们进行了三万六千手牌的较量，对手是一支由六名中国扑克职业选手所构成的队伍，奖金为两百万人民币，对手做好了相应准备。因此他们不只是扑克玩家，更是计算机科学家，以及机器学习专家，他们之中有一个是唯一的中国世界扑克锦标赛系列赛冠军，为了突破人工智能，他们预先研究了libratus的手牌历史，我们在九场比赛里打了四天半，他们的策略并未行得通。有个被称作冷扑大师的，其意思即“冷酷的扑克大师”，它被说成是libratus的中国版，它在9场比赛里，于每场比赛中都取得了胜利，并且它在每场比赛里还战胜了每个对手。

libratus是如何工作的：三大模块

对于libratus究竟是怎样开展工作运用的呢，这个问题我时常会被问到。所以当下我准备阐述讲述一下这些人工智能背后所蕴含的具体详情细节内容。

他们存在着三个主要的模块，这些构成了主要的部分，其一乃是在事件发生以前，我们把游戏的规则给予抽象算法，它实施游戏的抽象，因而它属于纳什均衡的近似值，接着有一个次游戏的解决者于实时的状态下完善那些策略，随后在后台运行一个自我改进的算法。

在比赛开始之前，我们开动了一台超级计算机。在运用libratus的那一回，我们于匹兹堡超级计算中心的超级计算机上运行了大概1500万个小时。如此一来很明显这款游戏规模太大，没办法直接解决，故而我们运行了一种抽象算法去创建一个更小的抽象游戏类别。之后，我们借助经典均衡寻找算法来寻觅博弈的近似均衡形态。

Libratus有个算法，能计算近似纳什均衡策略，此策略也是近似的最小最大策略，针对抽象游戏，还为AI战略提供了高层次蓝图，新算法是Monte Carlo对策略最小化算法的改进版本，新算法主要新方面是按降低概率方式抽取智能体行为，这大幅提高算法速度，进而让更细粒度抽象得以解决。

并不完美的是最先进的游戏抽象 ，正因为这样 ，游戏模型存在多条路径能达成相同的抽象状态 ，这致使不同途径在智能体理应做的事情方面“斗争” ，从而提高了解决方案的质量 ，新的均衡发现算法也能够借由折扣一些路径去减少抽象状态的入度 ，如此来减轻这个问题。

2.解决子游戏

Libratus存在一个全新的子游戏解决算法，该算法会重复开展计算，去得出一种更为详尽的策略，并且是以上述的蓝图策略作为指导。此算法具备着新的多方面内容，且包含以下这些方面。

到当前这个时候，鉴于对手所出现的失误，安全的子游戏做到了被解决。子博弈求解器能够借助错误给予对手我们截至如今在游戏里给予我们自身的那个数量，与此同时依旧是全然安全的（也就是不比预先算好的纳什均衡近似蓝图差）。

我们运用这个观察，来拓展子博弈求解器能够安全优化的策略空间，进而让它能够展现，相较于往昔的子博弈求解器，在与对手或许持有的其他（非错误）双手相比较时，具备更为出色的灵活性。

一般状况之下，子博弈去解决不完美信息游戏，仅进行一回子博弈之时。与之对比，Libratus这个东西在每个对手于子游戏里头移动完毕此后，去解决每一个剩下的子游戏。如此便能达成更细粒度的抽象，同时还能够规避反向映射对手的抽象外动作以及抽象抽象动作的那些缺点，原因在于对手的确切动作被添进到剩下的子游戏当中。

子游戏着手解决，起始于游戏的早期阶段，此阶段处于任何足够大的下注周期且不迟于第三轮下注开始之时。于子游戏解决期间不存在抽象卡。

子游戏解决以前，有噪音加进动作抽象里头。这让Libratus不好发挥，只因在打完每一手牌后，赌注大小就发生更改了。

3.自我改进

Libratus存在一个自我完善的单元，其随着时间的推进增添了预先计算好的蓝图，目的是依据对手已然能够辨别哪些漏洞（属于抽象操作，就如同扑克里的下注大小），进而更加趋近纳什均衡，这和以前在游戏里学习的方式构成了显著的反差，在那些游戏里，目标往往是建模以及开发，相较而言，Libratus的自我提升具有普遍性。

我们针对冷扑大师的比赛展开观察，我们判定对于那些顶级玩家，我们不愿自身存在过多可供对方利用的漏洞，所以我们这里不存在对对手的漏洞分析，而这正是我们的弱点。

此时我向诸位呈以一番介说，关乎我们于其他范畴即将着手开展的研究。首当其冲的层面是存在有损耗的边界提取，因而我们不得不针对现实予以某种程度的抽象提炼，不然的话便会冒出现象、事态、情景等方面的问题，为此我们需求获取更多的牵涉到损耗提取的系列性计算，不然这般游戏便无法妥善地延续下去。同样这般情况也运用于差异化的模型层面，我们发觉当下存在诸多的模型相对于现实而言并非十分的优化，所以我们同样期冀能够寻觅到更为优化的模型。此外，我们需寻得新的、与梯度相关的平衡计算方式。我们在今年夏天已引出一项与之相关的办法。如今，其速度已然极为疾速了。

另外一点，对于均衡计算，我们需做进一步优化，在深度学习方面，存在第三个维度，这意味着，对于探索而言，开放程度会是怎样的，我自身也要做到充分开放，进而展开进一步探索。在进行探索开始之前，我们是必须要做充分准备的，如今针对这种技术，我们已然开展了诸多不同的应用，当下我们也要去运用这批新的技术，并且得具备有关这方面的应用能力，置身于这种信息并不全然完备的游戏之中，有着大量的人机交互需求，当我们投入玩耍时，并非仅仅只需一个玩家而已。正因如此，当我们着手去应用新技术之际，存在几个要点是亟待进一步改良的，我们要达成更为精彩的人机互动，在此处，我们务必要预先思量到游戏的一些玩法设计。

除此之外，存在诸如融资、具备战略性的某些定价，以及战略性产品组合的优化之类的情况，还有金融领域内，譬如战略性资产组合的搭建，并且还有自动化的磋商与磋商支持等，另外还有一些企业战略，在企业战略里我们应当有一些玩法。

另外，在开展拍卖之际，能够运用相关技术，并且这一点极具益处。在与电影相关的各类内容里，于虚拟性安全等方面，在政治领域进行竞选之时，面对自动化驾驶的汽车、半自动化甚至是自动化驾驶的舰队等，我们能够与人机之间构建一系列互动，然而我们必须设立一些对应的规则，即在人机互动期间，此外在军事安全等方面，在生物应用等范畴，例如在医疗、治疗、规划环节，当我们预防一些疾病、感染以及诸如癌症等情况时，所有的这些领域我们均可采用全新的技术，另外在培训以及娱乐行业同样能够有更多相关技术的运用。

我要表达的是，机器学习仅是人工智能的一部分，人工智能能够在别的领域作进一步运用，像在战略推理方面也会有更多与人工智能相关的应用。我们觉得，对于战略性的推理而言，事实上我们更多的并非只是着眼于过去，而是更多地聚焦于未来。从过去展开学习，这属于我们进行战略性推理的一部分，比如在开展人机交互之时，应当对我们的对手予以更多分析，以开展进一步的推理等等。谢谢大伙。