专访德州扑克算法幕后CMU博士Brown：AI怎样打败顶级牌手？

上个月，举行了单挑无限注德州扑克人机对战，此对战中，卡耐基梅隆大学将AI程序Libratus研发了出来，该程序有每100手14倍大盲的成绩，这里的14倍大盲缩写为14bb/100，意思是玩100手牌，平均能赢对手14倍大盲注，它完胜了世界级人类玩家团队，这让所有在场人员都感到震惊了。

这场比赛总共打了12万手，最终Libratus获取了1,776,250个筹码，差不多是90个买入。虽说人类玩家输得很惨，幸运的是他们无需真的自己掏钱把输掉的钱给赢家Libratus，尽管他们前来参与这场对战也是要缴纳费用的。

有一款名为Libratus的，被CMU博士Noam Brown评价为“AI扑克界的圣杯（the holy grail ）”，它是由Noam Brown和CMU教授Tuomas Sandholm共同研发的，还是CMU这一系列扑克机器人里最新的一款。在此之前，不存在任何一款机器人能够在单挑无限注德州扑克中打败世界级人类选手，就是这样 。

在Brown眼中，Libratus存在着相当大的发展可能，“从理论层面来讲，升级版有着能够达到50bb/100的可能性”，有译者注释表明，升级后的Libratus每100手能赢人类对手有那么厚为50倍大盲的情况，也就是还有3.5倍的挖掘潜力可得，在近期，世界很有名气的扑克牌杂志Card Player对Brown开展了专访，了解了关于AI扑克研究过往历史发展以及未来走向等方面的问题，以下是雷锋网所进行的编译 ，其末尾有标点符号 。

Brown

Card Player ：您对这次对战结果感到惊讶吗？

Brown：实际上，本原本身是相当颇为感到惊奇诧异的，我未曾料想到人工智能居然能够把事情做得这般如此之好。之前经由我们为了对人工智能效果予以作测试检验而使得其与Claudico（雷锋网译者注：CMU较早版本AI）进行对战比试过，最终的结果状况是Libratus以10到12bb/100击败战胜Claudico，此项这一成绩结果要好过往优于2015年Claudico与人类进行对战比赛的结果（译者注：那次大战中AI输给了人类选手），然而不过相差得并不是特别十分大。于我们而言，会觉得此次人机对战Libratus，胜算稍微大那么一点儿，然而却无法确定究竟能赢出多少。因而当此次结果呈现之际，我们对于AI可表现得这般出色，感到颇为诧异 。

扑克玩家 ：那么实际上在那个时候你们是觉得人工智能还不能够以每打牌一百手牌来达到十四大盲注的赢率从而战胜人类，对不对呀？

Brown表示，情况是这样的，我们并不清楚人类究竟比Claudico厉害到何种程度，有多少是AI需要去提升的部分。在2015年那场对战当中，人类选手察觉到并且充分运用了Claudico所存在的漏洞，举例来说，他们使得Claudico多次采用“溜进”这种战术。这一招所产生的效果极为显著，是人类玩家战胜Claudico的关键所在。可是，Libratus并非借助利用对方弱点而获胜，Libratus与Claudico对战之际，Libratus能够于不利用后者弱点的情形下，以10至12bb/100战胜Claudico，这表明倘若Libratus不存在任何弱点，便会比人类更为强大，而Libratus此次之所以能够打败人类，缘由在于它不存在任何可为人类利用的弱点。

纸牌玩家，当人类玩家奋力追赶比分，使得对战进入到白热化阶段之际，你是否在琢磨对手或许已然寻得了Libratus的弱点，又或者依旧满怀信心呢？

Brown表示，在第一周比赛临近结束的那个时候，双方的比分情况处在几乎快要打成平局的状态 。人类选手针对Libratus打法会怎样调整以及它的强项究竟在什么地方等因素上，在第一周做出了含有一系列推测的举动 。他们并没有跟我详细谈论他们预估战局将会朝着怎样的方向去发展，然而从我所听闻的内容进行判断，他们应该是想要从数据当中探寻Libratus的套路，进而去分析它所存在的弱点以及具备的优势 。所以，总之来说我并没有太多的担心 。他们觉得AI在一些层面方面是存在缺陷的，可事实上并非如此 。比方说，在某一天所开展的比赛里，他们之中高达80%的情况都是进行再加注，也就是所谓的（three – betting），究其原因，从相关数据方面进行分析，他们觉得AI对于特定的三倍打法，也就是（three – bet size）并不太拿手。然而，我却并不觉得那属于缺陷，仅仅是他们的数据当中存在着噪音而已。他们在比赛推进的过程里所获取的数据致使他们得出了这样的一种结论。不过，他们的确察觉到了其中所存在的一些问题。举例而言，Libratus对于特定的开局下注的大小对应得不太理想。比赛之前，我们觉得这并非是什么严重的问题，然而，事实表明，这个弱点极其致命。还好，AI还存有一招，即在当日夜晚对手入眠之际，AI便开始持续不断不间断地进行训练，弥补其自身不足之处，以防对手后期再度利用这一缺陷。于是乎，你瞧见了，从第二周起，局势就已然开始发生转变了。

纸牌玩家：此次微小调整对于后续比赛来说，是不是具有重要性呢？鉴于人类选手也会相互协作，交流战策，那么这次调整是不是提升了对战的难度呢？

布朗表示：这里存在着好多误解、好多误会。人工智能微调并非是那种我们让它再次加注的次数增多，或者提高加注的倍数，而是鉴于对手在翻牌前以及翻牌的时候总是去下不一样大小的注。人工智能程序清楚怎样去回应两倍、二点五倍或者三倍的开局下注。可是要是对方以二点七五倍的方式开局，那样人工智能就会把二点七五大约等同于三，故而它的回应还是较为准确的。这样的一种做法虽说算不上不合理，然而要是它能够不进行四舍五入的话，效果将会是更为优异的。就这样，在那个夜晚，它持续不断地训练自身，训练的内容是怎样去回应高达2.75倍的下注。其下注大小是由算法来决定的，该算法会依据对手下注次数最多的倍数，以及这个数字与我们事先设定好的一些数目之间的距离，为对手下的注划分出优先等级。所以，上述这些情况便是微调所带来的改变。这同样也是算法里的关键部分，它使得AI能够逐步依据人类的打法来改变自身的策略，而并非像之前人们所猜测的那般去利用人类的弱点。

那么，我们可不可以表明，Libratus在河牌圈，也就是the river的时候，以及在转牌圈，就是the turn的时候，所做出的回应，比起在翻牌前以及翻牌时所做出的回应，重要程度没那么高呢？

Brown表示，在转牌圈的时候，你会发觉AI去思考接下来的动作是需要花费时间的。在河牌圈的时候，同样会发现如此情况。这个时间极其迅速，以至于有的人或许都未曾留意到。实际上，每当人类对手在转牌圈下注时，它都得重新计算策略。每当人类对手在河牌圈下注时，它也都得重新计算策略。如此一来，不管对手采取怎样的出招方式，它都能够给出完美回应。所以说，AI必须预先去计算一系列不同的下注大小，并且要把这些放入到游戏树当中。然而，预先计算的那些并不能应对转牌圈。转牌圈是需要实时计算策略的。预先计算的那些也不能应对河牌圈。河牌圈也是需要实时计算策略的。需注意，这里所说的游戏树，乃是在组合博弈理论范畴之内，用于呈现一个赛局里各种后续可能情况的那种树 。

这个实时计算能力，是否恰恰是Claudico实际缺失从而缺乏之处呢？又或者是其实做得并不够尽善尽美，存在着不完美的地方呢？

Brown称，Claudico能于河牌圈展开实时计算，只是于下述几个方面较为薄弱。其一，它未考量阻断牌（雷锋网译者注：blocker，即自身所需之牌在他人手中）。其二，为运作得更快，它需将几手牌予以组合，之后再区别对待。其三，基于此它或许会认定，黑桃A带三张黑桃与梅花A带三张黑桃相同，即便这两种牌理应区别对待。Claudico的最终游戏解算机，也就是end-game solver，会针对大量的实时下注展开计算，然而并不会在人类每次下注之际进行再计算。我觉得，针对人类每次下注开展再计算这一环节，对于Libratus此次的获胜来讲至关重要。同样的，这次我们能够在转牌圈起始之时就对这样的计算予以扩展。这种做法的计算量更为庞大，原因在于当下AI需面对约50种有可能出现的各异河牌圈，而且在游戏结束（每一手牌）之前，可能出现的行动数量以指数级的态势增长。故而，若要像那般有效扩展这种全新算法，新程序的计算成本相较于Claudico贵出1000倍 。

扑克牌玩家：Libratus究竟啥时候能够打出一回堪称完美的GTO（也就是博弈理论中距离最优化的那种策略）呢？类似Libratus这样的机器你们后续还会再推出来多少个版本呀？

Brown称，没人晓得AI距离打出博弈理论里的最优化策略还有多长距离，我们存在好多计算这一数值的办法，然而代价极为高昂，故而直至如今都尚未达成，或许我们明年会着手尝试，要是非得让我进行推测，我猜想一个博弈理论中的最优化策略能够以15bb/100战胜Libratus，这是我的大致估算，范围应当处于5至50bb/100。

卡牌玩家：哇，那么这种人工智能依旧存在着相当大的能够进行提升的空间啰？

Brown表示，这难以确切判定。以往AI存在致命缺陷，即在转牌之际以及河牌之时，未将阻隔牌纳入考量范围，而这在高水平对抗当中，着实相当关键。然而，Libratus并不存在此类问题。它会于每一个转牌局面以及河牌局面里，特意针对每一手牌的情形予以考虑，相较于之前的AI而言，此种做法使得Libratus的表现获得了飞跃式的提升。

就区分阻隔牌这个方面而言，Libratus已没太大提升空间，然而在怎样去选择下注数额这一点上，终归还是能够有所进步的，我相当难去表明它究竟能进步到何种程度，不过我推测或许会达到15 。

：有人觉得，Libratus在转牌圈以及河牌圈的超额下注，也就是那种over – betting，极具进攻性。你是不是觉得，AI在这一方面已然抵达了完美水准，又或者讲，在怎样平衡下注这一点上，依旧存在着能够改进的空间呢？

布朗指出，它在比赛期间能够进行超额下注，对此我们深感意外。利布拉图斯并非依据人类数据进行训练，在此之前从未与人类玩家交锋过。故而在此次对战里，它采用了自认为最为优化的策略。其策略极度独特，与人类所认定的最优打法大相径庭。超额下注乃其策略的关键部分，此外还有唐克下注。目睹人工智能做到人类无法达成之事，这着实令人难以忘却，同时我也颇为满足 。就在Claudico那里，这种进攻性已然有所展现，那时人们觉着，它在底池尚小之际就玩全押，实在是欠缺明智，我认定，这是一种搞错了的打法，这彰显出并未做好平衡，然而我却是这样来想的，从Libratus身上，我们已然目睹了相对合理的进攻性，而这，恰恰就是它取得成功的关键所在。

纸牌玩家 ：好多人都想要晓得这对于往后的线上扑克玩家而言意味着啥。您能不能讲一讲，起码是在当下情形下，为啥您所研发的人工智能不会对游戏的公平性构成威胁呢 ？

Brown表示，至少他能向众人保证，首先德信竞技，他们不会在线上运行Libratus，并且也并无这样的打算。其次，很明显，其他人会把他们所公开的技术应用于机器人当中，进而让那些机器人参与线上游戏。然后，关于机器人会怎样影响线上扑克玩家，他不会去做过多的推测，原因是他也确实不太清楚。最后，但他知道当下已经有机器人被应用到线上了，有些扑克牌游戏网站花费了很大的力气才试图实现在线上安置这样的机器人。他不知道在这场博弈里究竟哪方会胜出句号。

纸牌玩家：于赛事里缩减或者增添筹码的数目之际，对于比赛之后果能够产生怎样的影响呢？要是双方分别拥有五百至一千 。

倍大盲注的筹码，机器能应付的了吗？

布朗表示，之所以选 200 倍盲注，是由于年度计算机扑克竞赛采用此规制。每年，从事扑克相关的人工智能研究者会相聚对战。长久以来，人工智能玩好 200 倍盲注颇具难度。因为牌量增多，人工智能需做更多抉择。依其理解，200 倍盲注是人类玩德州扑克的上限。维持公平对等很必要，同时也应使人工智能玩得有难度。要是盲注数量减少，比如说仅仅只有100倍盲注，我觉得进行AI与人类对战的结果和当下呈现一样态势（要是不比当下更好的话）。倘若盲注数量增加，像是增加至500或者1000倍……说实话，我觉得结果依旧跟现在是一样的（要是不比现在更好的话）。这并非是由于对AI而言情形变得简单了，而是因为盲注增多，对人类而言变得复杂起来。我觉得人类没办法习惯500或者1000倍的盲注。当达到那个数量级时，Libratus所真正擅长的大规模超大投注也就是over – bets的重要性便会突显出来，我人类于超大投注方面不会比Libratus更具优势。

Card Player：对于那种能够让机器人去跟再多出一位玩家进行对战的别的玩法而言，AI研究员有没有在开展研究呢？

Brown称，在三人对战扑克方面存在着些许研究，总体而言，Libratus凭借现有的技术，哪怕再多增添两个对手也毫无问题，当下的关键并非技术，而是怎样去评判AI的表现，由于当存在两个以上对手时，即便AI运用的是最优的GTO策略，但它依旧可能输钱，原因在于其他玩家都存在或明或暗的串通情况，故而于游戏里让一个AI与五个人类玩家对战，很难去判定AI是否比人类做得更出色，这种评价方式是不可行的 。这构成了此次比赛我们采用一对一制的缘由，这同样是此次比赛结果于一对一游戏制度之下具备相当大意义的原因。我揣度当下无限德州扑克6人桌（Six-Max）略为超越了Libratus以及类似AI机器的能力 。

尽管这样说，年度计算机扑克竞赛正计划增添6人桌比赛项目，也因此这方面的研究很快就会启动。并且，我认定该领域会有着极为迅猛的发展态势。我觉得，伴随Libratus逐步取得进展，在两年的时间里你便能够目睹它于6人桌比赛中击败人类。当你参与6人桌游戏时，是否采用GTO策略确实难以判定，这是由于进攻实力较弱的对手的打法或许会产生更佳的效果。AI扑克研究圈子当下也在探讨这一要点，然而尚未得出结论。不过，在针对弱者并对其弱点展开攻击这一方面，终究是人类具备更大的优势。

via：cardplayer

【兼职召集令！】

要是你心里头对未来满怀那种可劲儿憧憬的感觉，还特别乐意去探寻那些能够改变世界的科技方面的进展情况，那就别再往别的地方瞧啦！

我们需要这样的你：

一位萝莉，同时也是萌妹子，还是技术宅，她精通英语，对技术与产品满怀兴趣，并且关注着人工智能学术动态 。

文字不求妙笔生花，但希望通俗易懂；

在这里，你会收获：

一群来自天南地北、志同道合的小伙伴；

前沿学术科技动态，每天为自己充充电；

更高的生活品质，翻翻文章就能挣到零花钱；

凡是怀有意愿的小伙伴们，将个人介绍发送至guoyixin@leiphone.com，或者呈上简历，要是拥有作品的话，一并附上也是非常欢迎的。