独家专访德州扑克算法开发者卡内基梅隆大学布朗博士：AI如何击败人类顶尖扑克玩家？

上个月，上演一场单挑无限注德州扑克人机对战，其中，卡耐基梅隆大学所研发的AI程序Libratus登场，它每100手能赢对手14倍大盲注，也就是14bb/100，最终，竟完胜世界级人类玩家团队，这一幕，震惊了所有在场人员 。

挑战赛总共进行了十二万手，最终Libratus获得了一百七十七万六千二百五十个筹码，接近九十次买入。尽管人类玩家大败亏输，然而幸运之处在于他们并不需要实实在在地个人掏钱把输掉的钱付给赢家Libratus（尽管他们前来参与这场对抗赛也需要交纳费用）。

Noam Brown这位CMU博士评价说，Libratus堪称“AI扑克界的圣杯（the holy grail ）”，它是由Noam Brown和CMU教授Tuomas Sandholm共同研发的，是CMU这一系列扑克机器人里最新的一款，在此之前，没有任何机器人能够在单挑无限注德州扑克中打败世界级人类选手。

在Brown的认知范围内，Libratus存在相当大的发展可能性空间具体表现为，从理论层面来讲，升级版的Libratus能够达成50bb/100的成绩，译者注释为升级后的Libratus每100手能够战胜人类对手50倍大小盲，这意味着还有3.5倍的潜力挖掘空间。近日，世界知名扑克牌杂志Card Player针对Brown展开了专访，涉及了解AI扑克研究的历史发展进程以及未来走向等相关问题。以下是雷锋网进行的编译标点符号。

Brown

Card Player

：您对这次对战结果感到惊讶吗？

Brown

实际上，我着实挺诧异的，我未曾料到AI能够胜任得这般出色。先前，我们为了测验AI成效，安排它与Claudico进行过对抗，其结果是Libratus以10至12bb/100击败了Claudico，此成绩优于2015年Claudico与人类对抗的成果，那次对抗中AI输给了人类选手，不过二者差距不算大。故而我们存有这样的感觉，在此次人机对战之中，Libratus具备的胜算会相对性大那么一些，然而却无法确切知晓究竟会取胜到何种程度。所以当此次结果得以呈现出来之际，我们对于AI能够呈现出那般卓越的表现感到极为诧异。

Card Player

那么实际上那个时候你们是觉得，人工智能还不能够凭借14bb/100去战胜人类对不对，是这样的吗 ？

Brown

是这样的情况，我们并不清楚，人类究竟相较于Claudico厉害到何种程度，存在着多少是AI需要去提升的部分 ，还需说明的是，在2015年那场对战当中，人类选手发觉并且十分充分地利用了Claudico的漏洞，句号。

比方说，他们致使Claudico多次运用“溜进”这种战术，（译者注：limp，翻牌前专用名词，此为玩家不做任何加注，仅仅只跟进1倍大盲注的情况） 。

这一招具备显著成效，是人类玩家击败Claudico的核心要点。然而，Libratus并非借助利用对方弱点获取胜利。在Libratus与Claudico对战之际，Libratus能够于不利用后者弱点的情形下，以10至12bb/100的比例战胜Claudico，这表明倘若Libratus不存在任何弱点，便会比人类更为强劲。而Libratus此次成功打败人类，其缘由就在于它不存在任何可供人类利用的弱点。

Card Player

当人类玩家紧紧追赶比分，使得对战进入到白热化阶段之际，你是不是在思索对手或许已经寻觅到了Libratus的弱点，抑或是说依旧满怀信心呢？

Brown

即将迈向第一周比赛的尾声阶段，双方态势近乎持平。人类参赛选手于第一周之际，针对Libratus怎样去调整比赛策略、其擅长之处究竟在哪等情况，展开了一连串的猜测。他们并未仔仔细细地与我探讨他们所预计的战局走向到底会是怎样的具体情形，然而就我所听闻的部分情形而言，他们貌似是期盼借助数据去找出Libratus的特定打法模式，剖析它的不足之处以及优势所在。因而，总体来讲我并不怎么忧心忡忡、顾虑繁多。他们觉得AI存在若干某方面的瑕疵，可实际上并非如此这般。例如，在某一天举行的比赛里，参赛的他们当中有80%都选择了再加注，也就是进行三次加注，这是three-betting所表达的意思，究其原因，从相关的数据方面去看，他们判断AI在应对特定的加倍打法也就是三倍打法时，不太具有优势，这种三倍打法对应的尺寸是特定的，叫做three-bet size。然而，我却并不觉得这属于一种明显的缺陷不足之处，不过是他们所获取的数据当中存在着一些干扰信息而已。他们在比赛推进的过程里所得到的数据，致使他们最终得出了这样的一种结论。但实实在在地，他们也察觉到了其中所存在的一些问题。就像Libratus在应对特定的开局下注时，对于所需要的大小尺寸，对应得并不理想。我们在比赛之前觉得这并非是个需要特别重视的问题，然而实际情况表明，此一弱点具有极其严重的后果。还好AI存有应对策略，趁着当天夜里对手进入睡眠状态之际，AI即持续性地展开训练，通过弥补自身存在的不足来避免对手日后再度利用这一缺陷，所以你瞧见了，自第二周起局势便开始发生变化了。

Card Player

这次进行的微调整，对于在那之后的比赛而言，是不是具有重要性呢？鉴于人类选手也会相互协同起来展开作战，进而去讨论战略性的问题，那么，这次所做出的调整，是不是加大了对战当时的难度呢？

Brown

不是说这里面存在着挺多误解，AI微调并非是让我们使它再加注的次数增多，也不是提高加注倍数，而是鉴于对手在翻牌前以及翻牌时老是下不同大小的注。AI程序清楚怎样回应2倍、2.5倍或者3倍的开局下注。然而要是对方以2.75倍开局，那么AI就会将2.75约等于3，故而它的回应还是相对准确的。如此这般的做法虽说不能算不合理，可要是它能够不进行四舍五入的话，效果应当会更好。当晚，它整夜训练自己，训练内容是如何回应2.75倍的下注 。它下注的大小由算法决定，算法能根据对手下注次数最多倍数，以及这个数字与我们事先设定的一些数目之间的距离，为对手下的注分出优先等级 。所以，这就是微调所做的改变 。这也是算法中的关键部分，它能让AI一步步依据人类打法改变自身路子，而非如他们之前猜测地去利用人类弱点 。

Card Player

难道我们可以这么讲，在转牌圈也就是the turn的时候，以及河牌圈也就是the river的时候，Libratus所做出的回应，并不像在翻牌前以及翻牌时所做出的回应那般具有重要性吗？

Brown

当处于转牌圈之际，当处于河牌圈之时，此时你会发觉，AI 要耗费时间去思索后续的动作。这段时间极为迅速致使得有的人或许并未留意到。实际上，每当人类对手于转牌圈进行下注时，每当人类对手于河牌圈进行下注时，它都需再度计算策略。如此一来，不管对手怎样施展招数它都能够予以完美回应。故而 AI 一定要预先去计算一系列不同的下注大小，并且将其放置到游戏树（game tree）里，然而预先计算的无法应对转牌圈，无法应对河牌圈，因为这两个是需要实时计算的策略。（译者标注：游戏树，就是在组合博弈理论里，用于体现一个赛局之中，各种后续具备可能性的树） .

Card Player

这个实时计算的能力，是不是Claudico所欠缺的呢？又或许是做得不那么尽善尽美的地方呢？

Brown

Claudico能于河牌圈开展实时计算，只是在如下几个方面较为薄弱。其一，它未考量阻断牌，也就是自己所需的牌在他人手中。其二，为了运行得更快，它要将几手牌组合起来，此后再加以区别对待。其三，基于此它或许会觉得，黑桃A带三张黑桃跟梅花A带三张黑桃是相同的，即使这两种牌理应区别对待。

Claudico的最终游戏解算机，也就是end-game solver，会针对大量的实时下注开展计算，然而不会在人类每次下注之际进行再计算。我觉得，针对人类每次下注进行再计算这一行为，对于Libratus此次的获胜起着关键作用。同样地，这次我们能够在转牌圈起始之时就对这种计算予以扩展。这种所采用的做法，其计算量是更为之庞大的，原因在于当下的AI，是需要去处理大概50种存在不同可能性会出现的河牌圈，而且在游戏结束的这个阶段，也就是每一手牌的这个时段，可能会出现的行动数量，也是呈现出指数级的态势在增长。所以说呢，要是想要如同有效去扩展这种全新的算法一样，新程序的计算成本，相较于Claudico，那可是要贵到1000倍之多的。

Card Player

Libratus究竟要到什么时候，才能够打出一个毫无瑕疵的、符合游戏博弈理论里最优化策略标准的GTO呢？对于像Libratus这样的机器，你们接下来还会推出多少个不同版本呢？

Brown

没人清楚，AI距离打出博弈理论里的最优化策略，到底还有多远。我们存在诸多计算这一数值的方法，然而代价极为高昂，所以直至如今都尚未达成。或许我们明年会着手进行尝试。要是非得让我作出推测，我猜想博弈理论中的一个最优化策略，能够以15bb/100战胜Libratus。这是我的大致估量，范围应当处于5至50bb/100之间。

Card Player

：哇，所以这类AI还是有很大提升空间喽？

Brown

这难以确切表述。以往AI存在致命缺陷，即在转牌圈和河牌圈时，未将阻隔牌纳入考量范围，而这处于高水平对战里，着实相当关键。然而，Libratus不存在此类问题。它于每个转牌圈以及河牌圈当中，会特意针对每手牌的情形予以考虑，与先前的AI相比较，此种做法使得Libratus的表现取得了飞跃式的进展。

就区分阻隔牌这一情况而言，Libratus没太大提升余地了。然而在怎样去挑选下注数额这个方面，还是能够有所进展的。我不太容易讲清楚它能进步到何种程度，不过我推测或许会达到15 。

Card Player

有些人觉得Libratus于转牌圈以及河牌圈的超额下注，也就是over – betting，极具进攻性质，你会不会觉得AI在这些方面已然抵达完美水准，或者讲在怎样平衡下注这事儿上依旧存有能够改进的空间呢？

Brown

比赛时它能超额下注，对此我们很意外，Libratus不是依据人类数据训练而成，之前它从没和人类玩家交过手，所以此次对战，它采取自身认为最优的策略，此策略十分独特，与人类所认为的最优打法差异极大，超额下注是该策略的重要部分，另外还有donk bets，能目睹AI做到人类做不到的事，这着实令人难忘，我颇为满足 。Claudico身上早就体现出了这种进攻性，那时人们觉着它在底池尚小时就玩全押是非常不明智的。我判定它此乃错误打法，是未做好平衡的呈现。可是我觉得从Libratus身上我们已然见到了相对合理的进攻性，而这亦是它成功的关键所在。

Card Player

有许多人都十分想晓得这对于未来的那些线上扑克玩家而言究竟意味着什么。您可不可以讲一讲，起码是在当下这种情形之下，为什么您所研发出来的那个AI不会对游戏的公正性构成威胁呢？

Brown

最少我能够向众人保证，我们不会于线上运行Libratus德信竞技，并且也不存在这样的打算。然而很明显，其他人会将我们公开的技术运用在机器人里面，还会让它们参与线上游戏。至于机器人会怎样对线上扑克玩家产生影响，我不会去做过多的推测，因为我确实不大清楚。不过我晓得现在已经有机器人被应用于线上了，有些扑克牌游戏网站花费很大的力气想要在线上安置这般的机器人。我不晓得在这场博弈当中哪一方会获胜。

Card Player

在比赛里头，减少筹码数量，或者增减少筹码数量，这对比赛结果会产生啥影响呢？要是双方分别有500到1000 ， 。

倍大盲注的筹码，机器能应付的了吗？

Brown：

我们之所以选择200倍盲注，是由于年度计算机扑克竞赛采用的是此规制。每年，从事扑克的AI研究者都会聚集起来相互进行对战。长久以来，AI都极难将200倍盲注玩好。原因在于牌的数量越多，AI就需做出更多的选择。依我的理解，200倍盲注是人类玩德扑的上限。使公平对等得以保持是很有必要的，不过同时也应当让AI玩起来具备难度。假如盲注数字的总量呈现变少的态势，举例来说仅存在100倍盲注这种情况，我持有这样的观点，即AI与人类展开对战所产生的结果和当下这一状况相同（若不是比现在更好的话）。要是盲注量出现增多的情形，比如增添至500或者1000倍……坦率而言，我觉得结果依旧和现在保持一样（若不是比现在更好的话）。这并非是由于对AI来讲状况演变成简单的了，而是因为盲注数量增多，对于人类而言变得复杂起来了。我并不觉得人类能够适应500或者1000倍的盲注标点符号。到达那个数量级别之时，Libratus切实擅长的大规模超大投注，也就是over – bets的重要意义将会彰显出来。我的人类身份在超大投注这一方面不会比Libratus更具强势。

Card Player

使机器人与再多一位玩家进行对战，存在着别的玩法，AI研究员有没有在对其展开研究呢？

Brown：

对于三人对战扑克，已经存在了某些方面的研究。总体而言，Libratus凭借现有的技术，哪怕再多增添两个对手，也不会出现问题。当下存在的状况并非技术层面，而是在于要怎样去评估AI的表现。由于当存在两个以上对手时，纵然AI运用的是最佳的GTO策略，然而它依旧会输掉钱财，这是因为其他玩家都存在或明或暗的串通行为。所以在游戏中，让一个AI与五个人类玩家对战，很难去评判AI是否比人做得更为出色。这样的评价方式是不可行的。这同样是致使此次比赛我们采用一对一制的缘由，这亦是致使本次比赛结果于一对一游戏制度之下具备相当大意义的原因。我觉得当下无限德州扑克6人桌（Six-Max）稍微超越了Libratus以及类似AI机器的能力范围。

话说回来，年度计算机扑克竞赛正计划增添6人桌比赛，因而这方面的研究很快就会启动，并且我觉得该领域会飞速发展。我认为，伴随Libratus逐步取得进展，两年内你便能目睹它在6人桌比赛里战胜人类。当你参与6人桌游戏时，是否采用GTO策略实在难以判定，因为应对进攻较弱的对手，打法效果或许更佳。AI扑克研究圈当下也在探讨这一情况，然而尚无定论。但在针对弱者及攻击对方弱点层面，人类更具优势。

via： cardplayer