CMU对话扑克AI团队：解密1+2架构，不攻则不败

放下想赢的执念后，AI赌神再没输给人类。

这个被称作AI赌神的存在，其拉丁名为Libratus，中文名是冷扑大师，今年1月，它于美国战胜了四位顶级人类德扑玩家，进而赢得了176万美元（虚拟货币），。

时至当下，冷扑大师受创新工场李开复之邀请，来到国内，它将会与6位龙之队高手展开一场为期六天的鏖战，。

为了这个，在几天之前，量子位去到了美国宾州匹兹堡那儿名为卡内基梅隆大学的CMU，进行了独家的一番对话，对话对象是Libratus的两位创造者，分别是Tuomas Sandholm教授，还有他身为博士生的Noam Brown。

向量子位，这两位人工智能领域卓越的学者，向其讲述Libratus于扑克人机大战里战胜人类的缘由，那套强大系统到底依据怎样的架构，运用何种技术，又是怎样进行训练的，成本究竟是多少……

推倒重来

春天的匹兹堡，时晴时雨，温度变化剧烈。

Gates-Hillman Center在卡内基梅隆大学内，走进其中，位于九层的Tuomas Sandholm教授办公室十分显眼，显眼于门口张贴着一张今年1月德扑人机大战的红色海报。

办公室门口的海报

Sandholm用带着芬兰腔的英语说，开战之前，他完全不知道结局会怎样，当时他感觉五五开，Libratus的胜算稍大了那么一些，然而线上赌博网站可不这么认为，他们开出大约1：5的赔率，认定Libratus也会倒在匹兹堡的河流赌场里。

也会是这样吗，可以肯定。Libratus并非毫无缘由就出现的，在2015年4月，它的前身Claudico是在 precisely the same casino中，输给了四位人类高手。在当年，Sandholm同样觉得存在五五开获 胜几率 。

2014年8月，Noam Brown刚刚完成硕士学业，他继续留在CMU攻读计算机科学的博士学位，当年，他和老师Sandholm一起开发出德扑AI：Tartanian7，以及后续版本Baby Tartanian8，并且连续赢得电脑对抗电脑的电脑扑克大赛的冠军。

如同外界所期望的那样，他们开始推动德扑人机大战。

两年前，那次为期两周的人机对抗里，Claudico累计亏损73.2万美元（此乃虚拟货币），它同四位人类顶级玩家交手，达8万手之多。

2017年1月11日，全新のLibratus再度登场。依旧是四位人类对手，然而时长改成了20天，累计交锋达12万手。此次德扑AI没给人类玩家机遇，全程以碾压の态势霸气豪取胜利。Libratus对四位人类高手の领先优势为：14.7个大盲注/百手（14.7bb/h）。

Brown，对量子位表述称，“一般而言，领先为5 – 10bb/h这样的情况，就必定是赢了” 。

因了从完败转变至完胜这般情况，Claudico历经了怎样的提升，才得以成长成为Libratus呢？针对于此问题呢，两位开发者给出的回答是：Libratus并非是经由迭代演变而来的，而是通过推倒之后重新塑造生成的。

一个全新的德州扑克AI。

看不透的高手

在德扑这件事上，Libratus没有师父。

Sandholm以及Brown单单告知AI基础的德州扑克规则，接着Libratus便着手借助“左右手互搏”这种方式去学习该扑克游戏。与AlphaGo有差异，在人机大战之前Libratus未曾探究过人类怎样玩德州扑克，并且也不曾和人类职业玩家进行交锋。

在投身实战以前，Libratus自身进行了几百万次手牌对战，当中存在不少具备特定目的的残局形势，而真正属于机器与机器之间的交锋，大概是几十万次手牌较量。

所以，AI形成了一种与人类迥然不同的牌风。

“在德扑比赛里，顶级高手会试着找寻对手的弱点，接着展开攻击”，创新工场AI工程院技术VP李天放讲道。李天放有着技术背景，同时还是一名德扑高手。

今年1月德扑人机大战里有一位人类选手叫Dong Kim，他是28岁的韩裔美国人，他回忆称，Libratus每天都会进步，人类选手很难找出它的弱点或者漏洞，就算找出一个，第二天这个弱点或漏洞就会消失不见，这使他感到绝望 。

然而说不定他压根就感觉有误。“有人类玩家讲找到了破绽，实际上未必”，Brown朝着量子位说道：“这兴许是Libratus的一种战术，用以扰乱对方的谋略”。

Brown身后是他的电脑

要以非人之思维去度量AI。令人Sandholm记忆深刻的是，这场一月之时开展的德扑人机大战步入尾声之际，那时AI已然大幅领先，事事之人俱认定Libratus会趋向于保守。

Sandholm说，特别是最后几局，实在非常出人意料，然而它不但没有变得温和，反而愈发激进了。

比方说，为了一个极小的底池推了全下，或者下注额度仅仅是底池的十分之一。“有时候Libratus的策略会被视作臭手”，然而事后复盘时Sandholm讲这个德扑人工智能尝试了诸多令人赞叹叫绝的办法，其中涵盖了各种策略的诈唬。

诈唬也不是人教的，而是机器自己学会的。

怎么进行学习呢？Brown向量子位说道，“诈唬可是尤为关键的一项技能，系统于学习期间发觉，要是持有一手糟糕的牌时，直接采取诈唬手段能够赢得更多，故而它便学成了” 。

Brown坐在那，那是CMU标配的上一代Aeron座椅，他说，“这就是AI十分奇妙之处”，“还有很多人看到Libratus能诈唬，就觉着超厉害”。不过呢，在这位博士看来，诈唬这种看上去和心理有关联的人类技能，机器靠着算法是能够学会的。

打开AI的大脑

凭什么Libratus会比之前的那一代更加具备厉害之处呢，于何处取得了进步呢？Brown列举出了两个例子 。

比如说，针对于K – High Flush（也就是最大牌是K的同花），还有Q – High Flush（即最大牌为Q的同花），这两种手牌，对于Claudico来讲是具有同等价值的，然而Libratus却会做出一种精准的区分 。事实上，Libratus会针对每一手牌展开单独的处理工作，依据不一样的牌面制定出各不相同的战略 。

又比如说，针对250元的下注这一情况，究竟是当作200元去计算，还是当作300元来计算？那249或者251这种情况又该如何处理？事实上，Libratus并不会试图进行聚类，而是即刻马上进行实时计算，进而得出胜算最大的策略。

Sandholm讲解冷扑大师

Sandholm是以全局的视角，开启Libratus的头脑，针对量子位逐个阐释了构成此扑克AI的三个主要模块，其中一个是用于赛前的，两个是用于赛中的。

模块一：比赛之前的纳什均衡近似情况，被叫做这个名字 ，它是一种特定的概念 ，有着其自身的特点 ，在相关领域有着一定的意义 。

针对某一手牌对应的战略等最重要的博弈信息，此模块会进行抽取，之后应用强化学习等方法，继续寻求提高与改进。这里运用了一个新算法：蒙特卡洛反事实遗憾最小化。在这个模型的助力下，Libratus自行学会了德扑，且比以往速度加快。

模块二：Endgame solving（残局解算）

Libratus的最为关键重要的部分是这个，Sandholm讲道。事实上Claudico也存在着这样的一类模块，然而那个版本基本上是难有成效发挥作用的。并且新的版本不会再度给对手遗留下破绽缺失之处，这个进程持续不断地开展进行，在对手施展出新的策略招式之后，会接着持续展开全新的残局解算工作，这被称作Nested Endgame Solving。

对于德扑这种属于不完美信息博弈的情况，它没办法被拆解成能够独立去解决的子博弈，所以Libratus采用残局解算的方法来应对它，如果想要进一步深入探究的话，能够去查看Brown和Sandholm的论文。

模块三：自我持续地进行改进，这种改进呈现出强化的态势 。

比赛期间，人类高手会寻觅Libratus的破绽，进而开展具有针对性的进攻，此模块发挥的作用是发觉问题所处之地，探寻更多细节以实施自我强化，此后获取到一个更为优良的纳什均衡。

Sandholm称，第一个模块启用的新算法，此算法能抽取更多细节，并且较原算法更快，“三个模块都用了新的算法”；第二个模块所采用的算法是全新的；第三个模块有着全新理念，这理念有点类似那个似是而非的说法：防守是最好的进攻 。

Libratus不再去探寻发觉并运用人类对手的破绽，相反，这个人工智能开始留意人类察觉到它有哪些弱点，接着有针对性地进行弥补与提升。于是，Libratus的弱点越来越少，直至人类玩家懊恼地发觉，要想赢下比赛变成了一件近乎不可能达成的任务。

很少露出破绽是因不主动进攻，李天放讲跟Libratus对战如同打一堵墙，最好的结果大概是打个平手，基本没可能获胜，纳什均衡自身，追求的是一种平衡 。

Libratus是一个防守大师。

深度学习不是唯一

和围棋大师AlphaGo相较，Libratus存在诸多不同点，其中包含，Libratus未曾运用当下颇为热门的深度学习技术。

桑德霍尔姆称，深度学习属于一项相当不错的技术，然而在这个项目当中我们并未加以应用，原因在于深度学习无法给出绝对的保障。举例来说，在识别猫的图像时，针对给定的图片能够得出百分之九十五的概率是猫，可这并非绝对的保证，而我们所拥有的算法，则能够确保达成最为优异的结果 。

当然也有团队在用深度学习来搞德扑AI。

分别来自加拿大阿尔伯塔大学的研究人员，同时来自捷克布拉格查理大学的研究人员，以及来自捷克理工大学的研究人员，借助深度学习技术，开发出了德州扑克人工智能DeepStack 。

就两个德扑AI而言，不存在更优的比较方式，当下只能讲，相较于DeepStack的对手，Libratus击败的对手层级更高，其他方面在此不做深入探讨，该团队还发表了相关论文 。

Sandholm告诉量子位，对于这一类型的任务，我们的方案相较于深度学习更具优势，当前深度学习的方案事实上并未处理完问题，还有Libratus这个系统，它“时间越久，就会越趋近于完美” 。

针对这个问题，我们向CMU的机器学习相关的系里的邢波教授进行了询问，他表示，当下还不应该过分早地去下这样的结论，即深度学习就是机器学习后续发展的方向。

邢波向量子位表示，存在一个有力的证明，即人工智能并不等同于深度学习，有许多新的方法有待探索与了解，Sandholm教授并非从事深度学习领域，他所运用的方法实际上被视作传统的AI，然而却能够达成如此强大的功能 。

技术的争论还需更多的时间。

CMU校园一角

其实，对于Noam Brown而言，在研发Libratus的进程里，“最难的难题在于，得具备一个全面的观念。然而，这是个规模巨大的系统，要从计算以及解决问题的层面去思量，并非仅仅从博弈的角度出发。在这个历程当中，怎样将问题表述出来，这才是最大的挑战”。

对于Tuomas Sandholm来讲 ，最大的挑战在于 ，仅仅只有两个人 ，却要去完成所有的活儿 。

成本几何

龙之队队长是杜悦，包含杜悦在内呀，对于Libratus的成本，大家都是很关心的呢。

涉及成本这方面，关联着好些实际存在的问题，像距离实际投入使用究竟还有多远，又或者距离人工智能将德州扑克这个游戏破坏到底还有多长时间呢。

据量子位所提要求，Brown做了一番估算后表示着：若要运行Libratus，究其最低限度而言仅需50个笔记本便大功告成了。他又进一步作出解析声称着：针对一对一的无限注德扑比赛来讲，每一手都得借助50个CPU去开展运算操作的了呢。暂且先不去考量响应速度究竟怎样的情况之下，起码已然是能够达成计算之举的了 。

“此算法仍有可优化之处，加之计算硬件的进步，我认为在未来手机上或可实现运算”，Brown预估称或许五年内一部手机便能完成所有事务 。

而对于他的老师Sandholm来说，成本计算要复杂得多。

起先，他将这视作一场时长为13年的挑战，先前所有的探寻以及付出，才最终造就了如今的Libratus，Sandholm推测在过去这些年份里，单是付给学生的薪资就必定有1000万美元，而Brown仅仅是众多学生当中的一员。

其次具体到Libratus，眼下主要是运行成本。

要运行这个被称作德州扑克AI赌神的存在，所需凭借的是匹兹堡超算中心的Bridges超级计算机。 在今年1月那次人机大战开展之前，Libratus于超算之上进行训练所产生的成本是1500万核小时（core-hour）。 而在比赛那段期间，其耗用的核小时数超过1000万。 最终总共耗用了1900万核小时的计算资源。

Sandholm称，他们所使用的服务器具备28个核，因而一台服务器运行一小时便为28核小时，倘若处于亚马逊云服务之上，大约需1至3美元德信竞技，且Sandholm表示他们总共使用了上百台服务器。

Nystrom介绍匹兹堡超算中心

向量子位证实匹兹堡超算中心高级研究总监Nick Nystrom，Libratus用了150台服务器。但因是研究型项目，Sandholm实际上无需付费。句号。

有没有可能在笔记本上运行Libratus呢，Sandholm笑着表示，可以搞个简化系统装到笔记本上，不过这也仅仅能成为一个有意思的小培训罢了。不管怎样，Sandholm称普通人“要想用这套系统没那么容易” 。

与其相较而言，DeepStack 在训练之时运用了 175 个 core – years。然而听闻 DeepStack 在比赛这个期间，仅仅只需一台笔记本便足矣。

未来何往

德扑AI的牌技还能更好么？

当然了，Sandholm讲必定存在着进步的空间。杜悦十分在意Libratus距离扑克之神究竟还有多么远，什么时候能够达成GTO（博弈理论里的最优化策略） 。

这个问题上，Brown猜测，Libratus跟GTO的差距是15bb/h，Libratus自身牌技能够提升到50bb/h的水准。Sandholm称“没人晓得Libratus能达到何种深度”。Brown表示他不会再对这个德扑AI予以优化，他正面临博士毕业的抉择。

现今这个德扑人工智能，仅能够去玩一对一的德州扑克，虽说它能够同时对多场予以处理，然而每一场也都仅仅只能是一对一的形式。那么它还会进行一对多的升级操作吗？

Sandholm与量子位交流

Sandholm告知量子位，我们存在着一些想法，当前Libratus所基于的纳什均衡理论，主要是针对两个人进行博弈的情形。Sandholm称多玩家系统里，第一个模块怎样去界定是个难题，他表示要是变成三个人进行博弈，纳什均衡理论是否适用，当下自己还不是很明晰。

不过仅仅是一对一的德扑AI，也有相当的商业前景。

现实世界里，充满了各种各样不完美的信息博弈，像是企业相互之间的商业谈判，网络安全方面的情况，医疗方案的制订情形等等，Sandholm正在针对要如何进一步释放Libratus的能量展开着思考。

近日，卡内基梅隆大学计算机科学学院Andrew Moore院长，在接受腾讯科技/新浪科技采访时，如此展望Libratus的未来，他表示，他最喜欢的商业用途，无疑是商业谈判，能够借助人工智能，在最合适的时间，以最合适的价格，寻找到最合适的供应商 。

现在，Sandholm教授得到了NSF，也就是美国国家科学基金会给予的，为期三年的一笔新投资，这笔投资用于资助他持续基于Libratus开展相关研究。当下，Sandholm教授还在推进一项针对T细胞的医疗研究，该研究是将癌细胞注射进小白鼠体内，以此查看他们的治疗方案是否正确。

就算往后Libratus呈现出怎样的状况，Sandholm都将会持续在博弈这条道路之上迈进，。

Sandholm于人工智能以及自动谈判方面，展开研究的时长超过了28年，其在该领域最初所取得之成果，得从1989年左右往前追溯，那时他构建了一套能够自动为卡车司机进行谈判以及分配任务的系统 。

比赛看点

最后，再聊聊即将开战的冷扑大师vs龙之队。

日前，在IT领袖峰会期间，李开复针对这场比赛表示，龙之队的胜算是百分之十。然而，Sandholm认为这个概率仅是百分之五 。

形容Libratus，Sandholm现在用“战无不胜”这四个字。在他眼中，人类最好玩家之上是德扑AI的水平。

可是，究竟是为何，最终给出的依旧竟是5%这个数字呢？他所阐述的理由为：此次展开的对抗，仅仅进行36000手。

Sandholm称，“几乎能够确认人类存在有机会获取胜利的情况。并且会存在相当程度的得以取胜的机会。双方进行博弈的手数数量越多，强大一方获取胜利的可能性就越大；手数数量越少，弱小一方获取胜利的可能性就越大”。举例来讲，仅仅进行一手牌的较量，不管双方实力差距有多么大，弱小的一方都拥有得到胜利的50%的机会。

Sandholm坐在电脑前

除了胜负，这场对抗还有什么看点呢？

首先，德州扑克属于不完美信息的博弈类型，这与跳棋、围棋等比赛有着全然不同的性质。存在诸多你难以想象的要素，这些要素会对赛局结果产生影响。

其二，如果冷扑大师要让对手根本没法猜到自己手里拿着啥牌，就得运用诈唬、下注等手段，而整个博弈正是这些环节的精妙平衡。

第三，冷扑大师会有这般极为不同于平常任何情况的下注，是那种在德州扑克里向来都绝对不会出现的大额下注以及小额下注，还会进行进行donk betting，也就是反着常规的主动下注方式啊。最后说一说这个德扑术语的意思，那就是，原本处于跟注状态的玩家，在紧接着下一轮将要发出新牌的时候，会抢先一步去进行下注啦。

Sandholm向量子位表明，这个德州扑克AI并非会有着线性的发展态势，有可能在紧接着的下一手牌出现之时，会陡然变成极为冒进的状态 。

因此，就拭目以待好了。就像开头那段视频讲的那样：“冷扑大师，出现了”。这边是一句完整的表述，这边是另一句完整的表述 。