AI征服德州扑克背后：行业危机与几个人的20年

而在这背后呀，人类实际上已经尝试运用机器人去打扑克了，而且时间持续了很久呢，Bloomberg的这篇文章，其链接为（https://www.bloomberg.com/news/articles/2017-01-31/inside-the-20-year-quest-to-build-computers-that-play-poker），说不定能够助力我们更优地知晓这背后所存在的故事。原文标题是，Inside the 20-Year Quest，去打造能玩扑克的电脑，这里面略有删节。

有4位，是世界上最好的职业扑克选手中的，在一月时，于匹兹堡参加了一项比赛，可是却输了。他们每天早上11点会出现在电脑前，身着运动裤与球鞋，玩的是1500手的一对一无限下注德州扑克，之后一直玩到晚上，这表明他们每天的比赛时间超10个小时。在一天当中，咖啡和水瓶都堆放在玩家的键盘旁边，Chipotle袋子已散落一地，到处是吃的 。

每当这些玩家做出一个动作，该动作就会被传至距离此处5英里外的、位于卡内基梅隆大学的计算机服务器上。在那儿，一个信号会再行进12英里，抵达他们的对手——一款名为Libratus的软件处，这款软件运行在位于郊区的匹兹堡超级计算中心。Libratus一次发出8个动作，每个对手需应对其中两个。它特意降低自身速率，这使得它的人类对手们有些无奈，其中一位叫Jason Les的表示：「这让一天的时长变得更久了」。在这位名为 Les 的从事运动项目的男性看来，“等待的确是不应当对于我产生影响的，然而有的时候却好像是那种状况，即‘好了，这样下去究竟有没有一个尽头呢？！’“ 。

Libratus 固然无需休息，然而它与人类选手的差异可多着呢。赌桌上赌注金额增大时，人类会思索更长时间，计算机却恰恰相反，金额更小时它玩得更迟缓，因为需其浏览的可能性变得更多了。Libratus 还倾向于作出巨额的、突然的赌注，借由将钱不规律地投入场中，它也常常违背所谓的标准化赌博规则。

从人类玩家视角出发，这般行为是刺激且鲁莽的，从长远考量代价也高昂。然而，Libratus作为一个扑克选手，其主要属性是没有人类那些特质。当20天的比赛于周一结束时，人类已然损失了180万美元。是来自卡内基穆隆大学的计算机科学家Tuomas Sandholm和Noam Brown开发了Libratus，他们为计算机首次在这项世界最顶级的扑克大赛中击败人类而开始欢庆。

一直以来，人工智能专家们都把这些游戏当作开发以及测试的工具，在此之前，计算机在国际象棋里击败了人类，在跳棋中打败了人类，在西洋双陆棋上战胜了人类，在围棋中赢过了人类。扑克却有所不一样，一方面是由于几率方面的缘故，另一方面是因为你不清楚你对手所拿的牌是什么情况。这种被称作不完美信息类的游戏，需要那种属于人类的智能，像是去欺骗对手，以及体察到对手正在欺骗自己，然而这恰恰是计算机所欠缺的。

Noam Brown，于过去五年期间，始终在忙于开发AI应用程序，以此来针对扑克该项游戏进行破解 。

《完美的赌注》这本书的作者Adam Kucharski说道，无限制德扑就是你所看到的这项游戏，它甚至更被称作是一项艺术而非科学，人们长久以来也认为这项游戏暂时不会被机器染指。

然而，最近几周，上面那种想法破灭了。1月初，阿尔伯塔大学的研究人员发表了一篇论文，他们研发了一个名为DeepStack的AI程序，这个程序击败了11名专业的扑克玩家。DeepStack能不能战胜Libratus存在争议，Sandholm觉得自己家AI打败的人类选手比DeepStack的更强，阿尔伯塔大学计算机项目负责人Michael Bowling承认这一点，可他也觉得人类持续玩一个月游戏时是否还处于最佳状态有待讨论，而且DeepStack的胜率是Libratus的三倍。

但不管怎样，这两个人都觉得AI在扑克领域越过了一个关键门槛。对他们而言，这跟扑克这个游戏没多大关联；德州扑克只是他们为其AI程序寻觅合作伙伴的一种途径罢了；而通过此途径所获得的成果会反馈到像网络安全这类切实的应用里去。“我们主要基准是在这个项目战胜人类，但这些算法可不只是为了玩扑克”，Sandholm讲道，这位长得像盖茨的科学家曾是世界上排名最靠前的风帆冲浪运动员，“它们目标是通用的。”。

DeepStack 玩的是不同寻常的扑克游戏，玩这种游戏它是与单个对手相对，不同于一组玩家的情形，且每个玩家持有的筹码数量，会在每手牌之后重置，通过促使拥有更多筹码的玩家，逼迫较穷的玩家不得不进行大额度投注，从而消除了心理方面的复杂影响 。Libratus 玩的也是不同寻常的扑克游戏，玩这种游戏它同样是与单个对手相对，不是一组玩家 ，并且每个玩家持有的筹码数量，于每手牌之后重置，借助让拥有更多筹码的玩家，迫使较穷的玩家不得不进行大额度投注，进而消除了心理方面的复杂影响 。世界上最大的在线扑克平台 PokerStars 的发言人 Eric Hollreiser 觉得这使得 AI 给扑克行业造成的威胁受到了限制，他评论讲，“尽管从一手接一手那样的游戏功能层面来看，它的确对扑克游戏进行似的确模拟了，然而它距离赌桌上的实际情形还差得很远” 。

卡内基梅隆大学扑克项目负责人职位归属 tuomas sandholm,他担任此要职 。

还有相当数量的实验，是在受控程度更低的环境里开展的。在线上的现金游戏当中德信竞技，一旦科学家们在实验室制造出了一个机器人，这个机器人就会被投放到线上参与比赛。它们以往玩的大多是赌注很低的游戏，而且通常被视作技巧欠缺。然而在赌博行业分析师 Chris Grove 看来，机器人正朝着更高级别的竞赛进行拓展，他说：“要是你是一个在线扑克比赛运营商，这种机器人引发的问题，没准是你即将面临的首个欺诈问题。”。

实际上，扑克领域跟学术范畴已然默默地合作多年了。尽管众人都言辞含糊，然而既要尝试研发商业机器人的那些人，又要尝试战胜机器人的那些人，都在紧密留意着学术领域的动态。Bowling 的好些学生已然前往在线扑克平台开展工作了，其间已然至少有一个人售卖了用于在线游戏的机器人。

Sandholm说道，“当然，有许多参与赌博的人忧心这些机器人会致使互联网赌博这个行业走向消亡，原因在于众人担忧机器人会展现得出奇出色”，“这或许会出现，然而并非是我需要忧虑的事情。”。

这项工作背后有这些人

于扑克界的俚语里头，一个为你打牌的计算机程序称作「梦想机器（dream machine）」，在网络论坛之中，玩家们随时互换着任何可疑的机器人玩家信息呀。

持有PokerStars的加拿大博彩公司Amaya，专门雇了70人打击这种欺诈，员工呼叫玩家，要求玩家依据相关手牌描述会采取的策略，公司还向玩家发电子邮件，要求玩家制作视频，视频里用户得360度旋转相机展示周围环境，然后以手和键盘完全可见的样子玩一个多小时。

存在这样一种情况，即不用那种达到非常熟练程度的扑克机器人，就能为其运营者带来盈利，而这一情况对于这个产业而言，是颇为危险的 。不过 ，有一位位于英国的在线游戏公司Gamesys的扑克策略负责人Darse Billings ，他觉得 ，「梦想机器（dream machine）」和学术AI运用的是不一样的技术 ，并且它们试图去解决的挑战也是全然不一样的 。打败「坏」玩家 ，与打败精英玩家 ，绝对不是同一个概念 ，它们属于两个截然不同的问题 。

最了解扑克世界的人是 Billings，他比其他任何人都更了解，在 20 世纪 90 年代的时候，他获得了计算机科学硕士学位，之后成为了一名职业扑克玩家，目的是偿还他的学生贷款，几年过后，他回到了学校，与阿尔伯塔大学的计算机科学家 Jonathan Schaeffer 展开合作，这位科学家最为著名的成就便是编写了完美的跳棋程序，Billings 成功说服了 Schaeffer，让其把下一个目标设定在了扑克上。

Shaeffer采用了一种办法，用以解决跳棋问题，该办法从本质来计算每一步在相关情形下的最佳下法是怎样的，而不论这一点实际出现了什么情况，然而，这样孤立的计算运用于扑克时却行不通，因为扑克存在运气成分，玩家们无法掌控所有信息，于是阿尔伯塔大学的研究人员着手制定了一个总体战略，其中势必用到博弈论里的纳什均衡理论，即在一个两人玩法中，无论你的对手给出哪种回应，你皆能处于不败之地。

那均衡理论并非是那种单一的、理想的游戏方式模式，对于扑克来讲，对于均衡战略而言，其关键之处在于去发挥自身手牌所具备的那个最强潜力情况，与此同时，也要持续保持那种不可以被预测出来的特性状态。那个团队开发创造出了两个AI程序，其中一个是谨慎类型的AI应用，它被称作是Mr. Pink；另外一个则属于富有侵略特性的AI程序，它被命名为Agent Orange 。

有这样一种平衡理论，它将阿尔伯塔大学的Bowling吸引了，Bowling的专长是博弈论。Sandholm，当初是 Bowling 在卡内基梅隆大学毕业论文委员会的老师，于第二年转战扑克领域，他采用了类似的办法。2006年，他们两人共同开办了年度计算机扑克大赛，还开始定期与人类玩家进行对决。即便彼此存在竞争关系，双方也始终在收集对方的研究成果与见解。

过去几年里，这两个项目抵达了极限，2015年1月，Bowling团队发表了一篇论文，该论文展示了其解决一对一有限制德州扑克的办法，因一对一有限制德州扑克相比无限制更简单，玩家投注时会受到限制。Sandholm及其博士生Brown在过去五年一直投身于扑克AI，几个月前举办了第一届「Brains v. AI」大赛。他们有一台名为Claudico的机器人，它在与4名专业玩家，举行的8万手比赛里头，输掉了73.2万美元，Sandholm觉得这场比赛极其接近平局，他还宣称有一名玩家存在作弊行为。

在一些通用领域，Sandholm和Brown宣称他们的AI系统已然得到改善，Claudico于比赛前期呈现良好表现，然而却老是在手牌进入结束阶段时犯下错误，Libratus有多部分获得了改进，其开发者们也一直在对其持续性地加以改进 。

Jason Les，参加人机大战的扑克选手之一。

Libratus 的所有细节会在其开发者所发表的内容里展现，这种学术工作常以多样方式映射到现实世界的扑克比赛中。布朗称年度计算机扑克大赛已引入现金玩家，Bowling 也讲他自己的相关研究论文在机器人开发论坛留言板受欢迎，有一群人专门阅读这些研究资料并试图理解它们，他这样说道。

Billings于2008年进入扑克领域，他是从阿尔伯塔大学离开后仍从事研究行业的少数人之一，原因是他们中的多数被运行游戏平台的公司雇佣了。Richard Gibson是其中的异类，他创立了一家名为Robot Shark Gaming的公司，该公司开发AI程序去学习打策略型游戏。

吉布森于2013年完成了其博士学业，随后，一群职业游戏玩家找上了他，要求他帮忙开发一款可助其训练的软件。然而，吉布森仅知晓他们当中一人的名字，且从未见过任何一位客户。尽管他们没使用该软件在线赌博，但对他而言，这也算不上光彩的事儿”，他这样说道。

Gibson自行开发了好些程序，他又设计了软件用来展现不同策略间的有效性，在他盈利最多的那回年景里，Gibson就这个项目赚了差不多10万美元呢，而他的客户还得另外再拿出2到3万美元来构建所需的计算能力。

当然，上述那些匿名客户并非 Gibson 全部的客户。在一个案例里，他讲有人给了他几万美元，要他在 6 个月时间内开发一个轻量级的扑克机器人。他没询问那个人要怎样使用它，他也不愿知道，不过具体设计却指向一个特定应用程序。“我的客户想要一个能独立加载到其笔记本电脑上的东西”，他说道，“我猜他们正尝试在线上游戏中使用它们。”。

离全方位碾压还有距离

在匹兹堡，每到夜晚结束之际，Les及其扑克队友们，会一边订外卖，另一边依据当天出牌的数据，去搜索Libratus的弱点。月初时，他们每天早上醒来都满怀乐观，缘由是他们总能拥有一些新技巧，“前几天我们发现了具体的漏洞”，Les讲道，“我们持续攻击它们，然而现在已经结束了。”。

Libratus 同样在进行着调整，于白天期间，该程序会将自身裂变为两个部分，其中一个部分在前方展开比赛，而另一个部分则着重负责 Sandholm 所提及的“持续性的策略提升”，到了夜晚时分，程序便会丝毫不少完全关注于策略部分，运用超级计算机的 600 个节点去展开分析计算，这等同于大约 3,330 台高端 MacBook 一同进行协同工作。

在扑克里，跟其他游戏一样，计算机已研发出可过滤给人类玩家的策略。如同Les讲的那般，他尝试找寻一些能适配Libratus不规则投注的法子，然而这极为困难。“很容易理解，我们便是欠缺那种心理能力去那般做”，他讲道。

要是人类已然收获了像其计算机对手那般卓越非凡的能力，那么诸如 Sandholm 和 Bowling 这类人的实验室便会遇到几近相反的状况。与专业选手展开一对一竞赛是另一关键所在，然而当下我们尚无确切无疑的法子令 Libratus 和 DeepStack 得以在与一群存在缺陷的普通民众竞赛时笃定能赢。这是因为，在多人比赛的时候，AI使用的均衡策略将失效，此时，你考虑的不是给出完美一击，而是要去确认另外还有哪些对手存弱点。先是要发现在那里，然后再去认定那个存在，如此这般，这些作为才会合于一种要求进而能确认为是弱点。

在若干年前的时候，Bowling开展了一项实验，此实验是他让三个机器人彼此进行比赛。其中有两个机器人运用那种与他们实验室最为接近完美战法的策略进行比赛，然而另一个机器人被设定成粗心莽撞式的。当这场比赛结束之时，那个最愚笨的机器人损失了些许钱财，有一个完美型的机器人赚取了数量最多的钱，可是另一个机器人却亏损了数量也是最多的 。

“这着实是极具难度的部分。要是你清楚坐在你对面的，是一个不怎么出色的机器而非人类，你会怎样去阐释这些比赛呢？”Bowling讲道，“因而你务必得为其做好准备。”。