田元东：扑克AI原理解读应该和AlphaGO一样受到关注

为了将人机大战潜藏的奥秘毫无保留地彻底揭开，在地平线大牛讲堂的机缘之下，有幸得以邀请到，那支曾于UEC打入决赛的队伍之中的，身为Facebook围棋AI程序DarkForest的首席工程师，同时也是该程序第一作者的田渊栋博士，来为我们展开一番深入探寻，本文是经由奕欣以及亚萌共同进行精心整理的，并且由田老师亲自进行了审核以及编辑的工作，特在此致以诚挚的感谢。

嘉宾介绍

作为田渊栋，身为 Facebook 人工智能研究院的研究员，还是 Facebook 围棋 AI 程序 DarkForest 的首席工程师以及第一作者，同时是卡耐基梅隆大学机器人研究所的博士，并且曾在 Google 无人驾驶团队担任软件工程师，还获得了国际计算机视觉大会（ICCV）马尔奖的荣誉提名。

本文是田渊栋演讲关于德州扑克部分的节选。

德州扑克

接下来，我们来讲一下德州扑克这件事。首先呢，我们需要去确认，这是一款名为“一对一无限注德州扑克”的游戏，也就是（Heads-up no-limit Texas Hold‘em）它所指的那种。其中，“一对一”所表达的意思是，这是一场仅存在我和你两个人参与的零和游戏，存在这样一种情况，即当我输掉钱的时候你就会赢得钱，反之，当我赢得钱的时候就是你输掉钱，它并非是那种有很多人在同一张牌桌上，并且还会有人充当庄家的情况。多人参与的游戏要比这种难得多，主要原因在于，当下所采用的办法，在多人参与游戏的情形下，并不能确保达成相应的效果，而且状态空间也会增大许多。

“无限注”指的是每次你参与下注之时并非需为之前的整数倍，而是能够为任意数。而有限注德扑呢，是每次下注之际，要成倍数地进行下注。“有限注”的问题早在两三年之前便已获得解决，那时发布了一篇Science文章。那篇文章实际上本应当会如同AlphaGO那般得到极大的关注，可是不清楚因何缘故，当时却并没有 。

存在两个极为厉害的扑克AI，这两个所运用的皆是同样的框架，此框架名为Counterfactual Regret Minimization（CFR），简单来讲，就是将在游戏里碰到的可观测状态（此状态被称作信息集Information Set）全部罗列出来，接着针对每个可观测状态，借助最小化最大悔恨值的方式，寻找到相应的策略，随后不断反复迭代。

一个是CMU的Libratus，它进行了为期20天的比赛，战胜了4个极为厉害的扑克玩家 ，（AI科技评论网按：在2017年1月，Libratus参与了12万手一对一不限注的德州扑克 ，到比赛结束时，人工智能领先人类选手共约177万美元的筹码 。）。

另外还有一个名为DeepStack的，（AI科技评论按：由加拿大阿尔伯塔大学、捷克布拉格查理大学以及捷克理工大学共同训练的AI系统，其与11位职业扑克手展开了3000场无限注德州扑克比赛，胜率高达10/11），该系统在网上也参与过一些大型职业比赛。

CMU Poker bot

CMU Poker bot未采用深度学习，他们运用了End-game solver，鉴于德扑一局时长较短，或许仅历经几个回合便会结束，故而能够自下而上构建游戏树，如此一来的益处是，处于最下方节点的游戏树状态相对易于算出，借此反向指导上层游戏树的设计 。此外，他还运用了蒙特卡罗方法，标准的CFR在每次进行迭代之际，需将整个游戏树都搜索一遍德信竞技，这对于稍微复杂一些的游戏而言是无法接受的，鉴于其具有指数级的复杂度，故而采用蒙特卡罗方法，每次挑选某些节点去更新其上面的策略。另外还有一点，通常来讲我们在开展游戏之时常常会思索如何去利用对方的弱点，然而实际并非如此。更为恰当的做法是，我尽可能让他人察觉到我的弱点，进而依据此我能够去改进它，使其变得愈发强大。要说从术语角度而言，便是去计算一下对手的最优应对，也就是Best response，使得对手能够利用你的弱点，再者用这个反过来提升自己的水平。

阿尔伯塔大学的DeepStack

我们所见到的DeepStack的基本流程，是AlphaGo与国象的某种混合版本，也就是存在有限深度的搜索，还加上运用值网络进行估值。详细来讲，从当下状态开始，向前去查看三四层的子树，在最底层运用值网络估算一下值，也就是判断谁好谁坏，接着运用通常的CFR去求解这棵子树的最优策略。对于值网络而言，每个人有两张手牌，从52张里选2张，就会出现1326种情况，然而每种情况都存在概率，将这个作为输入。输入同时还涵盖当时的筹码数以及公共牌。其输出的是，于每种手牌的情况之下，预计的值函数（即反事实值）将会是多少。

根据新浪科技所传出的消息，在今年的4月，Libratus（冷扑）有着较大的可能性会来到中国这片土地，和中国的德州扑克牌手展开一场人机竞赛大战。

（文玄）