解读德州扑克AI原理，了解德州扑克set背后的秘密

解读嘉宾是田渊栋，他是Facebook人工智能研究院的研究员；他亦是Facebook围棋AI程序DarkForest的首席工程师以及第一作者；他还是卡耐基梅隆大学机器人研究所的博士；他曾出任Google无人驾驶团队的软件工程师；他曾获得国际计算机视觉大会，也就是ICCV马尔奖的荣誉提名。

这是“一对一无限注德州扑克”游戏（Heads-up no-limit Texas Hold‘em），第一步就得给确认一下。“一对一”指的是我跟你二人参与的零和游戏，存在我输钱你赢钱，以及我赢钱你输钱的情况，别于一众玩家围坐一桌且设有庄家的那种。“无限注”意味着你每次下注时，并非必然是之前的整数倍数，而是能取任意数值 。

有两个极为厉害的扑克AI，其中一个是CMU的Libratus，另一个AI名为DeepStack、运用的是一样的框架，即一个称作Counterfactual Regret Minimization（CFR）的框架，简单来讲就是将游戏里碰到的可观测状态（称为信息集Information Set）全部罗列出来，接着针对每个可观测状态，凭借最小化最大悔恨值的方式，寻得对应的策略，随后不断反复迭代。

CMU

Libratus

从2017年01月31日开始，它展开了长达20天的比赛较量，期间它战胜了Jason Les、Dong Kim、Daniel McAulay和Jimmy Chou这四位极为厉害的扑克玩家，它玩了12万手一对一不限注规格的德州扑克，到比赛结束之时，人工智能在筹码方面领先人类选手足足有共约177万美元之多 。

Libbratus未采用深度学习，他们运用了End – gamesolver，鉴于德扑一局时长较短，或许仅历经几个回合便结束，故而能够自下而上构建游戏树，这样做益处在于，最底层节点处游戏树的状态较易算出，借此反向指导上层游戏树的设计。再者运用了蒙特卡罗方法，标准的CFR每当进行迭代之际，需将整个游戏树予以搜索，这对于稍有复杂程度的游戏而言是无法被接受的德信竞技，鉴于其为指数级复杂度，故而采用蒙特卡罗方法，每次挑选一些节点去更新其上的策略。另外有一种情况是，通常来讲我们于进行游戏之时常常会思索如何去利用对方的弱点，然而实际并非如此。更佳的办法是，我力求让他人发觉我的弱点，而后依此我能够去改进它，使之变得愈发强大。换用术语来讲，便是去计算一下对手的最优应对，也就是Best response，使得对手得以利用你的弱点，接着借助这个反过来提升你自身的水平。

DeepStack

那由加拿大阿尔伯塔大学、捷克布拉格查理大学以及捷克理工大学一同训练出来的AI系统，和11位职业扑克手展开了3000场无限注德州扑克比赛咧，其胜率竟然高达10/11哟，不仅如此，它们在网上还参与过一些大型职业比赛呐。

在我们所看到的情形里，DeepStack的基本流程呈现为和AlphaGo以及国象的某种混合样式，也就是有着一种有限深度的搜索过程，并且还加上了运用值网络来进行估值。详细来讲，先是从当前所处状态开始，朝着前方去查看三四层的子树，接着在最底层运用值网络来估量一下值（判断谁优谁劣），随后借助通常的CFR去求解这棵子树的最优策略。就值网络而言，每个人持有两张手牌，从52张里选2张，会出现1326种状况，然而每种状况都带有概率，以此作为输入内容。此输入同时还涵盖当时的筹码数量以及公共牌。其所输出的，是于每一种手牌情形状况之下，所估计得出的那个值函数也便是反事实价值会是多少的这样一种数据 。

本文转自新浪科技，是田渊栋演讲关于德州扑克部分的节选。