德州扑克被人工智能入侵了吗？刚刚进入围棋九路对弈

作者系理论物理博士，人工智能专家。新浪扑克学院特邀讲师

Sunday， 31 December 2017

余小鲁博士(右)在新浪总部大厦接受专访

不只是一个纸牌游戏——德州扑克AI的意义

和谷歌对围棋AI展开研究的情况相同，卡内基梅隆大学针对德州扑克AI进行研究，同样是“志不在此”，由于德州扑克里存在诸多与社会生活相类似的普遍难题，所以此项研究具备根本重要的意义。

德州扑克AI的意义

德州扑克AI的里程碑——Libratus（冷扑）

“Libratus”乃“balanced”的拉丁文形式，其意思为均衡，大陆那边将其翻译为冷扑，这个翻译相当巧妙，读音相近，并且这个人工智能玩德州扑克时极其冷，呈现出冷血的极致状态，下文会再详细解说。“balanced”是德州扑克网络革命这十年来最为热门的一个概念，它根源于数学的博弈论。我们在此不运用数学公式，尝试用通俗易懂的话先来阐释这个概念。

李开复等讲解德扑人机对抗

那么对于剪刀石头布这个游戏而言，究竟要如何去玩才能够始终保持不会失败呢，就好比说我是以随机的方式，百分之五十的概率出剪刀，百分之三十的概率出石头，百分之二十的概率出布，在这种情况下你又该如何去打败我呢，随机性其实并不是很难理解，就像我们能够去看自己所佩戴的手表，当秒针超过六点的时候就出剪刀，当秒针不到二点二分时就出布，而如果秒针处于其他情况时，则出石头，稍微经过一番思考之后就能够明白，你应该始终都出石头，也就是说在一百次的游戏过程当中，你平均会赢五十次，会有三十次平手，还有二十次是输的，单从统计算的角度来讲，我就被你打败了，从直观层面上讲我的这种游戏策略并不是均衡的 。鉴于此，我进行些许优化，我以随机方式，三分之一的概率出剪刀，三分之一的概率出石头，三分之一的概率出布，此策略无法被战胜，堪称为博弈论最优解（GTO）。进一步思索，该策略虽无法被击败，然而对手无论采用何种策略，我的结果皆相同德信竞技，既不会取胜也不会失败，换言之，我的策略致使能够不再关注对手运用何种策略（无差异阈值）。德州扑克的游戏架构比剪刀石头布复杂程度高得多，但核心观念是相似的。冷扑具备能冷以及能获胜的特性，其原因在于寻得每一种态势下可运用某种特定策略，进而能够不再关注对手所采用的策略，简而言之，便有效规避了德州扑克里猜来猜去的怪异区域。最大的差异在于，剪刀石头布的博弈论最优解的期望值为零。德州扑克在诸多局面下最优解的期望值是正数，这便是冷扑战胜人类牌手的数学基本出发点。

冷扑的三大模块 冷扑的策略

Libratus（冷扑）和人类牌手的比较

冷扑相较于人类牌手的优势

冷扑相较于人类牌手的劣势

冷扑与阿尔法围棋对比

德州扑克的理论

什么被称作理论？从抽象角度去讲，那便是由人去构造出一套概念框架，于这个框架范围之内开展逻辑演绎以此来对事物加以理解。拿围棋举个例子说说，我们由人构造出了一个名为“厚势”的概念。由人构造出来的这些概念通常会存在一定的模糊性，厚势或许能够先被定义成那种被认定为铁活或者不容易遭受攻击并且对中腹会产生影响的一些棋子组合。再进一步进行逻辑演绎，中国古代的人形成了一个理论称作“勿近厚势”。对方所拥有的厚势不要去靠近它，甚至就连自己所拥有的厚势也不要去靠近，不然都会对棋子的效率造成影响的。乍粗粗去看，这般的“理论”极具道理，极具说服力，仿若在讲述故事一般，我们将其称作“故事理论”。

若说计算机人工智能，那是不契合这样一种故事理论的。不管是阿尔法围棋，又或者是冷扑，均未运用这种理论。然而，差不多所有的德州扑克培训班，那些教学视频，以及经典技术书籍，所教授的却都是这样的故事理论。举例来讲，就像在转牌时拿着一个顶对弱踢脚选择过牌以此来控制彩池，还有不要跟石头的加注，诸如此类。大多数的故事理论具备两面性，也就是说这个故事常常能够反着来讲，致使你在选择正确决策时毫无头绪而无从下手。比如说，你的对手才刚刚输掉了两个大彩池，你这会儿准备给他来一个大的诈唬，也就是 bluff ，你所依据的理论是这样的一个故事，他才刚输掉两个大彩池，当下有点手软，以至于不敢拿着边缘牌跟注，所以你的诈唬是可行的。然而这个故事理论同样也能够这么去讲述，他才刚输掉两个大彩池，现在有点上头，也就是 tilting ，千万别去诈唬他。

冷扑对战中国牌手

人工智能冷扑所运用的到底是哪一种理论，前面的剪刀石头布游戏已然能够瞧出些许迹象，然而真实且完整的无限注德州扑克实在是极为复杂，我们能够借助一个迷你版的德州扑克来予以替代。此刻仅有两个玩家，小盲注是0.5个筹码，大盲注是1个筹码，每个玩家桌子上总共有着十个筹码。小盲注率先做出决定，这个游戏设定仅仅给予他两个选项，即全下或者弃牌。那么冷扑的理论究竟是什么东西。或者说人工智能究竟是要去解出什么样的事物呢 ?

第一，冷扑求解出来小盲注持什么牌需要弃牌，什么牌需要全下。

第二，冷扑求解出来大盲注持什么牌需要弃牌，什么牌需要跟注。

首先，第三点，以上的第一点与第二点，被称作是这个游戏的策略，必须要去证明，这个策略究竟为什么是最优解，而且是不能够变动的。

第四，究竟是这个游戏对小盲注具备有利的情况，还是对大盲注存在有利的情形？这个利益要怎样进行量化，能够通过精确计算而获取到吗？

诸人能够瞧见，哪怕是这般一个迷你型的德州扑克，相较于真实德州扑克简化程度难以计数，若运用此类理论精准求解，仍旧极度繁杂。这便是吾等众人研习德州扑克，学的皆为“故事理论”，而非像冷扑此类的“数学理论”。阿尔法围棋新近推出一款教学工具，对棋界而言可谓功劳极大。要知道，阿尔法的“教学”并非是一个“故事理论”，当代职业顶尖棋手若想成为阿尔法的学生，就必须在阿尔法“教学”所给出的棋路里，自行给自己重新讲述一个故事，在其基础上形成一个全新的故事理论，如此才能吸收到阿尔法围棋的精髓。冷扑的牌路给予我们的启示与之相似，每一位顶尖牌手，都只能成为一名编剧。在冷扑的打法基础上，把它讲成一个自己能够理解的故事，得以凭借此在其中持续开展试错而后进一步深造呢。

德州扑克的浩瀚版图

我们平常讲的德州扑克，所指的皆是无限注德州扑克。这点对德扑教父道尔布兰森其名著《超级系统》里话语予以了印证：无限注德州扑克乃是扑克当中的凯迪拉克。

作者在MTT比赛现场

无限注德州扑克的比赛形式繁杂多样，当下较为主要的智力竞技方式存在两种，即即时锦标赛（SNG）以及常规锦标赛（MTT）。每张桌子的人数存有2人、6人、9人、10人等多种规格。再加之盲注抽水（ante）增长速度的快慢，总彩池规模的大小，奖金分布架构，众多因素相互组合，可以讲德州扑克常见的比赛形式不少于百种。而冷扑仅仅擅长其中唯一一款游戏结构，也就是单挑（亦称作一对一，heads up）形式的无限注德州扑克。就算存在超级计算资源，那基于博弈论的算法，要将其推广到上述所讲的各种各样的比赛形式当中，还有着极为漫长的一段路要去走。冷扑对于德州扑克所产生的冲击力，远远比不上Alpha Go对于围棋所产生的冲击力，其最根本的原因就在这里。

补注：

冷扑之父

卡内基梅隆的Noam Brown博士，他是冷扑的主要创造者之一，他觉得未来两年下一代的AI有战胜六人桌的可能性，然而作者对此表示怀疑，那咱们就一同拭目以待。

有这样一部分读者，他们对深入探究冷扑算法怀有兴趣，对于这部分读者而言，可以去参考一篇论文，该论文于2017年12月17日发表在美国的《科学》杂志上，其题目是Superhuman AI for heads-up no-limit poker： Libratus beats top professionals 。