德州扑克被人工智能入侵了吗？刚刚进入围棋九路对弈

作者系理论物理博士，人工智能专家。新浪扑克学院特邀讲师

Sunday， 31 December 2017

余小鲁博士(右)在新浪总部大厦接受专访

不只是一个纸牌游戏——德州扑克AI的意义

卡内基梅隆大学针对德州扑克AI展开研究，如同谷歌对围棋AI进行研究那般，同样有着自身别样的考量“志不在此”。德州扑克当中存有诸多与社会生活较为雷同、具有普遍性的困扰问题，正是鉴于此，当前这项研究方才具备了从根本层面来看至关重要的意义。

德州扑克AI的意义

德州扑克AI的里程碑——Libratus（冷扑）

Libratus是“balanced”的拉丁文形式，其意思为均衡，大陆方面译为冷扑，这个翻译相当巧妙，读音相近，并且这个AI玩德州扑克时极为冷，是冷血的极致表现，下文会详细解说。balanced是德州扑克网络革命这十年间最热的一个概念，它根源于数学的博弈论。我们在此不使用数学公式，尝试用通俗易懂的话先来阐释这个概念。

李开复等讲解德扑人机对抗

玩剪刀石头布的游戏，要怎样玩才能够保持不败，难道是我随机地以百分之五十的概率出剪刀，百分之三十的概率出石头，百分之二十的概率出布，那你又该如何打败我，随机性并非难以理解，就像我们能够看自己的手表，当秒针超过六点的时候给出剪刀，不到二点二分时给出布，其余的时候就给出石头，稍微思索一会儿便会明白，你应该始终给出石头，也就是一百次当中你会平均赢五十次，平手三十次，输二十次，从统计角度讲，我便是被你打败了，直观来讲我的游戏策略并非均衡的。换个维度来说，我采取这样一种策略， 我随机地从三种选择中，拿出三分之一的概率出剪刀，同样以三分之一的概率出石头，还有整整三分之一的概率出布这种策略，是没办法被打败滴堪称把博弈论应用到极致的最优解也就是GTO。再细细琢磨琢磨这个情况，此策略尽管没法被打败，然而对手不管采用什么样的策略，我的最终结果都是一模一样的，既不会赢得胜利也不会遭遇失利，换而言之呢使得我的策略能够不再把对手采用何种策略这个因素当作关心重点也就是达到了所谓的无差异阈值indifference threshold。德州扑克的游戏相关结构比剪刀石头布是要复杂好多好多的，不过核心概念却是颇为相似的。冷扑之所以具备冷的特性，之所以能够取得胜利，是因为它找到了在每一种局面之下，可以采取某种特定策略，进而使得能够不再关注对手采用何种策略，简单来说，就是有效避开了德州扑克里面那般猜来猜去的怪区。最大的不同之处在于，剪刀石头布的博弈论最优解的期望值是零。德州扑克在很多局面下最优解的期望值是正数，这便是冷扑打败人类牌手的数学基本出发点。

冷扑的三大模块 冷扑的策略

Libratus（冷扑）和人类牌手的比较

冷扑相较于人类牌手的优势

冷扑相较于人类牌手的劣势

冷扑与阿尔法围棋对比

德州扑克的理论

何为理论呢，从抽象角度讲，是人为去构造出一套概念框架，在该框架当中展开逻辑演绎以此来理解事物。拿围棋举个例子，我们人为构造了一个称作“厚势”的概念。人为构造出的概念常常会有一定的模糊性，厚势或许能够先被定义成铁活的，或者是不容易遭受攻击且对中腹有影响的一些棋子组合。经过进一步的逻辑演绎，中国古人形成了一个理论叫做“勿近厚势”。对方的厚势不要去靠近，甚至自己的厚势也不要去靠近德信竞技，不然都会对棋子的效率产生影响。在初步的观察之下来看，这般样子的“理论”，是具备着十足道理的，是有着相当说服力的，好似在诉说明一个故事那般，我们针对它赋予称谓叫做“故事理论”。

这样的故事理论不适合计算机人工智能，阿尔法围棋不属于使用这种理论的范畴，冷扑同样不是，然而几乎所有的德州扑克培训班、教学视频以及经典技术书籍讲授的却是这样的故事理论，像转牌时拿着顶对弱踢脚过牌去控制彩池，不与特别谨慎保守的玩家加注对抗等，多数故事理论具备两面性，即这个故事常常能够反着来讲，致使你难以找寻到正确的决策来做选择。打个比方，你的敌手才刚输掉了两个大彩池，此刻你打算给他来上一个大的诈唬（bluff），你所依据的理论是这样的一则故事：他才刚输掉两个大彩池，当下有点手软，以至于不敢拿边缘牌去跟注，因而我的诈唬是可行的。然而这个故事理论还能够这么来讲：他才刚输掉两个大彩池，此刻有点上头（tilting），千万千万别去诈唬他。

冷扑对战中国牌手

究竟人工智能冷扑运用的是哪一种理论，前面的剪刀石头布游戏已能够看出一点细微头绪，然而真实且完整的无限注德州扑克实在太过繁杂，我们能够采用一个迷你版的德州扑克予以替代，现在仅有两个玩家参与游戏，小盲注为 0.5 个筹码，大盲注是 1 个筹码，每个玩家在桌子上总共拥有十个筹码，率先由小盲注做出决定，此游戏设定仅给予他两个选择，即全下或者弃牌，那么冷扑的理论到底是什么，抑或是人工智能需要求解的是什么东西？

第一，冷扑求解出来小盲注持什么牌需要弃牌，什么牌需要全下。

第二，冷扑求解出来大盲注持什么牌需要弃牌，什么牌需要跟注。

第三，被称作这个游戏的策略的是以上的一二两点，必须对为何这般的策略是最优解予以证明，且不能够进行变动。

第四，究竟是这个游戏对小盲注具备有利的情况，还是对大盲注有着有利的状况？这个利益要怎样进行量化，通过精确的计算从而得以获取？

大家能够瞧见，哪怕是这般一个迷你样式的德州扑克比真实的德州扑克简化程度简直不可计数，然而要利用这种理论精准求解，依旧是极为复杂的 ，这便是我们众人学习德州扑克所学的皆是“故事理论”而非冷扑这般的“数学理论” ，阿尔法围棋新近推出了一个教学工具，这对棋界而言堪称功德无量。哪怕阿尔法的“教学”并非是一个“故事理论”，然而当代职业顶尖棋手若要成为阿尔法的学生，那就必须得借着阿尔法给出来的棋路，自己重新编造一些故事告知自身，从而生成一份迥异的故事理论，这样才有机会去吸收到阿尔法围棋里的最精华部分，冷扑的牌路由此也给了这类启示，任何一位顶尖牌手只不过成为一个编剧，以便将冷扑的诸多打法讲述出可以让自己领会的故事，在此过程中持续进行试错并不断深造。

德州扑克的浩瀚版图

一般而言我们普遍所说的德州扑克，所指代的皆是无限注德州扑克。这恰好证实了那个被称作德扑教父的道尔布兰森，在其那本名为《超级系统》的著作当中所讲的这句话：无限注德州扑克是扑克里的凯迪拉克。

作者在MTT比赛现场

无限注德州扑克比赛形式极为繁多，当下较为主流的智力竞技模式存在两种，分别为即时锦标赛也就是SNG，以及常规锦标赛也就是MTT，每一桌子的人数存在2人、6人、9人、10人等多种格式，再加之盲注抽水也就是ante的增长快慢、总彩池的大小、奖金分布结构，诸多因素相互组合来说，德州扑克的常见比赛形式不少于百种，而冷扑仅仅擅长里面唯一的一种游戏结构，即单挑也就是又称一对一、heads up形式的无限注德州皮卡。即便具备超级计算资源，那基于博弈论的算法，要将其推广至上述所讲的各式各样比赛形式，还存有相当漫长道路去走。冷扑针对德州扑克所产生的冲击力，远不及Alpha Go对围棋所形成的冲击力，其根本缘由就在于此。

补注：

冷扑之父

卡内基梅隆的Noam Brown博士，他是冷扑的主要创造者之一，他觉得在未来两年，下一代的AI存在战胜六人桌的可能性，而作者对此表示怀疑，那我们就一同拭目以待吧。

要是读者对深入探究，即那种深入去弄得明明白白的冷扑算法，有着浓厚而且强烈的兴趣，那么呢，这边就可以去参考一下，在2017年12月17日的时候，于美国《科学》这本刊物上刊登发表出来的一篇论文，它的名字是Superhuman AI for heads-up no-limit poker： Libratus beats top professionals。