浅谈人工智能在德州扑克里的应用

在2016年的时候，AlphaGo成功战胜了最强的人类围棋选手，进而开启了人工智能的全新时代。德州扑克属于最典型的博弈游戏，所以它也是人工智能重点研究的领域。在德扑这个领域之中，存在着很多种不同类型的AI，从AI的作用，也就是战胜人类以及战胜人类老师这方面，还有技术路线来看德信竞技，也就是强化学习、大数据挖掘加上自适应技术这两个维度进行区分，大概能够分为三种。

第一种：以战胜人类为目标的德扑AI

分别是DeepStack和Libratus（冷扑大师）的世界上两个知名的AI，在德州扑克1v1比赛里打败了人类职业扑克选手，然而现今而言，AI还没有征服德扑多人桌。

其中，Libratus是基于强化学习来实现的，这意味着它会自己跟自己玩许许多多的游戏，并且持续不断地保留最佳的策略，还要避免从人类已有的既定模式里去学习经验，最终达成的是纳什均衡策略，这等同于GTO。

当然，在那没有声息地参与线上 1v1 的德扑 AI 数量多多，其中好多连名称都不存在。然而多人桌的情况却基本并非如此，因为直至现在鉴于多人桌所具备的更为繁杂的状况，德扑 AI 在多人桌战胜人类依旧属于全球性的难题。

第二种：教人GTO的德扑AI

这样的AI，其核心在于，借助自身打击自身这种方式，也就是强化学习，去探寻出一套最为优化的策略，而后将其传授给人类。

这个领域，最为出名的有着pokersnowie，还有pioslover。

就拿snowie来讲一讲，它的原理跟Libratus大致相同，借助强化学习去生成最优策略也就是GTO，然后将这最优策略教授给人类玩家。它历经了多年的迭代，在高级别玩家群体中树立起了一定的信任度，是当前最好的GTO学习软件当中的一个。对于那些在中低级别征战的玩家，或者水平并非特别高的玩家而言，如果想要运用这类AI去学习扑克技术，我有着这样一些提醒：

它对于那些高水平的人而言是具备相当大作用的，众多处于高水平的人都借助它跟pioslover进行一些牌谱的剖析，甚至于将两者相互对照着去查看，以此来验证某些观点或者获取一些启示。

机器人的范围，和实战对手的范围，肯定是不一样的。这就致使，snowie教你最优策略，照搬到实战里，通常不是最优策略，甚至不是好策略。而且它没教你该如何调整。所以你光练这个，只会成为GTO教条选手。优秀者或许可立于不输之地，然而战胜不了rake和各种生活成本的。

对于并非顶级的高手而言，要去追求效率达到最大化，寻觅对手的弱点并将其利益最大化，这可比花费很大力气去修补自身不太明显的漏洞要现实得多。

4. 那些使用过pioslover进行分析的人，全部都清清楚楚地知晓，用于计算的策略，非得花费大量时间去运算，人类的大脑可不是机器，没办法记住数量众多的策略，处在实际战斗当中，同样也没办法运算得出结果。

对由此GTO的定义不同人存在不同理解，做出概括，我选用纳什均衡/平衡来说明问题，我的看法是，对手水平级别越高，就越加需要考虑平衡因素，级别越低，就越需要剥削剥削打法偏向剥削性，平衡打法不仅没用，甚至还会误导人。同样的道理，snowie对于高水平玩家适用，对于中低水平玩家却是有害的，反而会出现拔苗助长、事倍功半的效果，这就如同小马过河，别人云亦云。

第三种：基于自适应技术的德扑培训AI

这个AI的关键在于达到个性化培训的目的，其算法会依据学员情况动态生成、匹配契合该学员的训练内容、训练难度。在教育AI范畴，普遍运用这种智适应AI技术，这是由于这种技术路线给学员带来的体验堪称最佳。在德扑培训领域，全球仅有黑桃大师这一个，这是鉴于得顾及学员间的差异，致使工程实现难度颇高、工作量也巨大，恰似罗胖所讲的，用户有多畅快，生产者就有多煎熬。

黑桃大师所持有的理念，全然不同于借助强化学习塑造而成的AI，，它以人作为核心要点，考量了如下这些因素：

首先，以人类学习的那种自然规律作为依据，其次，遵循刻意练习的法则，再者，依照最近发展区的理论，最后，采用游戏化教学的那种方式。

可不能直接给新手传授高级技巧，也不能教终极大招，直接这么做是行不通的，很容易因噎厌食，毕竟德扑博大精深，德扑是要一步步学的，这就必须因材施教，进行个性化培训嘛，还得动态调整培训内容以及难度。

3. 教什么才合适，不是能搞产品的那些之人给定论的决定结果，得源自玩家，并且要依照玩家所反馈的情况去做改进。

他的主要机制：

先是根据大数据分析，或者AI聚类技术产生部分训练内容，从该技术入手，专门针对海量线上真实玩家实战历史的数据进行分类，这些数据甚至有网站在售卖，分类的内容包括玩家、场景，还有行动树，通过分类来识别出行动树分类清晰明确，优秀玩家与差玩家赢率差距十分明显也就是具有极大教学效果的场景，紧接着生成初步的评判标准，再由人工教研团队展开细致审核，加以补充完善，最终成功成就训练内容，而且要依据玩家反馈持续不断地改进。

推进训练进程：借助玩家所拥有的训练数据，使推送算法及评价算法得以更为完善，持续依据大数据展开分析，对教学效果欠佳的场景予以审核，进而实施过滤操作。

黑桃大师（www.heitaodashi.com），与教授 GTO 也就是最优策略的 AI，存在着怎样的区别，主要有以下两点。

黑桃大师教授具有针对性的打法，毕竟效率是最为重要的，然而效率皆源自利用对手的漏洞，特别是弱对手的。

2. 训练也覆盖了部分平衡策略/最优策略比较明确的训练。

那要是进行培训AI的选择，该如何去选呢？顶级高手会运用pokersnowie和pioslover，中低级别玩家毫无疑问地会选择黑桃大师。对于通常所说的高手而言，玩玩黑桃大师，瞧瞧综合水平得分以及他的牌局点评，自然而然地心里就有底了。