AI首次在德州扑克无限注单挑中击败人类玩家

去年，人工智能赚够了世人的目光，原因在于它战胜了世界围棋冠军，这对AI而言是一个具有重大意义的标志性事件，如同1997年IBM所设计的深蓝击败象棋大师Garry Kasparov那般。

加拿大以及捷克的数位计算机科学研究者，近日于arXiv上张贴了论文，论文介绍了一种新算法，该算法用于不完美信息，比如扑克，DeepStack通过结合使用循环推理来处理信息不对称，通过使用分解将计算聚焦于相关决策上，还通过使用一种深度学习技术从单人游戏中自动学习扑克任意状态下的直觉形式。研究者于论文里宣称，于一场有着数十名参赛者参与的、共计44000手扑克的竞赛当中，DeepStack一跃成为首个在一对一无限注德州扑克赛事里打败职业扑克玩家的计算机程序。

跟职业选手对抗结果

DeepStack同33位人类选手展开了较量，较量多达4.4万手，较量是于2016年11月7日至12月12日期间以线上方式举行对局的。最终获胜的前三位选手得到了奖励，奖励分别对应5000加元、2500加元以及1250加元。以下呈现的乃是对局结果。结果表明，DeepStack的平均赢率为492 mbb/g，一般人类玩家赢率达到50 mbb/g便被视作拥有较大优势，750mbb/g属于对手每局都弃牌时的赢率。

DeepStack是用于一大类序列不完美信息博弈的通用算法，我们会对DeepStack在HUNL（一对一无限注）德州扑克里的作用作出解释，扑克游戏的状态能分成玩家的私人信息也就是两张牌面朝下的手牌，还有公共状态，公共状态涵盖牌面朝上的公共牌以及玩家的下注顺序，游戏里公共状态的可能序列构成公共树，每个公共状态都有一个与之相关联的子公共树。

包含于HUNL公共树里的一部分，其中红色以及湖蓝色用来表示玩家所做出的动作，而绿色则是用以代表被翻开的公共牌。

该张图乃DeepStack整体架构，划分成（a）、（b）、（c）这三个部分。于（a）当中，DeepStack在每一个公开状态下，均要再度计算其所需动作，其中子树值（Subtree value）会借助一个训练好的深度神经网络Neural net（b）去计算，而训练Neural net的样本便是（c）。

要知道，DeepStack把递归推理也就是Recursive reasoning加以结合，以此来处理信息不对称性，又把分解也就是Decomposition予以结合，将集中计算运用到相关决策之上，进而由此形成了一种针对任意牌的直觉，也就是Intuition，而这种直觉能够借助深度学习通过自我玩牌从而自动学习获取到。

可供论文进行下载的地址为，https://arxiv.org/pdf/1701.01724v1.pdf。

德州扑克已然成为极为流行的人工智能研究测试之地，每一位扑克玩家手中所握的底牌这一“私有信息”，乃是其他玩家无法看到的，故而被称作是“非完整信息”（Imperfect information）的博弈，这跟围棋存在着极大的差异，围棋属于完整信息公开的博弈，玩家们能够看到棋盘上的每一枚棋子，思索所有落子的可能性，所以德州扑克对于人工智能而言，更具挑战性。

2015年初，接受《New Scientist》采访时，《DeepStack》这篇论文的通信作者Michael Bowling曾说道，德州扑克最有趣之处在于你无法获取完整的信息。

教授，卡耐基梅隆大学的Tuomas Sandholm，也这样讲道：“扑克，已然变成了，在非完整信息的状况之下，用于衡量，也就是计算机的智能水平的标准……并且它能够被视作，是一种跨越图灵测试的存在。”。

这挺有意思的，有两位教授，他们都在带领各自的团队，去攻克那个新型图灵测试，其中一位教授所在的大学是加拿大的Alberta大学，另一位教授所在的大学是美国的CMU大学。

几天前，CMU发出预告，由Tuomas Sandholm教授领导研发的Libratus人工智能系统，将于当地时间1月11日，在宾夕法尼亚州匹兹堡的Rivers赌场，与四个顶级职业玩家玩12万手的HUNL，角逐20万美元奖金。早在2015年，Libratus的前身Claudico与人类玩家首次对战，在8万手对决中完败，此次是CMU卷土重来。

即便我们已然知晓了结果，Alberta 在 CMU 之前，将论文发表了出来，然而，Libratus 与人类玩家的对战会在 Twitch 平台上直播。要是你想接着留意这项赛事的最新动态的话，那就记得锁定一起扑克哟！

对人类玩家来说，还有很长的路要走

这个机器，对于与之对战的人类玩家而言，是个极其无情的对手。Jason Les称，他常对人讲，形容这种体验可用“拉磨”一词。起初几天，牌局持续至半夜，结束后回酒店，睡前还研究数小时。次日上午9点醒来，又重新研究一番。Jason Les是职业扑克玩家，曾与卡内基梅隆设计的上一代AI系统对战。那场锦标赛，是上一代AI参与的第一场，Jason Les今年会持续同这一代AI进行对战。

对于娱乐观众而言，这个系统的行动，不像富于创造性的AlphaGo的行动那般刺激。再者，则是很多人将这视为一种防御性的策略，而你所要做的，便是避免被对手击败，于所有对手未发挥出最佳状态的底池中，争取一定的优势。

AI的玩法正在藐视所有传统的智慧

可是，Sandholm很快就点明了，安全的玩法与普通的玩法并非是同一回事呢，“今年的扑克项目以及一年半以前的扑克项目Claudico都增添了新的行动，它们会施行一些扑克文学觉得极为糟糕的行动”，比如说一手牌的首个行动，跟进池意味着你仅仅是跟注对手，你只需投入最少的钱便能够继续玩这手牌。所有扑克相关书籍，皆认定这是个极其糟糕的行动，然而，卡内基梅隆大学所设计的扑克机器人，其跟进入池的概率，大概处在7% – 16%这个范围当中。

Sandholm如此讲道，在关于怎样进行游戏这个问题方面，这与人类的思维浮现出极大的差别。计算机的算法会凭借游戏规则算出解决办法，并且我们不会给予它们人类打牌的任何过往数据。它们好似火星人那般打牌，将会自行算出应当采用的策略。这一AI还会进行好些驴式下注，这同样与人类的通常玩法不相同。它会从在上一轮里最后一个下注的玩家那里得到主动权。

人类玩家将会采取AI使用的策略

Les讲：“我觉得，它们给人类玩家呈现出它们能够使这些传统的策略发挥作用。”“然而，在实际当中，要是欠缺计算机的协助，就极难模拟运用这些策略。”Dong KyuKim这么宣称。Dong Kyu Kim于2015年跟卡内基梅隆大学设计的上一代系统展开过对战，他已采用了一些AI所运用的奇特的策略。Kim表明：“我从Claudico那儿学到了许多，并且已将它们应用到我自身的游戏里。”。他坚信，顺着AI的路径走，能够使他拥有诸多别的人类玩家所欠缺的长处。

2008年，亚伯达大学的一支队伍建成了一个AI系统，这个系统比有限注德州扑克里实力最强的人类玩家还要强。2015年，在一局充满变数的游戏里，这个系统实现了几乎完美的打法。无限注德州扑克没有限定下注量，所以更加复杂，不过所有参与这个锦标赛的职业扑克玩家都觉得机器领先人类只是时间问题。

职业玩家知道机器打败人类只是时间问题

Jimmy Chou如此讲道，“我觉得扑克跟象棋、围棋之间的差异还没有达到足够大的程度，因而最终计算机是会占据优势的。” 他还表示，“人类或许会凭借自身难以被预测这样一些特点偶尔取得上风，然而从长远来看，我会把赌注押在高效的机器身上，毕竟它们有的是数学以及科学方面的优势。” Kim也认同这种看法：“身为一名职业玩家，尽管我不太愿意去承认，但是我坚信在所有种类的扑克游戏当中，机器最终都会战胜人类。这仅仅是个时间方面的事情。”。

虽说深蓝以及AlphaGo取得的胜利，成功吸引住了公众的想象力，然而能够解决完全信息游戏的系统，于应用层面而言，依旧存在着一定的局限性。Sandholm讲道：“绝大多数真实世界的互动，均涵盖不少多方参与的情况，并且伴有不完全的信息。”去研发一个能够在这些项目上超越人类的系统，“从AI的视角来看，会显得更为重要，而且能够让整个世界变得更加美好。”AlphaGo的创造者，既对无限注德州扑克予以关注，又对星际争霸II予以关注，而这两者均属于不完全信息的游戏。

这类AI可以用来对抗黑客或癌症

比如，Sandholm曾目睹与自身设计相仿的系统，于一场繁杂的拍卖里，为顾客或者公司开展自动化的谈判。它亦有可能在网络安全范畴觅得自身的立足之地，协助优化网络防御工程，从而更出色地抵御黑客的攻击。并且，Sandhol还期望AI在未来的某一日能够被应用于医学领域。“我们当下正留意一些自体免疫疾病以及癌症，期望能更有效地改善人体自身的免疫系统，以便在不久之后能更有力地对抗疾病。”。他加以解释德信竞技，声称，T细胞算不上是我们的敌人，不过，你能够运用这些技术去对它们进行处理。

本周节目预告：

点击图片查看报名方式：