国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶级会议，亦即AAAI 2022这个会议上，大会的卓越论文奖项，被颁发给了一个轻量型的德州扑克AI程序，也就是AlphaHoldem。在与高水平德州扑克选手进行对抗的过程中，它的决策速度以及各方面的表现，已然达到了人类专业玩家所处的水平。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

普通人，无论从何种角度去看待，对于德州扑克以及人工智能，其第一反应，都会认定这两者之间，是毫无关联的。然而如若去思索一下，那个与柯洁进行围棋对弈的 AlphaGo，这么一来，是不是就能够比较容易地理解了呢？

是的，这一回荣获奖项的德州扑克人工智能——AlphaHoldem，便是如同AlphaGo那般的存在。只是，于针对AlphaHoldem的训练进程里，其训练模型乃是德州扑克。

在人工智能这个领域当中，把游戏用作AI的训练模型，这已然是极为平常的一件事情了。

和围棋比较起来，德州扑克更能够检验AI在信息不完整、对手不明确情形下的智能博弈技术,因此在近些年当中德信竞技，业内一致认为德州扑克极其适合当作一个虚拟实验环境，针对博弈的相关基础理论方法、核心技术算法，展开深入探究。

此刻，更为流行的德州扑克AI关键思路，是借助一种称作“反事实遗憾最小化（CFR）”的算法，去靠近纳什均衡策略，也就是说，对于任意一个参与者而言，当其他所有参与者的策略已然确定时，他所施行的策略皆为“最优解”。

然而，这种方式始终存在着一个相对较为显著的不足之处：它对于人类专家开展博弈树抽象的依赖程度过高。这便表明，不管是在开展AI训练之时，还是在最终进行对局之际，它都需要数量众多的计算及存储资源。而这一点，同样构成了对德州扑克AI进一步向前发展的一种阻碍。

兴军亮团队在AAAI 2022上荣获卓越论文奖，原因在于，他们针对AlphaHoldem运用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

此一新算法，将经改进深度强化学习算法与新型自博弈学习算法凑一起了。这能在勿借助任何领域知识的情形下，直接凭着牌面信息，来一步步地学习候选动作，在此之后，再去做出决策。

如下数据表明，在每次进行决策之时，AlphaHoldem的速度竟然乃至都达不到3毫秒，相较于之前同类型的AI，其决策速度快出了1000倍。而且，AlphaHoldem与4位处于高水平的德州扑克选手展开对抗，历经1万局的最终后果也证实，它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

你能想到吗，那个能有如此如此成绩这般这般的兴军亮，嘿，压根儿竟然是后来步入此道的？最早的时候，他一直搞的是计算机之视觉研究，说白了就是致力于传授AI去辨别“是啥玩意儿”这块儿。然而，随着研究程度逐步往后推移加深，兴军亮察觉到了，仅仅只是教会AI“是啥”而已，这和真正意义上的人工智能目标那是相差得老远老远了。未来到底该朝着啥方向去走，这可着实困扰了他相当长的一段时间。

最早是受到AlphaGo的启迪之后兴军亮才产生靠游戏训练AI的念头，兴军亮通过教导AI下围棋发现，此活动实质是于AI领域处理“认知智能”事项，能让AI不但能够知晓“是什么”，而且还可以明白“为什么”。

在人工智能的发展历程当中，游戏自身便是相关研究的试验场地。借助游戏去训练出更为厉害的AI，这便成为了兴军亮所追求的目标。

兴军亮原本很少接触游戏，为了能全方位、多角度地去知悉不同种类游戏的运行机制，他着手培养自己所谓的“网瘾”，具体怎么做呢？先是找出具有代表性的游戏，接着去研究相关教程，然后练习手速，最后完成通关，其每一步骤在程度上都不比职业玩家少，通通都得做到位呐！

在此进程期间，兴军亮愈发认为，玩游戏乃是一件极为有意思之事。特别是不同游戏的机制设定，极其适宜用以探究某些基础的科学问题。在这其中，存在着游戏博弈这一情况。

拿此次获奖的德州扑克AI程序来讲，它的本质是一个博弈问题，是那种不完美信息的。德州扑克有游戏规则，每个人手上会有两张私有牌。牌面大小对最终胜负没影响，玩家能凭借假装牌面大、押注金额大等办法吓跑对手。

两人无限注德州扑克一次游戏过程示意

兴军亮领着团队，要用十多台服务器，来集中算力，目的是教会AI打德州扑克，于是让AI持续跟自己打牌，历经20天，差不多打了1亿局。

紧接着，他们再度对游戏学习的性能予以了进一步的提升。此次，他们仅仅动用1台服务器，进行时长不足3天的训练，便能够达成预期的水准。

在这个进程当中，参与训练的AI可以学到一些近似于唯有人类专业选手方可掌握的计谋。这，恰恰就是不完美信息博弈最为有意思的所在。当下，兴军亮及其团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/）已然对外公布于众。按照兴军亮的说法，这个系统或许是国内唯一能够公开进行德州扑克游戏的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

比如说不完美信息此类博弈机制，它在如下这些地方有着广泛应用，像是经济政策制定领域，法律法规改良范畴，外交策略抉择方位等。而那国际同行正奋力试图攻克的，国内相关研究却处在较为薄弱的状况。

兴起军队，亮出方向，不懈追求去训练出一个人工智能，这个人工智能要更聪明，更有用，还能够和人类融为一体。