中国唯一可以玩德州扑克的网站曝光。由中科院精诚出品，采用AI在线发卡。

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶尖会议名叫AAAI 2022展开期间，大会的卓越论文奖项，被颁发给了一款具备轻量特性的德州扑克AI程序，它的名字叫做AlphaHoldem。在同处于高水平状态的德州扑克选手展开对抗期间，它所展现出的决策速度以及各个方面的表现，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

提到德州扑克以及人工智能，不管是普通的哪个人去看，其第一反应，都会生出这样的一种感觉，那就是在它俩之间，是完全没有关联的。然而，只要去想一想那个曾经和柯洁进行下围棋的AlphaGo，心里有没有觉得这样就比较容易理解了？

确实是这样，这一回获得奖项的德州扑克人工智能——AlphaHoldem德信竞技，就是如同AlphaGo那样的存在。只是，在针对于AlphaHoldem的训练进程当中，它的训练模型是德州扑克。

在人工智能这个领域当中，把游戏用作AI的训练模型了，这已然是属于非常常见的某一件事情。

和围棋相较，德州扑克更能够检验 AI 在信息不完整、对手不明确情形下的智能博弈技术 。所以在近两年里，业内一致认可德州扑克极为适合当作一个虚拟实验环境，针对博弈的相关基础理论方法、核心技术算法，展开深入探究 。

当下，较为流行的德州扑克AI关键思路，是借助一种名为“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是在其他所有参与者策略已确定的情形下，任意一位参与者所采取的策略，都是“最优解” 。

然而，这种方式始终存在着一个相对显著的不足之处，那就是它过度依靠人类专家来开展博弈树抽象。这便表明，不管是在开展AI训练之际，还是在最终对局之时，它悉数都需要大量的计算以及存储资源。而这一点，同样构成了限制德州扑克AI进一步向前发展的一道阻碍 。

兴军亮团队在AAAI 2022上获得卓越论文奖，原因在于，他们为AlphaHoldem采用了一种新的算法，该算法是基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法把一种经过改进的深度强化学习算法，跟一种新型的自博弈学习算法相融合，它能够在不借助任何领域知识的情形下，直接从牌面信息开始，端到端地去学习候选动作，随后做出决策。

数据表明，AlphaHoldem每次进行决策的时候，速度达不到甚至都不到3毫秒的程度，在之前同类AI决策速度的基础上，它这一速度快了以1000作为倍数的情况。而且，AlphaHoldem和算作4位的高水平德州扑克选手之间，对抗了1万局这样数量的结果，也证实了，它已经处于达到了人类专业玩家水平的状态。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

可是，谁能够想到，那个能够取得如此这般成绩的兴军亮，竟然是半路才开始从事相关领域的？他最开始的时候，从事的研究方向是计算机视觉，简而言之，就是教导人工智能去识别“是什么”。然而，随着研究的不断深入，兴军亮发觉，仅仅教会人工智能“是什么”，和真正意义上的人工智能所追求的目标相比，相差得非常远。未来到底该朝着哪个方向前行，这个问题困扰了他相当长的一段时间。

兴军亮有了用游戏训练AI的想法，最早是受AlphaGo启发，透过教AI下围棋，兴军亮发现，这个动作实质是解决AI领域的“认知智能”问题，能让AI不但知道“是什么”，还能知道“为什么”。

并且，在人工智能的发展进程当中，游戏自身，一直都是相关研究的试验场地。依靠游戏，去训练出更为出色厉害的AI，结果就变成了兴军亮所设定的目标啦 。

兴军亮原本很少接触游戏，为了能全方位去了解不同类型游戏的机制，开始培养自己的 “网瘾”，先是找出代表型游戏，接着研究教程，然后练习手速，最后完成通关，每一步都不比职业玩家少，都很重要。

于此进程里，兴军亮愈发觉得，玩游戏乃是一件极具趣味之事，特定是各异游戏的机制设定，极为适于用以探究某些基础的科学问题，此当中，便包含游戏博弈。

以此次获奖的德州扑克AI程序而言，其本质是个博弈问题，属于不完美信息的那种 。德州扑克有其游戏规则 ，每个人手上会有两张私有牌 。牌面大小对最终胜负并无影响 ，玩家可借假装牌面大 ，押注金额大等手段 ，吓跑对手 。

两人无限注德州扑克一次游戏过程示意

去教会那AI打德州扑克，兴军亮带领着团队，前前后后动用了十多台服务器，将算力集中起来，使得AI持续不断地跟他自己打牌，在20天这样的时长里，打出了大约1亿局。

接着，他们再度将游戏学习的性能予以进一步提高。此次，他们仅仅动用1台服务器，历经训练不到3天时间，便可以达成预期水准。

在这个进程当中，参与训练的AI能够学会某些类似于只有人类专业选手才会掌握的计谋。这一点，恰恰是不完美信息博弈最为有意思的所在。当下，兴军亮以及其团队所打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），已然对外进行开放。按照兴军亮的说法，这个系统或许是国内唯一能够公开进行德州扑克游戏的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

好似那种并非完美信息的博弈，这般机制，于制定经济政策之领域，于优化法律法规之范畴，于挑选外交策略等范围，均存有颇为广泛的运用。这些层面，乃是国际同行正着力去攻克的，亦是国内相关研究相对薄弱之处。

一个方向，是兴军亮不懈追求的，那正是去训练出人工智能，这人工智能要更具备聪明特质，要更极具有用性能，还要能够与人类彼此融合成为一体 。