国内唯一能玩德州扑克的网址曝光，中科院出品AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

在前不久，于美国人工智能协会所举办的人工智能国际顶级会议——也就是AAAI 2022之上，大会的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序——AlphaHoldem。在同高水平德州扑克选手展开对抗期间，它的决策速度以及各个方面的表现，已然达到人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

普通人对于德州扑克以及人工智能，不管是怎样去看待，其第一反应总会觉着它们两者相互之间，是毫无关联的。然而只要去思考一下那个与柯洁进行围棋对弈的AlphaGo，难道不是就能够较好地理解了吗？

对的，此次获奖的德州扑克人工智能AlphaHoldem，是类似于AlphaGo那样的存在呢，只是，在针对AlphaHoldem进行训练期间，它的训练模型是德州扑克 。

把游戏用作AI的训练模型，于人工智能这个领域，已然属于极为常见的一种情况了。

德州扑克相比于围棋，更能够检验AI于信息不完整、对手状况不确定之时的智能博弈技术。所以在最近几年当中，在业内大家都认同德州扑克特别适宜当作一个虚拟实验环境，针对博弈的相关基础理论办法、核心技术算法，展开深入探究。

当前阶段 , 相对较为流行的德州扑克AI的核心观念 , 乃是运用一种被称作“反事实遗憾最小化（CFR）”的算法 , 去接近纳什均衡策略——也就是说此策略是指 , 哪怕是随便哪一位参与者 , 当其他全部的参与者的策略都已明确的状况下面 , 他所采取的策略都属于“最优解” 。

然而，这种方式始终存在一个相对显著的弊端，那便是，它过度倚仗人类专家来开展博弈树抽象。这也就表明，不论是于进行AI训练之际，还是在最终对局之时，它都需要海量的计算以及存储资源。而这一点，同样构成了限制德州扑克AI进一步拓展的障碍。

兴军亮团队在AAAI 2022这样的情境之下，能够获取卓越论文奖，原因在于，他们针对AlphaHoldem运用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

有一种新算法，它把一种经过改进的深度强化学习算法以及一种新型的自博弈学习算法结合起来，能够在不借助任何领域知识的情形下，直接从牌面信息开始，端到端地学习候选动作，随后做出决策。

数据表明，AlphaHoldem在决策时，每次所需的速度竟然连3毫秒都达不到，它相比前期诸多类似的AI的决策速度，快出了1000倍；并且，AlphaHoldem与4位具备高水平的德州扑克选手展开对弈，历经1万局的局势，其最终结果也证实，它已然达到了人类专业玩家所拥有的水平。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

然而，究竟谁能够料想到，那个能够获取这般成绩的兴军亮，竟然是“半路投身进来”这个状态？他打从最开始的时候，那是钻研计算机视觉这方面内容的，简要地讲，也就是去教导AI识别“是什么”这种情况。可是，随着研究朝着更深层次去发展，兴军亮发觉了，仅仅是教会AI辨别“是什么”，跟真正属于人工智能的目标相比，差距是非常大的。未来到底该朝着什么方向行进，这件事情困扰了他相当长的一段时间。

兴军亮会产生用游戏训练AI的想法，追根溯源是最早受到了AlphaGo的启迪，在通过教AI下围棋的过程中，兴军亮察觉到，此行为的本质实际上是在处理AI领域里的“认知智能”问题，能使AI不仅知晓“是什么”，而且还能明白“为什么”。

于人工智能的发展历程之中，游戏自身便是有关研究的试验之地。借由使用游戏培养出更为出色的AI，这便成为了兴军亮的目标。，。

兴军亮原本很少接触游戏，为了能全方位去了解不同类型游戏的机制，进而开始培养自己的“网瘾”，他要找出代表型游戏，要研究教程，要练习手速，还要完成通关，每一步都不比职业玩家少，他都有去做 。

于这个进程当中，兴军亮愈发觉着，玩游戏是一桩极为有意思的事情 ，特别是不同游戏的机制设定，极为契合用以钻研某些基础的科学问题 ，在此中间，便存在游戏博弈 。

此次获奖的德州扑克AI程序，就拿它来说，它的本质是一个博弈问题德信竞技，是不完美信息的那种博弈问题。德州扑克有其游戏规则，按照这个规则，每个人会有两张私有的牌。牌面大小不会对最终胜负产生影响，这是因为玩家能够通过假装牌面大、押注金额大等手段，把对手吓跑。

两人无限注德州扑克一次游戏过程示意

为了教会人工智能打德州扑克，兴军亮带领着团队，先后动用了十多台服务器，将算力集中起来，让人工智能持续和自身打牌，历经20天，打出了大约1亿局。

之后，他们再度增添了游戏学习的性能。此次，他们仅凭借1台服务器去训练，训练时长不足3天，便能够达成预期水准。

在这个进程当中，参与训练的AI能够学会一些近似于只有人类专业选手才会懂得的计谋，这也就是不完美信息博弈最有意思的所在，当下，兴军亮与团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），现已对外公开，按照兴军亮的说法，这个系统或许是国内唯一能够公开玩德州扑克的地方。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

存在着一种机制，它如同不完美信息博弈，于经济政策制定领域、法律法规优化领域以及外交策略选择领域等多个范围，均有着极为广泛的运用。于此种种方面，乃是国际同行正殚精竭虑去攻克的内容，同时亦是国内相关研究相对薄弱之处。

把人工智能训练得更加聪明，使其变得更加有着用处，能与人类相互融合成为一体，这是兴军亮始终不懈去追求的方向。