中科院出品唯一网址，能打德州扑克，还有AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶级会议，也就是AAAI 2022之上，大会卓越论文奖，被颁发给了一个轻量型德州扑克AI程序，即AlphaHoldem。在与高水平德州扑克选手进行对抗的时候，它的决策速度以及各方面表现，已然达到人类专业玩家的水平。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

跟人工智能相关的德州扑克，对于普通大众而言，无论从何种角度去看待，其第一反应往往都会认为，在这两者之间，完全是毫无关联的。然而，只要去思索一下那个曾与柯洁对决围棋的AlphaGo，难道不正容易对此理解了吗？

对的，此次获奖的德州扑克人工智能——AlphaHoldem，就是如同AlphaGo那般的存在。只是，在针对AlphaHoldem的训练进程里，其训练模型是德州扑克。

以游戏作为AI的训练模型，于人工智能这个领域当中，已然是极为平常的一桩事情存在哟，是。

比起围棋，德州扑克更易于检验AI于信息不完整、对手状况不明情形中的智能博弈技术。故而在最近几年里，业内一致认定德州扑克极为适用于当作虚拟的实验环境，针对博弈的有涉基础的理论方法以及核心的技术算法，展开深度探究。

当下，较为流行的德州扑克AI核心观念，是运用一种被称作“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是说，对于任何一位参与者而言，在其他所有参与者的策略都已确定的情形下，他所采取的策略都是“最优解”。

然而，这种方式始终有一种较为显著的不足之处，那就是它过度依靠人类专家来开展博弈树抽象，这进而寓意着，不管是在实施AI训练之际，还是在最终对局之时，它都需求大量的计算以及存储资源，而这，同样变成了限制德州扑克AI进一步拓展的障碍 。

兴军亮团队在AAAI 2022上获得卓越论文奖，是由于他们为AlphaHoldem采用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法，把一种改进过后的深度强化学习算法，跟一种新型的自博弈学习算法相联合，能够在不借助任何领域知识的情形下，直接从牌面信息向着端到端的方向学习候选动作德信竞技，随后做出决策。

数据表明，AlphaHoldem每一次进行决策的时候，其速度竟然连3毫秒都达不到，它相比之前同一类型的AI决策速度，要快出1000倍。而且，AlphaHoldem跟4位具有高水平的德州扑克选手相互对抗1万局之后所呈现出来的结果，也证实了它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

但是，又有谁能够想象得到，那个能够取得这般成绩的兴军亮，竟然是属于“半路出家”的情况？他最开始的时候，从事的是关于计算机视觉方面的研究工作，简单来讲，就是致力于教导AI去识别“是什么”这一内容。然而，随着研究朝着更深入的方向发展，兴军亮察觉到，仅仅是教会AI“是什么”，这与真正意义上的人工智能目标之间，存在着相当大的差距？未来究竟该如何前行，这一问题困扰了他相当长的一段时间。

兴军亮有了用游戏训练AI的想法，最早是受AlphaGo启发，透过教AI下围棋他发现，这个动作实质是解决AI领域的“认知智能”问题，让AI不但知道“是什么”，还能知道“为什么”。

在人工智能的发展史中，游戏自身便是相关研究的试验场地。而借助游戏训练出更为厉害的AI，这便成为了兴军亮的目标啦。

兴军亮

兴军亮原本很少接触游戏，为了能达成全方位去了解不同类型游戏机制的目的，他开始着手培养自己的“网瘾”，具体做法是找出代表型游戏，接着研究教程，然后练习手速，最后完成通关，其每一步做的程度都不比职业玩家少，是这样的情况 。

在这个进程当中，兴军亮愈发觉得，玩游戏是一桩极为有意思的事情。特别是不同游戏的机制设定，很适宜用以探究一些基础的科学问题。在此之中，便存在游戏博弈。

就以此次获奖的德州扑克AI程序来讲，它的本质是一个存在不完美信息的博弈问题。德州扑克有其游戏规则，在这个规则下，每个人手上都会持有两张私有牌。牌面大小对最终胜负并无影响，原因在于玩家能够借助假装牌面大、押注金额大等方式将对手吓跑。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，先是为了教会AI打德州扑克，前后动用了十多台服务器，以集中算力，接着让AI持续跟自己打牌，在20天时段内，牌局数量大约达到了1亿局 。

接下去，他们再度把游戏学习的性能予以了进一步的提升。此次，他们仅仅动用1台服务器，然后进行训练，训练时间不到3天，最终便能够达成预期的水平。

在这个进程当中，参与训练的AI能够学会一些近似于只有人类专业选手才会掌握的计谋，这恰恰是不完美信息博弈特别有意思的所在，当前，兴军亮以及团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），现已对外公开，按照兴军亮所说，这个系统或许是国内唯一能够公开进行德州扑克游戏的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

类似于那种并非完全完美信息的博弈机制，在经济政策制定这个范畴，在法律法规效能优化这个方面，在外交策略抉择这个领域，都存在着极为广泛的运用情况。而这些方面，恰恰属于国际同行正全力以赴予以攻克的内容，同时也是国内对此相关研究相对比较薄弱的部分。

兴军亮不懈追求的方向，是去进行训练，从而得出一个人工智能，这个人工智能要更聪明，要更有用，并且能够和人类融为一体 。