国内唯一德州扑克网址曝光！中科院出品AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

近期，于美国人工智能协会所举办的人工智能国际顶级会议——AAAI 2022之上，大会表彰的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序——AlphaHoldem呢。在同高水平德州扑克竞赛选手展开抗衡期间，它的决策速率以及各个方面的呈现效果，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

即便普通人从任何一个角度来看待，对于德州扑克以及人工智能，其第一反应无一例外都会认定二者相互之间，完全是毫无关联、相差甚远的。然而，一旦去思索那个与柯洁对弈围棋的AlphaGo，难道不是就能够较容易地理解了吗？

的确，此次荣获奖项的德州扑克人工智能程序——AlphaHoldem，便是如同AlphaGo那般的存在。只是，于针对AlphaHoldem的训练进程里德信竞技，其训练模型乃是德州扑克。

人工智能领域里，把游戏用作AI的训练模型这种事，已然是极为常见的了 。

相较于围棋，德州扑克更能够检验AI于信息不完整、对手不确定情形下的智能博弈技术。故而在最近几年里，业内一致认定德州扑克极为适宜当作一个虚拟实验环境，用以对博弈的相关基础理论方法、核心技术算法展开深入探究。

当下，那较为流行的德州扑克AI核心观念，乃是运用一种名为“反事实遗憾最小化（CFR）”的算法，去靠近纳什均衡策略，也就是在其他所有参与者的策略已然确定的情形下，任意一位参与者所采取的策略皆为“最优解” 。

然而呢，这种办法一直以来都存在着一个相对较为显著的不足之处，那就是它过度依靠人类专家去开展博弈树抽象，这也就表明了一点，不管是在开展AI训练的时候也好，还是最终进行对局的阶段也罢，它都需要数量众多的计算以及存储资源，而这一点，同样变成了限制德州扑克AI进一步向前发展的阻碍了。

兴军亮团队在AAAI 2022上，赢得卓越论文奖，原因在于，他们针对AlphaHoldem，采用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法，把一种改进过后的深度强化学习算法跟一种新型的自博弈学习算法相联合，能够不借助任何领域知识，直接从牌面信息出发，由端到端地学习候选动作，而后做出决策 。

有数据显示，AlphaHoldem每次进行决策时的速度，甚至连3毫秒都不到，而是比之前同一类型AI决策速度快了1000倍。并且，AlphaHoldem跟4位具备高水平的德州扑克选手对抗了1万局，其结果也已然证明确实达到了人类专业玩家的水平。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

怎会有人想到，取得这般成绩之人兴军亮，竟是半路才从事的相关领域？最初他钻研的是计算机视觉，通俗来讲那是让 AI 识别是什么这么一回事。随后随着研究不断深入，兴军亮意识到仅仅教会 AI 识别是什么，跟真正人工智能的目标存在很大差距。未来究竟要如何前行，这可困扰了他相当长的时间。

兴军亮察觉到用游戏训练AI的构思，最初是受AlphaGo的启迪，才萌生此想法的。在教AI下围棋的过程中，兴军亮留意到，该行为的实际本质是在处理AI领域的“认知智能”问题，使得AI不仅能够晓得“是什么”，而且还能够知晓“为什么”。

再加上，在人工智能的发展历程当中，游戏自身便是相关研究的试验场地。通过游戏训练来造就更为厉害的AI，遂成为兴军亮的目标。

兴军亮

为全方位知悉不同种类游戏的机制，原本极少与游戏有接触的兴军亮着手培养自身的“网瘾”，找出具有代表性的游戏，钻研教程，训练手速，达成通关一事，每一点都不亚于职业玩家 。

在这一进程里，兴军亮愈发觉得，玩游戏是一桩极为有意思的事情。特别是不同游戏的机制设定，极为适宜用以探究某些基础的科学问题。而在这当中，便存在游戏博弈。

以此次获奖的德州扑克AI程序来讲，它的本质是一个存在不完美信息的博弈问题，由于德州扑克具特定游戏规则，每个人手中持有两张私有牌，牌面的大小对最终胜负并无影响，因为玩家能够借助假装牌面大与押注金额大等方式将对手吓跑 。

两人无限注德州扑克一次游戏过程示意

兴军亮带领着团队，其目的是教会AI去打德州扑克，为此前后动用了十多台服务器，将算力进行集中，使得AI持续不断地与自己进行打牌，就这样，历时20天的时间，打牌的局数达到了1亿局左右。

之后，他们再度将游戏学习的性能予以了进一步的提升。此次，他们仅仅动用1台服务器，在训练未满3天的情况下，便能够达成预期的水准。

于此过程里，参与训练的AI会学到一些近似于人类专业选手才会掌握的计谋，这一点，恰是不完美信息博弈最为有趣之处。当前，兴军亮及其团队构建的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），已对外公开。依兴军亮所言，此系统或许是国内唯一能够公开进行德州扑克游戏的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

诸如不完美信息博弈这般的机制，于经济政策制定领域，有着广泛应用，于法律法规优化领域，有着广泛应用，于外交策略选择领域，同样存在广泛应用。而这些，恰是国际同行正致力于攻克的，且是国内相关研宄颇为薄弱的。

兴军亮不懈追求的方向是什么呢，是去训练出一个人工智能，这个人工智能要更聪明，还要更有用，并且可以和人类融为一体 。