国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶会这般重要的场合，也就是AAAI 2022上，大会卓越论文奖被颁发给了一个轻量型德州扑克AI程序，这一程序便是AlphaHoldem。在与高水平德州扑克选手进行对抗的时候，它的决策速度以及各方面表现，已然达到了人类专业玩家的水平。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

德州扑克以及人工智能，不管普通大众是以怎样的角度去看待，其第一反应会都是觉得那两者之间，完全没有任何关联，极为悬殊。然而只要稍加思考，去想想那个与柯洁对弈围棋的AlphaGo，是不是由此就能够比较容易理解了呢？

是的，这一回赢得奖项的德州扑克人工智能 AlphaHoldem 就是与 AlphaGo 类似的存在，只不过呢，处于针对 AlphaHoldem 的训练进程里，它的训练模型是德州扑克。

于人工智能领域之中，将游戏用作AI的训练模型，这已然是极为常见的一个事情了。

相较于围棋，德州扑克更能够检验AI在信息不完整、对手不明确状况下的智能博弈技术，因而近些年来，业内一致认为德州扑克极为适宜当作一个虚拟实验环境，针对博弈的相关基础理论方法以及核心技术算法，展开深入探究。

当下，颇为流行的德州扑克AI核心观念乃是借由一种称作“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，就是说在其他所有参与者策略已然确定的情形下，任意一位参与者所采取的策略皆为“最优解”。

然而，此种办法始终存有一个颇为显著的不足：它过度倚赖人类专家去执行博弈树抽象！这表明，不管是开展AI训练之际，还是最终对局之时，它都要求海量的计算以及存储资源。而这，同样变成束缚德州扑克AI迈向更深层次发展的桎梏。

兴军亮团队获AAAI 2022卓越论文奖，是因为他们为AlphaHoldem采用新的、基于端到端的深度强化学习算法，是这样的原因。

端到端学习德州扑克AI学习框架

一种改进后的深度强化学习方法，与一种新型的自博弈式学习算法，共同组建了此种新的算法，它不需借助任何有关领域范畴的特定知识，能够直接从牌面所呈现的信息开始入手，经过整个流程直至终端，去学习那些可供选择的动作内容情况，转而据此做出关乎后续动作的决策行为事项，最终完成整个决策过程。

数据展示了，AlphaHoldem每次进行决策之际的速度，甚至连3毫秒都达不到，它比先前同等类型的AI决策速度快起来1000倍。而且，AlphaHoldem跟4位较高水准德州扑克选手展开对抗1万局的最终结果也得以证实，它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

然而，谁会预料到能够获取这般成绩的兴军亮，竟然会是“半路闯进这个领域投身的人”呢？他起初所从事的是针对电脑视觉的钻研工作，总而言之呀，那就是教导人工智能解析出所查看的情形所对应的是“什么事物”。可是呢凭借着致力于其中探索深度的持续推进，兴军亮察觉到仅仅教会人工智能断定“是什么”，跟真正意念里塑造的智能化那所追寻抵达的目标之间存在着相当大的差距。对于在以后的发展进程里应当怎样开创前行的模式方向，这事一直让他深陷在困惑之中很长时间了。

兴军亮有了用游戏训练 AI 的想法，最早是受了 AlphaGo 的启发，透过教 AI 下围棋，兴军亮发现，这个动作的实质是在解决 AI 领域的“认知智能”问题，能让 AI 知晓“是什么”，还能明白“为什么”。

在人工智能的演化进程当中，游戏自身从一开始便是相关探索的试验场地。借助游戏去培育出更为强大的人工智能，已经成为了兴军亮所要达成的目标。

兴军亮

兴军亮原本很少接触游戏，为了全方位去了解不同类型游戏的机制，他开始培养自己的“网瘾”，先是找出代表型游戏，接着研究教程，然后练习手速，最后完成通关，这其中每一步不比职业玩家少。

就在这个进程里头，兴军亮日益发觉，去玩游戏乃是一桩极具意味的事情。特别是那些分别来自不同游戏的机制设定，特别符合用以探究某些基础的科学疑难。在这中间，存在着游戏博弈。

对此次获奖的德州扑克AI程序来讲，其本质属于一个非完美信息的博弈问题，由于德州扑克游戏规则规定，每个人手头持有两张私有牌，牌面的大小不会对最终胜负造成影响呀，因为玩家能够凭借假装牌面大、押注金额大等方式吓退对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用十多台服务器，集中算力，让AI持续跟自己打牌德信竞技，历经20天时间，打出了约1亿局。

继而，他们再度对游戏学习的性能予以增强。此次，他们单单借助1台服务器，在训练不足3天的情况下，便能够达成预期水准。

而处于这个过程里面，进行训练的 AI 能够学到一点类似于只有人类的专业选手才会获取到的谋略。而这一情况，恰恰就是不完美信息博弈最为有意思的所在地区。当前，兴军亮跟团队创建打造生成的德州扑克在线的人机对抗平台 OpenHoldem（http://holdem.ia.ac.cn/）今日业已对外展开开放。依据兴军亮所讲的内容可以知道，这个系统极有可能是国内仅有的会让公开进行打德州扑克的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

存在一种机制，它是像不完美信息博弈那样的机制在经济政策制定领域，、在法律法规优化领域、在外交策略选择等领域有着极为广泛的应用。这些领域是国际同行正在奋力攻克的，是国内相关研究所比较薄弱的。

兴军亮一直不懈追求的方向，是去训练出一个人工智能，这个人工智能它得越来越聪明，它得越来越有用，它还得能够和人类融为一体。