国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

确实如此，此次荣获奖项的德州扑克里的人工智能——AlphaHoldem，便是形同AlphaGo的存在之处。只是，于针对AlphaHoldem的训练进程当中，其训练的模型为德州扑克。

借助游戏来打造AI的训练模型，于人工智能这个领域当中，已然是极为平常的一桩事情。

跟前些年相比，德州扑克在需要AI具有智能博弈技术的形势，对信息不完备、对手不确定的情况下，考验得更甚一筹。所以这些年来，业内普遍认为，德州扑克是一个非常适合的虚拟实验环境，可以对博弈的相关基础理论方法、核心技术算法，展开深入研究 。

当下，较为流行的德州扑克AI关键思路，是借助一种叫做“反事实遗憾最小化（CFR）”的算法德信竞技，去接近纳什均衡策略，也就是说，对于任何一位参与者而言，在其他所有参与者策略已确定的情形下，他所采取的策略都是“最优解” 。

然而，这种方式始终存在一个相对为明显情形的不足之处：它过度依托人类专家去开展博弈树抽象。这便表明，不管是于进行AI训练之际，还是在最终对局之时，它都需求大量的计算以及存储资源。而这一点，同样构成了限制德州扑克AI进一步向前发展的阻碍因素。

兴军亮团队在AAAI 2022上荣获卓越论文奖，原因在于他们为AlphaHoldem采用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

有这样一种用于算法的新形式，它把一种经过改进的深度强化学习算法，跟一种新型的自博弈学习算法进行结合，在不借助任何领域知识的情境下，能直接从牌面信息出发，端到端地去学习候选动作，之后做出决策 。

现有数据表明，AlphaHoldem每次进行决策时的速度，甚至连3毫秒都达不到，它比之前同类型的AI在做出决策之时的速度，快了1000倍。而且，AlphaHoldem与4位具备高水平的德州扑克选手，展开了1万局的对抗，其结果也证实，它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

兴军亮有了用游戏训练AI的想法，这最早是受AlphaGo启发，透过教AI下围棋，兴军亮发现，该动作实质是解决AI领域的“认知智能”问题，能让AI不仅知道“是什么”，还能知道“为什么”。

并且，在人工智能的发展历程当中，向来游戏自身便是相关研究的试验场地。凭借游戏去训练出更为厉害的人工智能，这也就这样成为了兴军亮所设定的目标。

兴军亮

兴军亮原本很少接触游戏，为了能各处全面地知晓不一样类型游戏的机制，他开始培养自己的“网瘾”，这其中包括找出具有代表性的游戏，研究相关教程，练习手速，完成通关，每一步所做的都不比职业玩家少，是这样的情况。

沿着这个进程，兴军亮愈发感觉到，投身玩游戏是一桩极具趣味的事情。特别是各类游戏的机制架构，极为契合用以探究某些基础的科学难题。在此当中，存在着游戏博弈 。

仅以此次荣获奖项的德州扑克AI程序来讲，它的实质就是一个存在不完美信息的博弈问题，由于依据德州扑克的游戏规则，每个人手中都持有两张私有牌，牌面大小对最终胜负并无影响，鉴于玩家能够借助假装牌面大、押注金额大等方式吓退对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用十多台服务器，集中算力，让AI持续跟自身打牌，历经20天时间，打出了约1亿局 。

之后，他们再度对游戏学习的性能予以了进一步的提升。此次，他们仅仅动用了1台服务器，进行训练的时长还不到3天，便能够达成预期的水平。

在这个进程里面，参与训练的AI能够学会一些近似于人类专业选手才会掌握的计谋，这恰是不完美信息博弈最为有趣之处，当前，兴军亮以及团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/）已经对外进行开放，按照兴军亮的说法，这个系统或许是国内唯一能够公开进行德州扑克游戏的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

诸如不完美信息博弈，这般机制，于经济政策之制定范畴，于法律法规之优化范畴，于外交策略之选择范畴等诸多领域，皆存有极为广泛之应用。此些方面，乃国际同行正奋力予以攻克者，同是国内相关研究所相对薄弱之处。

要训练出一个人工智能，这个人工智能要更聪明，还要更有用，并且能够和人类融为一体，这是兴军亮持续不懈去追求的方向。