国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

的确是这样，这一回获得奖项的德州扑克人工智能——AlphaHoldem，就是如同AlphaGo那样的存在。只是，在针对AlphaHoldem展开训练的进程里，它的训练模型是德州扑克。

在人工智能领域之中，把游戏用作AI的训练模型，已经是极为平常的一件事情了。

与围棋相较，德州扑克在提供信息不全面、对手状况不确定这些情形下，更能够对AI的智能博弈技术予以检验。因而在最近几年里，在行业内部大家都认可德州扑克很适宜当作一个虚拟实验环境，用来对博弈的有关基础理论方法、核心技术算法展开深入探究。

当前，较为流行的德州扑克AI关键思路，是运用一种称作“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是在其他全部参与者策略已确定的情形下，任意一位参与者所采取的策略皆为“最优解”。

不过德信竞技，这种方法一直存在一个颇为显著的缺陷：它过度依赖人类专家展开博弈树抽象。这代表着，无论是在开展AI训练之时，还是在最终对局之际，它都需要海量的计算以及存储资源。而这一点，同样成为了限制德州扑克AI进一步迈进的障碍。

兴军亮团队，在AAAI 2022上，获得卓越论文奖，是由于他们，为AlphaHoldem，采用了一种新的，基于端到端的，深度强化学习算法。

端到端学习德州扑克AI学习框架

一种改进后的深度强化学习算法，与一种新型的自博弈学习算法两相结合，构成本种新算法，此算法能够在不借助任何领域知识的情形下，直接从牌面信息出发，端到端地去学习候选动作，随后做出决策。

有数据表明，AlphaHoldem每次进行决策时的速度，甚至连3毫秒都达不到，它比之前同一类别的AI决策速度要快上1000倍。而且，AlphaHoldem跟4位具备高水平的德州扑克选手相互对抗1万局所呈现的结果，同样证实了，它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

兴军亮有了用游戏训练AI的想法，最早是受AlphaGo启发，且透过教AI下围棋，兴军亮发现，这个动作的实质意在解决AI领域的“认知智能”问题，能让AI不但知晓“是什么”的情况，还可明白“为什么”的缘由。

在人工智能的发展进程里，游戏自身便是此项研究的试验场地。凭借游戏来训练出更为强大的人工智能，这便构成了兴军亮的追求方向。

兴军亮

为了全面且周到地认识不同种类游戏的机制，起初很少接触游戏的兴军亮着手培育自身的“网瘾”，找出具有代表性的游戏，钻研教程，练习手速，达成通关，每一步都和职业玩家一样没少做。

于这个进程里，兴军亮愈发感觉到，玩游戏是一桩极为有意思的事情，特别是不同游戏的机制设定，格外适合用以探究一些基础的科学问题，在此之中，便存在游戏博弈。

以此次获奖的德州扑克AI程序而言，它的本质是一个博弈问题，且是不完美信息方面的。德州扑克有其游戏规则，每个人手上都会有两张私有牌。牌面大小对最终胜负并无影响，玩德州扑克的玩家能够借助假装牌面大、押注金额大等手法，以此来吓跑对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用十多台服务器，集中算力，使AI不断地跟自己打牌，历经20天时间，打出了约1亿局。

紧接着，他们再度将游戏学习的性能予以了进一步的提升。此次，他们仅仅借助1台服务器，在训练时长不足3天的情况下，便能够达成预期的水平。

在这个进程当中，参与培训的AI可以学到一些近似于只有人类专业选手方能掌握的谋略，这，正巧属于不精准信息对抗最为有意思的要点，当前，兴军亮及其团队构建的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），现已对外敞开，依据兴军亮所言，此系统或许是国内唯一能够公开玩德州扑克的场所。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

像那种，被称之为不完美信息博弈的机制，在经济政策制定这个范畴，在法律法规优化此领域，在外交策略选择这类方面，都存在极为广泛的应用情形。而这些情形，恰恰是国际同行正在全力以赴去努力攻克的对象，同时，也是国内相关研究相对比较薄弱的部分，这一点是确定无疑的。

去培育出一个更具智慧、更有价值、能够与人类相互契合的人工智能，这是兴军亮始终不懈追寻的目标，是其矢志不渝努力的方向，是他一直持之以恒探索的所在。