国内唯一德州扑克网址曝光！中科院出品AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶级会议——AAAI 2022大会上，大会卓越科学论文奖颁发给了一个轻量型玩德州扑克的AI程序——AlphaHoldem（阿尔法扑克）。在与高水平玩德州扑克选手进行对抗时，它的决策速度以及关于各方面的表现，已经达到人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

对于德州扑克以及人工智能，不管普通大众以怎样的视角去看待，其首先出现的反应都会认为在这两者之间，完全是毫无关联的。然而，只要思索一下那个与柯洁进行围棋对弈的AlphaGo，难道这样一来就能够比较容易理解了吗？

的确，此次获取奖项的该项德州扑克AI，也就是AlphaHoldem，乃是如同AlphaGo这般的物事。只是，于针对AlphaHoldem展开的训练进程中，它所采用的训练模型是德州扑克。

将游戏用作AI的训练模型，于人工智能这个领域，已然是极为平常的一桩事 。

与围棋相较，德州扑克在对 AI 于信息不完备状况下，以及对手不确定情形里的智能博弈技术考验上，表现更为突出。就此，在最近几年间，业内一致认定德州扑克极为适宜充当一个虚拟实验环境，用以针对博弈的相关基础理论方法，还有核心技术算法，展开深度研究。

当下，较为流行的德州扑克AI核心观念，是借助一种名为“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是说，任意一位参与者，在其他所有参与者策略已确定的情形下，他所施行的策略都是“最佳解决方案”。 。

然而，这个方法始终存在着一个相对较为显著的不足之处，那就是它过度地依赖于人类专家去开展博弈树抽象，这也就表明，不管是在开展AI训练的时候，还是在最终进行对局的阶段，它都需要数量众多的计算以及存储资源，而这般情况，同样变成了限制德州扑克AI实现进一步发展的障碍 。

兴军亮团队在AAAI 2022上荣获卓越论文奖，原因在于，他们针对AlphaHoldem运用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法联结了一种改进后的深度强化学习算法以及一种新型的自博弈学习算法，它能够不借助任一领域知识，直接从牌面信息自起始至末尾去学习候选动作，随后做出决策 。

有数据表明，AlphaHoldem每次进行决策的时候，其速度竟然连3毫秒都达不到，相较于先前同类AI的决策速度，它要快上1000倍。并且，则AlphaHoldem跟4位具备高水平的德州扑克选手相互对抗1万局之后所呈现出的结果，同样证实了，它已然达到了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

但，谁能够想到，那个能够取得这般成绩的兴军亮，竟然是“半路踏入学问之殿堂”的？而且，他最开始的时候，是钻研计算机视觉这一方面的，简而言之，也就是去教导AI识别究竟“是什么”的状况。然而，随着研究一步一步地深入下去，兴军亮察觉到了，仅仅只是教会AI“是什么”这种情况，和真正意义上的人工智能所追求的目标，相差得实在是非常遥远的。那未来到底该朝着怎样的方向前行，这个问题可是困扰了他相当长的一段时间。

兴军亮有了用游戏训练AI的想法，这最早是受AlphaGo启发，透过教AI下围棋，兴军亮发现，此动作实质是解决AI领域的“认知智能”问题，能让AI不但知道“是什么”，还能知道“为什么”。

再者，于人工智能的发展历程当中，游戏自身便是相关研究的试验场地。借由游戏去训练出更为厉害的人工智能，这便成为了兴军亮的目标。

兴军亮

兴军亮，原本很少接触游戏，为了能全方位地去了解不同类型游戏的机制，开始培养自己的“网瘾”——找出代表型游戏，拿出充分精力去研究教程，持续不断地练习手速并最终完成通关，每一步所付出的努力都不比职业玩家少，是这种情况 。

在此进程里，兴军亮愈发觉得，玩游戏是极为有意思之事，特别是不同游戏的机制设定，特别适宜用以探究某些基础科学问题，这当中，便包含游戏博弈。

来拿这次获奖的那种德州扑克AI程序来讲，它的本质呢其实就是个存在不完美信息的博弈方面的问题。为啥这么说，鉴于德州扑克所具有的游戏规则，每一个人手上持有的是两张属于自己的私有牌。牌面呈现出来的大小，它并不会对最终的胜负起着决定性的影响德信竞技，这是因为玩家完全能够借助假装牌面很大、押注的金额也大这样的一些手段，从而把对手给吓跑。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用十多台服务器，汇聚算力，让AI持续与自己打牌，历经20天时间，打出约1亿局 。

之后，他们再度对游戏学习的性能予以了进一步的提升。此次，他们仅仅动用了1台服务器，在训练时长不足3天的情况之下，就能够达成预期的水平。

在这个进程当中，参与训练的AI能够学会某些类似于只有人类专业选手才会把握的计谋 ，而这，恰恰就是不完美信息博弈极有意思的之处。当前，兴军亮及其团队倾力打造的德州扑克在线人机对抗平台OpenHoldemhttp://holdem.ia.ac.cn/ ，如今已经对外放开。按照兴军亮所讲，这个系统兴许是国内唯一可以公开进行德州扑克对局的场所 。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

如那种不完美信息博弈的机制，于经济政策制定领域，也在法律法规优化范畴之中，至于外交策略选择这块领域，都拥有极为广泛的运用。这些方面，是国际同行正奋力去攻坚突破的，同样是国内相关研究相对薄弱的。

朝着训练出一个人工智能，这个人工智能要更聪明，还要更有用，并且能够和人类融为一体，这是兴军亮从未停止不懈不倦持续追求的方向。