国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

近期，于美国人工智能协会所举办的人工智能国际顶尖会议，即AAAI 2022之上，大会的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序，名为AlphaHoldem。在与高水平德州扑克选手展开对抗期间，它的决策速度以及各层面表现，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

德州扑克，当普通人看待它时，不管从何种角度去瞧，第一反应都会认为其自身，和人工智能，二者之间，是完全没有关联的，就如同风与马、牛之间那般毫无联系。可是呢，只要普通人脑海里去想一想，那个曾与柯洁进行围棋对战的AlphaGo，是不是对于德州扑克和人工智能，二者有关联这件事，就比较容易理解了呢？

没错儿，这一回荣获奖项的德州扑克人工智能——AlphaHoldem，便是如同AlphaGo那般的存在。只是呢，在针对AlphaHoldem展开训练的进程当中，其训练模型乃是德州扑克。

在人工智能有关领域当中，将游戏用作AI的训练模型，眼下已然是极为平常的一桩事情。

相较围棋而言，德州扑克更善于考验 AI 在处于信息不完备以及对手不确定情形下的智能博弈技术。因而在近几年当中，业内一致认定，德州扑克极为适合作为一个虚拟实验环境，用以对博弈的相关基础理论方法、核心技术算法展开深入研究。

当下，较为流行的德州扑克AI关键思路，是借助一种名为“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是在其他所有参与者策略已确定的情形下，对任意一位参与者来说，他所采取的策略都是“最优解”。

然而，这种方式始终有一道较为显著的不足：它过度依赖人类专家来开展博弈树抽象。这表示着，不管是在开展AI训练时，还是在最终对局时，它都需要诸多的计算以及存储资源。而这，也变为了限定德州扑克AI进一步前行的妨碍。

兴军亮团队在AAAI 2022上荣获卓越论文奖，原因在于，他们针对AlphaHoldem运用了，一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法，会把一种经过改进的深度强化学习算法，跟一种新型的自博弈学习算法相融合，它能够在不借助任何领域知识的情形下，直接从牌面信息开始，端到端地去学习候选动作，而后做出决策。

有数据表明，AlphaHoldem每次进行决策时的速度，甚至连3毫秒都达不到，它比之前同一类型的AI决策速度快出了1000倍。而且，AlphaHoldem跟4位具备高水平的德州扑克选手对抗1万局之后所产生的结果，也证实了它已经达到了人类专业玩家的水平。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

可是，有谁能够料想到，那个能够达成这般成绩的兴军亮，竟然是“半路投身进来的”？他最开始的时候，从事的乃是计算机视觉方面的研究，简单讲来，也就是去教导AI辨别“是什么”。然而，伴随研究的不断深入，兴军亮察觉到，仅仅教会AI“是什么”，跟真正的人工智能目标存在着极大的差距。未来到底该如何前行，这困扰了他相当长的一段时间。

拥有用游戏训练AI想法的兴军亮，最早是受AlphaGo启发才有的此想法，透过教AI下围棋，从而发现，这个行为的实质是在解决AI领域的“认知智能”问题，即让AI不仅知道“是什么”，并且还能知道“为什么”。

在人工智能的发展历程当中，游戏于其相关领域的研究而言德信竞技，本身就是一块试验的场地。借助游戏去培植出更为强大的人工智能，这便成为了兴军亮所设定的目标。

兴军亮原本很少接触游戏，为了能全方位去了解不同类型游戏的机制，他开始培养自己的“网瘾”，先是找出代表型游戏，接着研究教程，然后练习手速，最后完成通关，这其中每一步都不比职业玩家少，标点符号！

于这个进程里，兴军亮愈发觉得，玩游戏是一桩透着十足趣味之事。特别是不一样游戏配备设置的机制，极其适配被用以钻研某些根基的科学问题。在此行列之中，便存在游戏博弈这一情况。

拿此次获奖的德州扑克AI程序来讲，它的本质是一个涉及不完美信息的博弈问题。德州扑克有其游戏规则，每个人手上会有两张私有牌。牌面大小对最终胜负没有影响，玩家能通过假装牌面大、押注金额大等方式把对手吓跑。

两人无限注德州扑克一次游戏过程示意

兴军亮带领着团队，为了使得AI学会打德州扑克，先后动用了十多台服务器，将算力汇聚起来，让AI持续与自身进行打牌活动，在20天这般的时长里，达成了大约1亿局的打牌数量。

接着，他们再度对游戏学习的性能予以了更进一步的提高。此次，他们只运用了一台服务器，进行训练的时长不到三天，便能够达成预期的水准。

这个过程里，参与训练的AI会学到一些类似人类专业选手才会掌握的计谋，这正是不完美信息博弈最有意思之处。目前，兴军亮及其团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/）已对外开放。兴军亮表示，这个系统或许是国内唯一可公开打德州扑克的地方。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

诸如不完美信息博弈这样的机制， 在经济政策予以制定之处存在广泛应用， 在法律法规进行优化之时有着广泛应用， 在外交策略选取之际同样有着广泛应用。 这些领域， 乃是国际同行正致力于努力攻克解决的领域， 也是国内相关研究相对而言比较薄弱的领域。

兴军亮不懈追求的方向，是去训练出一个人工智能，这个人工智能要更聪明，要更有用，还要可以和人类融为一体。