国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

近来，于美国人工智能协会所举办的人工智能国际顶级会议——AAAI 2022期间，大会的卓越论文奖项，给予了一款轻量型德州扑克AI程序——AlphaHoldem。在同高水平德州扑克选手进行对抗之际，它的决策速度以及各方面表现，已达人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

对于德州扑克与人工智能，无论普通人以怎样的方式去看待，其第一个冒出来的反应，一概都会觉得此二者之间，简直就是毫无关联、没法扯到一块儿去的。然而，只要脑海里稍微思索一下那个曾与柯洁对弈围棋的AlphaGo，难道不就会觉得容易理解多了吗？

对的，此次获奖的德州扑克人工智能——AlphaHoldem，就是如同AlphaGo那般的存在。只是，在针对AlphaHoldem的训练进程里，其训练模型是德州扑克。

以游戏作为AI的训练模型，于人工智能这个领域当中，已然是极为平常的一桩事情。

比起围棋，德州扑克更能够用以考验AI在信息不完整、对手状况不明朗情形下的智慧博弈技术，因而在最近几年间，业内一致认可德州扑克特别适宜充当一个虚拟实验环境，针对博弈的相关基础理论方法以及核心技术算法，展开深度研究。

当前，相对较为流行的德州扑克AI核心观念，是借助一种名为“反事实遗憾最小化（CFR）”的算法，去接近纳什均衡策略，也就是说，在其他所有参与者策略已确定的情形下，任意一位参与者所采取的策略，皆是“最优解”。

然而，这种方式始终存在着一个相对显著的不足，那就是它过度依靠人类专家来开展博弈树抽象，这表明，不管是在开展AI训练的时候，还是在进行最终对局之际，它都需要海量的计算以及存储资源，而这，同样构成了限制德州扑克AI进一步推进的障碍。

兴军亮团队在AAAI 2022上取得卓越论文奖，是由于他们针对AlphaHoldem运用了一种全新的、基于端到端的深度强化学习算法，就是这样。

端到端学习德州扑克AI学习框架

有着这样一种新算法，它把一种经过改进的深度强化学习算法，同一种新型的自博弈学习算法相互结合起来，能够在毫无领域相关知识可供借助的情形下，直接从牌面信息开始，端到端地对候选动作展开学习，而后做出决策。

据数据呈现，AlphaHoldem每一次进行决策之时的速度，甚至连3毫秒都达不到，它相较于之前同一类型的AI决策速度加快了1000倍。而且，AlphaHoldem跟4位处于高水平的德州扑克选手相互对抗达1万局的最终结果也证实，它已然达成了人类专业玩家的水平。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

可谁又能够想到，那个能够取得这般成绩的兴军亮，竟然是“中途转行”的？他最开始是钻研计算机视觉的，简单讲也就是教导 AI 去识别“是什么”方面的内容！然而随着研究不断地深入下去，兴军亮察觉到，单单教会 AI“是什么”，与真正的人工智能目标存在着很大而明显的差距！未来到底该朝着怎样的方向前行，这可困扰了他相当长的一段时间。

兴军亮有了用游戏训练AI的想法，最早是受AlphaGo启发，透过教AI下围棋，兴军亮发现，此动作实质是解决AI领域的“认知智能”问题，让AI不但知晓“是什么”，还能明白“为什么”。

而且，于人工智能的发展进程里，游戏自身便是相关研究的试验场地。借由游戏去训练出更为厉害的AI，这便成为了兴军亮的目标。

兴军亮

只因要全方位去知晓不同种类游戏的机制，向来很少接触游戏的兴军亮着手培育自身的“网瘾”，先是找出具有代表性的游戏，接着研究教程，随后练习手速，最终完成通关，每一步都不比职业玩家少，这是事实。

此过程里，兴军亮愈发觉得，玩游戏是极为有意思之事，特别是不同游戏的机制设定，极适合用以研究某些基础科学问题，这里面，便存有游戏博弈。

拿此次获奖的德州扑克AI程序来讲，它的本质是个不完美信息的博弈问题，由于德州扑克游戏规则规定，每个人手上持有两张私有牌，牌面大小对最终胜负无影响，因为玩家能够借着假装牌面大、押注金额大等方式吓跑对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用十多台服务器，来集中算力，让AI不停跟自己打牌，历经20天时间，打出了约1亿局。

随即便到后来德信竞技，他们又在游戏学习的性能方面，进一步予以了提升。这一回，单是使用1台服务器，在训练时长少于3天这样的情况之下，便能够达成预期的水准啦。

在当下这个进程里面，参与相关训练的人工智能能够学到一些好比人类专业选手才会把控的谋略；而这种情况，恰恰就是不完全信息博弈最为有意思的所在之处；当下，由兴军亮以及其团队所打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），当前已经面向外界开放对外；按照兴军亮所讲的，这个系统或许是国内唯一能够公开进行德州扑克活动的场所地点。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

如同那种涵盖非完全性信息交互规则的博弈形式，这般的机制情形，于经济政策的拟定规划环节、法律法规的改进完善进程、外交策略的抉择挑选方面等诸多领域范畴之内，均具备极为广泛的运用实施情况。而这些层面领域，乃是国际上同行人士正在全力以赴予以攻克突破的，属于国内相关领域研究相较而言比较欠缺不足的。

兴军亮不停歇地不懈探寻的目标所在，是去培育造就出一个能与人类合而为一，且才智更加高超、用途更为广泛的人工智能，作为他始终不渝追求的方向。