国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

最近，在美国人工智能协会所举办的人工智能国际顶级会议，也就是AAI 2022上，大会所设立的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序，即AlphaHoldem。在与高水平德州扑克选手展开对抗期间，它的决策速度以及各方面表现，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

无论普通大众以怎样的视角去看待，对于德州扑克以及人工智能而言，其第一反应往往都会认定，在这二者之间，完全是毫无关联的。然而要是去思索一下那个曾与柯洁对弈围棋的AlphaGo，难道这样之后不就能够比较容易理解了吗？

对的，这一回荣获奖项的德州扑克人工智能——AlphaHoldem，便是等同于AlphaGo的那儿。只是，在面向AlphaHoldem的训练进程里，它的训练模型为德州扑克。

以游戏当作那AI的训练模型，于人工智能这个领域当中，已然是极为平常的一件事情。

与围棋相较，德州扑克更能够检验 AI 于信息不充分、对手不明确状况下的智能博弈技术。故而在近些年里，业内一致认定德州扑克颇为适宜当作一个虚拟实验环境，用以对博弈的相关基础理论方法、核心技术算法，展开深入探究。

当下，较为流行的德州扑克AI关键思路，是借助一种名为“反事实遗憾最小化（CFR）”的算法，去靠近纳什均衡策略，也就是在其他全体现有者策略已然明确的情形下，任何一位参与者所施行的策略皆为“最优解”。

然而，这种方式始终存在着一个相对显著的不足之处，那便是它过度依赖人类专家去开展博弈树抽象。这也就表明，不管是在开展AI训练之际，还是在最终对局之时，它都少不了大量的计算以及存储资源。而这一点，同样变成了限制德州扑克AI向深入层面发展的一大阻碍。

兴军亮团队在AAAI 2022上荣获卓越论文奖，原因在于他们针对AlphaHoldem运用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

这种新算法，把一种改进过后的深度强化学习算法，以及一种新型的自博弈学习算法，相互结合起来，能够在不借助任何领域知识的情形下，直接从牌面信息开始到结束地学习候选动作，而后做出决策。

数据呈现，AlphaHoldem每一回进行决策的速率就连3毫秒都达不到，相较于之前同类型的AI决策速率快出了1000倍。而且，AlphaHoldem跟4位具备高水平的德州扑克选手开展1万局对抗的成果同样证实，它已然抵达了人类专业玩家的水准。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

没想到，取得这般成绩的兴军亮，竟然是“半路出家”德信竞技，起初他从事计算机视觉研究，也就是教AI认知“是什么”，然而随着研究推进，兴军亮发觉，仅教会AI“是什么”，与真正人工智能目标差距极大，未来前行方向，长时间困扰着他。

兴军亮有了用游戏训练AI的这个想法，最早是受AlphaGo启发的。兴军亮透过教AI下围棋，发现此动作实质是解决AI领域的“认知智能”问题，该问题能让AI不仅知道“是什么”，还能知道“为什么”。

在人工智能的发展进程当中，游戏自身作为相关研究实验场地持续存在着。借助游戏去培养出更为厉害的AI，进而这就成为了兴军亮所要达成的想法与意图啦。

为全面知悉各类型游戏的机制，起初极少接触游戏的兴军亮着手培育自身的“网瘾”，找出具有代表性的游戏，钻研教程，训练手速，达成通关 ，每一步都不比职业玩家少。

在这般情形当中，兴军亮愈发觉得，玩游戏是一桩极为有意思的事情。特别是不同游戏的机制设定，极其适宜用以探究些许基础的科学问题。在这当中，存在着游戏博弈。

拿此次获奖的德州扑克 AI 程序来讲，它的本质呈现为一个不完美信息的博弈问题 ，由于依据德州扑克的游戏规则 ，当中每个人手上均持有两张私有牌 ，牌面大小对最终胜负并无影响 ，鉴于玩家全然能够凭借假装牌面大 、押注金额大等方式吓跑对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带领着团队，为了教会AI在德州扑克中打牌，前后动用了十多台服务器做啥呢，是集中算力呀，要让AI持续不断地跟自己打牌，在20天的时长里，打出了大概1亿局。

随后，他们对游戏学习的性能做了进一步的提升。这一回，他们仅仅运用 1 台服务器，进行训练，时间不到 3 天，便能够达成预期的水平。

在这个进程之中，参与训练的 AI 能够学会一些近似于只有人类专业选手才会掌握的计谋，这恰恰是不完美信息博弈最为有意思的所在，并且当今呈现着的情况是，兴军亮以及团队所打造的德州扑克在线人机对抗平台 OpenHoldem（网址为 http://holdem.ia.ac.cn/）当前已然对外展开开放，依据兴军亮而讲，这个系统兴许是国内唯一的那个可公开进行打德州扑克的地方。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

像是那种并非完美信息的博弈机制，其会在经济领域政策制定方面，在法律法规优化范畴，在包括外交策略选择的诸多领域，都有着极为广泛的运用。而这些方面，都是国际同行正在费劲努力去攻克的内容，同时也是国内相关研究情形比较薄弱的部分。

促使兴军亮以不懈的姿态去追求的方向，乃是，训练出一个能与人类融为一体的人工智能，且这个该人工智能要更具聪明才智，更为有用。