国内唯一德州扑克网址曝光！中科院出品，AI在线发牌

一项国际卓越论文奖颁给了德州扑克？

这是真事。

近期，于美国人工智能协会所举办的人工智能国际顶级会议——AAAI 2022之上，大会的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序——AlphaHoldem。在与高水平德州扑克选手展开对抗时，它的决策速度以及各方面表现，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

德州扑克与人工智能，对于普通人而言，无论从何种角度去看待，其第一反应都会认为在这两者之间，完全是毫无关联的。然而，只要去思考一下那个与柯洁对弈围棋的AlphaGo，难道不就便于理解了吗？

是的，这次荣获奖项的德州扑克 AI，也就是 AlphaHoldem，是如同 AlphaGo 那般的存在。只是，在针对 AlphaHoldem 展开训练的进程里德信竞技，其训练模型乃是德州扑克。

在人工智能这个领域当中，把游戏用作AI的训练模型，这已然是极为常见的一种情况了。

在针对AI于信息不完备以及对手不确定状况下的智能博弈技术的考验方面，德州扑克相比于围棋展现出更进一步的能力，所以在最近几年当中，全行业都一致认可德州扑克特别适宜担当起一个虚拟实验的环境，用以对博弈的相关基础理论方法以及核心技术算法展开深入方面的研究。

当前，较为流行的德州扑克AI核心观念，是借助一种名为“反事实遗憾最小化（CFR）”的算法，近似于纳什均衡策略——即在其他全部参与者既定策略之时，任意一位参与者所采取的策略均为“最优解”。

然而，这种方式始终存在着一个相对显著的不足之处，那就是它极为依赖人类专家去开展博弈树抽象，这也就表明，且不论在执行AI训练阶段还是最终对局阶段，它都需求海量的计算和存储资源，而这一点，同样构成了限制德州扑克AI得以更进一步发展的障碍。

之所以兴军亮团队能在AAAI 2022上获取卓越论文奖，是由于他们给AlphaHoldem采用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

一种新算法，它把改进后的深度强化学习算法与新型的自博弈学习算法相联合，能在不借助任何领域知识之时，直接从牌面信息出发，端到端地学习候选动作，而后做出决策。

有数据表明，AlphaHoldem每次进行决策时，它的速度竟然连3毫秒都达不到，然而它却比之前同一类型的AI决策速度快出了1000倍。而且，AlphaHoldem和4位处于高水平状态的德州扑克选手相互对抗了1万局，其结果也充分证实，它已然达到了人类专业玩家的水平句号。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

但是，又有谁能够想象得到呢，那个能够取得这般成绩的兴军亮，竟然是属于“半路出家”的情况？他最开始的时候，从事的是计算机视觉方面的研究，简单来讲，也就是教导 AI 去识别“是什么”。然而，随着研究不断地深入下去，兴军亮察觉到，仅仅是教会 AI“是什么”，这与真正的人工智能目标之间，存在着相当大的差距。未来究竟该朝着怎样的方向前行，这个问题困扰了他很长的一段时间。

兴军亮会产生用游戏训练AI的想法，最开始是受了AlphaGo的启发，透过教AI下围棋，兴军亮察觉到，这个行为的本质实际上是在处理AI领域的“认知智能”问题，能让AI不仅知晓“是什么”，还能够明白“为什么”。

在人工智能发展历程当中，游戏本身便是相关研究的试验场地。借助游戏训练出更为厉害的AI，这成为了兴军亮的目标。

为了全面地知晓不同种类游戏的机制，原本极少接触游戏的兴军亮着手培育自身的“网瘾”，先是找出具有代表性的游戏，接着研究教程，随后练习手速，最后完成通关，每一步都不比职业玩家少。

于这个进程当中，兴军亮愈发觉得，玩游戏乃是一件极具趣味的事情。特别是不同游戏的机制设定，极为适宜用以探究一些基础的科学问题。在此之中，存在着游戏博弈。

且看此次获奖的德州扑克AI程序，其原本所涉及的，实则是一个并非完美信息的博弈方面的问题。这是由于依据德州扑克的游戏具体规则来论，每一个参与游戏的人手上都会持有两张属于自己单独的牌。而牌面呈现出来的大小情况，实际上并不会对最终游戏的胜负结果产生影响。原因在于玩家充分能够凭借假装自己手中牌面很大、押注所涉及的金额数量很大之类的方法手段去吓退对手。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会 AI 打德州扑克，前后动用十多台服务器，集中算力，让 AI 持续跟自己打牌，历经 20 天时间，打出了 1 亿局左右的牌，对不对？

随后，他们对游戏学习的性能做了进一步的提升。此次，他们只用1台服务器，进行训练，训练时间不到3天，就能实现达到预期水平的结果。

于这个进程里面，参与训练的AI会学到一些近似于人类专业对手才会把控的谋略。这，恰恰是不完美信息博弈极具趣味之处。当下，兴军亮及其团队构建的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），现已对外敞开。依兴军亮所言，此系统或许是国内唯独可公开玩德州扑克之地。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

不完美信息博弈这样的机制，在经济政策制定领域有广泛应用，在法律法规优化领域有广泛应用，在外交策略选择领域也有广泛应用。国际同行正在努力攻克这些方面，国内相关研究在这些方面比较薄弱。

努力训练出一个人工智能，使其更为聪明，更加有用，能够与人类相互融合，这是兴军亮始终不懈苦苦追求的方向。