这内容与德州扑克位置无关，无法生成相关标题

一项国际卓越论文奖颁给了德州扑克？

这是真事。

近日，由美国人工智能协会所举办的人工智能国际顶级会议——AAAI 2022上，大会的卓越论文奖项，被颁发给了一款轻量型德州扑克AI程序——AlphaHoldem。处于与高水平德州扑克选手的对抗情形下，它的决策速度以及各方面表现，已然达到了人类专业玩家的水准。

而这项AI程序，就来自中国科学院自动化所的兴军亮团队。

打个扑克都能写论文？

这个德州扑克AI，到底有什么了不起？

德州扑克&人工智能

德州扑克跟人工智能，不管普通大众怎样去看待，最初的反应都会认为在它们二者之间，是完全毫无关联的。可是只要思索一下那个与柯洁对弈围棋的AlphaGo，难道不是就能够比较容易理解了吗？

是的，这一回荣获奖项的德州扑克人工智能AlphaHoldem，乃是如同AlphaGo那般的存在。只是，于针对AlphaHoldem的训练进程当中，其训练模型为德州扑克。

人工智能领域里，用游戏来做AI的训练模型，这已然是极为常见的一个事情 。

同围棋相较而言，德州扑克更能够检验 AI 在信息不完整、对手状况不确定情形下的智能博弈技术。所以最近这些年来，在业内被公认为德州扑克极为适宜当作一个虚拟实验环境，针对博弈的相关基础理论方法、核心技术算法，展开深入探究。

目前，较为主流的德州扑克AI核心思想，是运用一种名为“反事实遗憾最小化（CFR）”的算法，去逼近纳什均衡策略，也就是在所有其他参与者策略已确定的情形下，任意一位参与者所采取的策略都属于“最优解”。

然而，此方法始终存在一个颇为显著的不足之处，那便是它过度倚仗人类专家用以施行博弈树抽象。这便表明，不管是于开展AI训练之际，还是在最终对局之时，它都需求海量的计算以及存储资源。而这一点，也一并得以构成对德州扑克AI进一步拓展加以限制的阻碍因素。

兴军亮团队在AAAI 2022上荣获卓越论文奖，其原因在于他们针对AlphaHoldem采用了一种全新的、基于端到端的深度强化学习算法。

端到端学习德州扑克AI学习框架

有这样一种新算法，它把一种经过改进的深度强化学习算法，同一种全新的自博弈学习算法相融合，能够在不借助任何领域相关知识的情形下，直接从牌面信息开始，端到端地针对候选动作展开学习，而后做出决策。

有数据将其显示出来，AlphaHoldem每次进行决策的时候，其速度甚至并不达到3毫秒，它比之前同一类情形下的AI决策速度要快出1000倍。并且，AlphaHoldema与4位处于高水平状态的德州扑克选手展开对抗，历经1万局这样的结果也能被证明出，它已然达到了人类专业玩家所具备的水平。

成为AI玩家“训练师”

研究成果得到国际主要学术组织的认可，是一件不俗的成绩。

可是，谁有办法想到，那个能够获取这般成绩的兴军亮呵，竟然是“半路投身进来”的状态？他最开始的时候，从事的是计算机视觉方面的钻研工作，简单来讲，就是去教导AI辨别“是什么”这一情况。然而，随着研究朝着纵深方向发展，兴军亮察觉到，仅仅教会AI“是什么”，跟真正的人工智能所设定的目标，差距是非常大的。未来究竟要怎样前行，这可困扰了他相当长的一段时间。

兴军亮诞生用游戏训练AI的想法，最初是受AlphaGo启发，教AI下围棋时，兴军亮领悟到，此行为本质是解决AI领域“认知智能”问题，能让AI不仅知晓“是什么”，还能明白“为什么”。

在人工智能的发展历程当中，游戏自身便是相关研究的试验场地。通过游戏来训练出更为厉害的AI，这便成为了兴军亮所追求的目标。

兴军亮原本很少接触游戏，为了能全方位地去了解不同类型游戏的机制，他开展行动，先是找出代表型游戏，接着研究教程，然后练习手速，最后完成通关，其过程中每一步所做的努力都不比职业玩家少，就这样他开始培养自己的“网瘾” 。

身处这个进程里，兴军亮愈发感到，将玩游戏当作一件极有意思的事情。特别是不同游戏的机制设定，相当契合用于探究某些基础的科学问题。在此当中，具有游戏博弈 。

且说此次获奖的德州扑克AI程序，其本质乃是一个不完美信息的博弈问题，由于德州扑克的游戏规则规定，每个人手上都会持有两张私有牌，牌面大小对最终胜负并无影响，鉴于玩家能够凭借假装牌面大、押注金额大等方式将对手吓跑。

两人无限注德州扑克一次游戏过程示意

兴军亮带着团队，为教会AI打德州扑克，前后动用了十多台服务器，集中算力，让AI持续跟自己打牌，历经20天时间，打出了约1亿局 。

随后，他们对游戏学习的性能做了进一步的提升。这次，他们只用1台服务器，进行训练，训练的时间不到3天，最终达到了预期的水平。

在这个进程当中，参与训练的AI能够学会些类似于只有人类专业选手才会掌握的计谋。而这，恰恰是不完美信息博弈最为有趣之处。当前，兴军亮以及团队打造的德州扑克在线人机对抗平台OpenHoldem（http://holdem.ia.ac.cn/），现已对外开放。按照兴军亮所言，这个系统或许是国内唯一能够公开进行德州扑克玩法的地方。

当然，兴军亮的目标绝不仅仅是带着AI攻略下一款款游戏。

有这么一种机制，它是像不完美信息博弈这样的机制，在经济政策制定这个领域，有着很广泛应用，在法律法规优化这个领域，也有着很广泛应用，在外交策略选择这个领域，同样有着很广泛应用。这些领域所涉及的内容，是国际同行正在努力去攻克的，并且也是国内相关研究比较薄弱的。

要训练出一个人工智能，这个人工智能要更聪明，还要更有用，并且能够和人类融为一体德信竞技，这是兴军亮一直不懈追求的方向。