人工智能技术在棋牌游戏《Pluribus》中的应用及其现实意义

将促进棋盘类游戏应用的AI，会推动博弈决策的研究，以棋盘类AI应用作为根基的相关AI博弈工具，在经济金融领域的风险预测方面，在军事领域的战局预测等方向，有着广泛的应用前景。

半个多世纪以来，棋牌类游戏向来是人工智能也就是AI获得发展创新的舞台，借助AI于被当作智力游戏的棋牌里打败人类，始终是AI研究工作所追求的目标，从1997年IBM的超级电脑深蓝击败国际象棋世界冠军卡斯帕罗夫，再至2016年谷歌研发的AI机器人AlphaGo战胜围棋世界冠军李世石，AI于棋牌类比赛中屡屡成功突破。2019年7月，由卡耐基梅隆大学跟Facebook公司一同开发的AI机器人“Pluribus”，于一场无限制德州扑克6人对决比赛当中，战胜了5名专家级人类玩家德信竞技，使得AI在德州扑克战场又取得了一次胜利 。

Pluribus概况

Pluribus跟人类的竞赛存有两种模式，一种是1个AI对5个人类玩家，另一种是5个AI对1个人类玩家，Pluribus于这两种模式里均获取了胜利，并且，为了击败人类，Pluribus在策略、算法以及能耗方面开展了多次优化。

Pluribus所研发的核心策略，是运用呈改进版本的蒙特卡洛遗憾最小化算法，也就是Monte Carlo Counter factual Regret Minimization，简称为MCCFR，借助自我博弈的途径来学习。Pluribus最初会随机地去选择玩法，依靠蛮力计算得出收敛的结果，并且针对这些行动拟合概率分布，以此让自身实力在持续不断的自我博弈进程中渐渐变强。学习全程里，AI机器人，与自身对打，不把任何人类游戏数据用作输入条件。

在算法方面，为了处理六名玩家所带来的额外复杂状况，Pluribus整合了全新的在线搜索算法，该算法能让AI于游戏里进行向前预测，进而决定接下来该采取何种行动，这样的机制被称作搜索功能。以往的棋牌类算法，每一步决策都得计算至游戏结束，然而在线搜索算法仅需搜索前面几步就行。除此之外，Pluribus还运用了速度更为快捷的新型self-play非完美信息游戏算法。基于上述这两种算法，使得依靠极少的处理能力以及内存来训练Pluribus具备了可能性。

在能耗方面，研究人员运用的是一个具备64核的服务器，此服务器所利用的内存不大于512GB，在历经8天时间后，完成了对于Pluribus的自我博弈训练，该训练所产生的成本大约为150美元，将其与其他进行自我对弈的AI研究相比较，此成本是处于极低水平的。并且在算法方面取得了进步，这使得研究人员能够凭借较少的资源消耗达成极大的性能提升。

扑克AI和其他棋牌类AI的对比

对于扑克AI跟棋类AI而言，它们的基本原理是一样的，都把蒙特卡洛搜索树算法拿来当作基本算法，并不依靠人类给出的策略，在持续迭代的进程里做到自我学习。不同之处在于，棋类游戏当中的棋子全都在棋盘上显示出来，结果类型有限，全部的结果均可推算，这样的情形称作“完美信息博弈”；牌类游戏里没办法知晓对手的底牌，包含隐藏着的信息，结果或许是多样的，致使其计算的难度以及计算量大幅增加，被叫做“不完美信息博弈”。

棋类AI

包含西洋双陆棋、国际象棋、围棋等的棋类游戏，比赛里所有信息以及决策是公开的，而且游戏对于玩家而言仅有赢或者输两种可能的结果，从某种意义讲，这让训练 AI 更易了。棋类在理论方面能够借助计算机模拟出每一种可能情形，进而开展完美信息动态博弈。在这类完美信息博弈当中，AI 机器人常常采用实时搜索。比如，当模型要决定接下来怎样走的时候，国际象棋 AI 通常会思索以后的一些移动步骤，直至算法的前瞻抵达深度上限 。围棋棋盘的变化可能性，比可观测宇宙范围之内的原子总数还要多，所以围棋AI主要借助深度学习技术，训练用于判断结果输赢概率的价值网络，以此来增强AI的对弈能力 。

麻将AI

麻将AI要让策略更多地去增添得点的期望值，尽可能增大和大牌的概率，与此同时尽可能防止对手大牌点炮，此打牌策略明显是存在最优解的。为获取能和大牌的更高可能性，AI要借助手牌与弃牌池里的牌，算出进张也就是摸到有效牌以及鸣牌即吃、碰、杠让手牌有进展的概率，进而算出和牌得分的期望值。当前最强的麻将AI机器人是日本东京大学所开发的“暴打”。

扑克AI

就拿德州扑克来说，在这款游戏里，玩家没法获取已发生事件的所有信息，像对手的底牌之类的，故而这个游戏属于“不完美信息”，也就是Imperfect Information类游戏。德州扑克向来是人工智能领域极难攻克的重大问题之一，这是因为跟棋类游戏不一样，扑克AI得推理隐藏的信息，还要审慎地平衡自身策略。与此同时，相较于棋类比赛，在扑克游戏当中需要运用Bluff，也就是吓唬等更多游戏策略。

在Pluribus之前，AI机器人在两个参与者参与的完美信息零和博弈里，取得过多次引人注目的成功。然而，大多数真实世界中的策略交互，涉及隐藏信息，并且并非两个参与者的零和博弈。Pluribus的成功表示，在复杂的多参与者的场景当中，基于自我博弈以及搜索算法的AI，能够获得很好的结果。

AI棋牌应用的现实意义

Pluribus给出了办法，能在大型状态空间里，有效解决博弈论推理挑战，是处于隐藏信息中的，它所开发出的技术，在很大程度上独立于扑克领域，还能够被用于大量不完美信息博弈。涉及Pluribus处理的好些问题，跟真实世界里的通用问题相呼应，“不清楚对手所持的牌”关联现实中的“信息不完整性”，“进行下注的策略以及因这个策略而产生的后续结果”对应现实中的“风险管控”，“识别对手的行为模式，并且加以运用”体现现实中的“智能体构建模型之举”，“采用Bluffing（扑克玩法里一种吓唬人的技巧）”对应现实中的“实施欺骗行为”，“应对对手打出带有欺骗性的牌”对应现实中的“存在不可靠的信息情况”。

事实上，棋牌类游戏的本质乃是竞争与对抗，其目标（评价标准）由游戏规则予以定义，玩家运用各类策略去达成目标，这当中涵盖数量颇为可观的博弈过程。AI于棋牌类游戏的应用，会推动博弈决策的研究。以棋牌类AI应用为根基的相关AI博弈工具，在经济金融领域的风险预测、军事领域的战局预测等方面有着广泛的应用前景 。

于经济金融范畴内，不管是针对经济发展之总体趋向预估，还是银行、保险、股市等细分行业的风险模型构建，均需借助大量“不完美信息”去抉择。AI博弈工具能够经由处理此类不完美信息来获取最佳决策。政府能够运用AI博弈工具对社会行业的未来走向予以预测，判定供需关系，合理且有序地引导行业健康发展。银行、保险公司能够借助AI工具判定短期行业态势，高效评估企业风险，进而决定是否达成交易。

于军事范畴之内，有着自主学习功能的AI博弈工具同兵棋推演相融合，会爆发出超强的战斗力，助力军队获取制胜的先机。自上个世纪70年代初期起始，美国陆军依据“全自动兵棋”概念构建起“地面作战模拟系统”。在20世纪90年代初期，美军于海湾战争爆发之前运用兵棋游戏对整场战争展开了推演，而且战争的进程基本和美军事先的推演一模一样。技术进步了，算法持续成熟致使算力需求进一步下降，与此同时，计算技术朝着系统微型化以及处理高速化的方向发展，具备超强自主学习与计算能力的AI系统跟兵器推演等作战模拟系统相结合，会提升对战局的预测与把控，未来，AI系统有希望直接跟战场指挥系统对接，其快速战局推演能力、高效制定作战方案的能力，将主导战争的胜负走向。

研究所简介

国际技术经济研究所，也就是 IITE，于1985年11月成立，其隶属国务院发展研究中心，是一类非营利性研究机构，它的主要职能在于，研究我国经济、科技社会发展里重大的政策性、战略性、前瞻性问题，跟踪以及分析世界科技、经济发展态势，进而为中央和有关部委提供决策咨询服务。“全球技术地图”属国际技术经济研究所官方微信账号，致力于朝着公众传递前沿技术资讯还有科技创新洞见。

地址：北京市海淀区小南庄20号楼A座