清华大学唐杰新作：大模型能破鸡蛋吗？

清华唐杰新作：大模型能打掼蛋吗？

量子位量子位官方账号09.1018:01

时令 发自 凹非寺

量子位 | 公众号 QbitAI

大模型能打掼蛋吗？

这是清华唐杰的最新论文。

联合研究显示，清华AI团队、北邮AI团队、智谱AI团队、博世AI团队共同表明，大模型不但会打麻将，还能打德州扑克、会打Uno等其它8种棋牌，甚至还会打掼蛋，是这样的情况。

不同的模型在不同棋牌类型上的表现也不同：

5种基于API的模型里头，GPT-4o的综合表现是最佳的那个，只是在斗地主方面，比GLM-4-plus稍微差那么一点。

在3类微调模型里头，GLM4属于牌桌上那种啥都会的类型，不管是斗地主，还是掼蛋，亦或是Uno，它做起来都毫无压力。

然而，Llama3.1更像是那种专门钻研某些特定领域的“冷门厉害角色”，在立直麻将里表现突出夺目，在无限注德扑中展现卓越显眼，不过，在斗地主这款游戏里相较GLM4稍显劣势一点了，对于掼蛋等这种游戏也是相比GLM4略为逊色一些了。

需要留意的是，一旦模型掌握了打牌技巧，其通用能力或许会稍有降低，不过，只要增添一定数量的通用数据，此问题便可得以缓和。

难道是玩游戏玩的不会学习了？

所以大模型是如何一下学会这么多游戏的？

轻松掌握8种棋牌游戏

对于游戏的选择，研究团队是依据受欢迎的程度，以及复杂性，还有高质量模型以及数据的可获得性，从中挑选出了8款纸牌游戏，。

玩斗地主，打掼蛋，玩立直麻将，玩Uno，玩金拉米，玩Leduc扑克，玩限注德州扑克，玩无限注德州扑克。

首先从博弈论的角度来看，这些游戏都属于非完全信息多人博弈。

简略来讲，存在这样一种情况，也就是在游戏里，有着若干玩家，其中每一个所谓的“玩家”，全部都没办法看到其余人的手牌，而且，初始手牌以及牌堆呢，是随机进行发放的。

处在并非完美信息的游戏里头，鉴于信息呈现出不完全、非对称的状况，像扑克牌和麻将的情形，对手手里的牌以及游戏剩下的底牌都是没能知晓的情况，所以对于参与游戏的人来讲，好多不一样的游戏状态瞧着是没办法区分开来的。

2023年时，腾讯AILab针对玩麻将，提出了一项借助强化学习以及遗憾值最小化的自我博弈技术 。

这致使AI能够从毫无基础的状态出发，自行展开学习，进而实现能力的提升，并且最终会汇聚到一种最强的混合策略方面上来。

由于传统的非完美信息搜索算法在麻将面前难以发挥显著作用，研究人员基于乐观价值估计的思想，不仅提出了一种高效的非完美搜索方法，还让 AI 能在海量隐藏信息的游戏状态里，实时调整当前策略，从而更好应对多变的战局。

而此次，从事研究的团队挑选运用现有的具备强大能力的游戏人工智能来创建高质量的轨迹数据，并且使得大语言模型借助学习这些数据去精通复杂游戏。

游戏基础，学习方法就不基础。

首当其冲，从事研究的团队促使教师模型同对手展开对抗，进而生成游戏交互数据。每一场游戏，均会依仗实际情形，配备与之对应的教师模型和对手。

（需要注意的是，麻将没有教师模型。）

其次德信竞技，依据不同游戏的复杂程度状况，每一种游戏的对局次数是存在差异的，斗地主的平均步数显著高于其他游戏，掼蛋的平均步数显著高于其他游戏，麻将的平均步数显著高于其他游戏。

特别是掼蛋的步数更长，尤其是麻将，这在于它们的对局，本质上是由好几个回合组合生成的，由这些回合构成的呀。

像掼蛋这样的游戏，它的获胜规则规定玩家得从2开始逐步升级直至A，游戏进行的时间时长较长较长，所以自然而然地就需要更多的回合来完成 。

存在一个研究团队，该团队针对不同游戏所具有的复杂度，设计了一套相当符合个性化需求的数据采集方案，其中，斗地主玩法较为复杂，为此收集了100万个训练实例，掼蛋玩法也较为复杂，同样收集了100万个训练实例，立直麻将玩法同样复杂，也收集了100万个训练实例，其余5款游戏，每一款都采样40万个。

之后，团队针对三种不一样类型的模型，也就是Qwen2.5 – 7B、Llama3.1 – 8B以及GLM4 – 9B，展开微调操作，目的在于剖析模型类型对于性能所产生的影响。

与此同时，他们针对Qwen2.5展开微调，其参数规模涵盖了从0.5B到14B的范围，目的是对模型规模怎样来影响性能作出评估 。

评估指标这块儿，不同游戏有着不一样作胜率度量的法子：斗地主用的是绝对胜率，掼蛋采取轮次胜率，另外六种游戏运用奖励分数 。

其结果呈现出这样的情况，伴随着训练数据数量增大，大模型于斗地主以及掼蛋之中的展现向着教师模型渐渐靠近，真有着一种“青出于蓝”的意味呢。

在麻将里，就算不存在能使用的教师模型，大模型还是达成了跟一款顶尖麻将AI表现相当的情况。

除此以外，研究者还察觉到，在斗地主这个游戏里，GLM的性能显著比Qwen以及Llama要差，呈现这个状况的原因究竟是什么呢？

为了剖析不同模型于斗地主里头的差别，团队又进一步绘制了模型于扮演不一样角色之际的胜率。

能够看得出，GLM于扮演地主情形下的表现比Qwen以及Llama更为出色，然而在扮演农民的时候，其表现欠佳。

这意味着，GLM没能有效地平衡两个角色之间的学习，它更多地侧重于关注地主角色，以至于造成农民表现欠佳。致使农民表现较弱。

那为什么会出现这种差异呢？

原因是在进行数据过滤时，研究团队只保留了获胜方的数据。

在斗地主里，存在着一名地主以及两名农民，当农民取得胜利之际，双方那种种数据呀都会得到保留，可是呢，好多情形之下取胜或许主要是依靠其中一名农民的操作行为，而另一名农民的数据质量却是比较低的 。

因为这样，训练数据里出现了一些质量不高的农民角色数据，致使农民角色的表现远远低于其道理上的最高水准。

基于上述实验，研究团队大致确定了每种游戏收敛所需的数据量。

随后，他们依据这一数据量，于各游戏的训练数据集中展开采样，并且将领好的数据予以合并，最终获得一个涵盖所有游戏数据的混合训练集。

详细来讲，那个组合数据集涵盖310万条数据，这8种游戏的数据量各自是这样的：70万，95万，65万，20万，当中5万，25万，20万和10万。

在这个基础上，研究人员展开对语言模型的混合训练微调，目的在于评估它能不能同时掌握好多游戏，之后还把微调后的该模型跟基于API的模型以及基础模型做对比 。

结果呈现出来，表明所有借助API的模型，在两款最为复杂的游戏，也就是掼蛋和麻将上面，所获得的得分相对而言是比较低的，然而在其他6款游戏上面，所取得的得分却是比较高的。

需要特别指出的是，存在5种API模型，其中GPT-4o的表现是最为出色的，它在多数游戏里都获取到了最高分。

GLM的模型，在斗地主里得分较高，DeepSeek的模型，同样在斗地主中得分较高，也许是鉴于它们“从小就受到熏陶”，对于这款全民皆知的游戏，更加“透彻熟悉”。

有3种基础模型，在大多数游戏里，其表现比基于API的模型要差劲 ，是最差的 。

相比较而言，做出微调之后的模型，呈现出最佳的表现，特别是在斗地主这个游戏里，在掼蛋这个游戏之中，以及在日本立直麻将这种复杂游戏之内，提升是最为显著的。

其中，3种微调模型在Leduc扑克上得分相同。

但是，从综合的角度去看，GLM4 – 9B – Chat – mix展现出了最为优质的表现，在斗地主方面位居第一，在掼蛋方面位居第一，在Uno方面位居第一，在金拉米方面位居第一，在Leduc扑克方面位居第一，在限注德州扑克方面也位居第一。

Llama3.1 – 8B – Instruct – mix在Uno方面最为擅长，在Leduc扑克方面也最为擅长，在无限德州扑方面同样最为擅长，然而，Qwen2.5 – 7B – Instruct – mix在这几方面的表现相对而言是较弱的。

研究团队为了能进一步去探究，在不同游戏之间存在的相互影响，把仅在单一游戏之上进行微调的模型，在其余7种游戏之上开展了评估 。

能看到，跟于其他游戏那儿训练的模型相较，在掼蛋上训练的模型于斗地主上的表现亦是不错的，这体现出掼蛋对斗地主具备正向的加成作用。

此外，Leduc扑克这款游戏，与限注德扑这款游戏，以及无限注德扑这款游戏，这三款游戏之间，也有着正面的影响存在。

接下来，团队又将那种仅仅是在单独一款游戏上面开展微调的模型 ，以及在全部游戏上面进行混合式微调的模型 ，二者做了对比呢。

最终发觉，和单独进行微调的模型相比较而言，混合微调的模型在这两款游戏之上的表现取得了更进一步的提升。

互相切磋完牌技就是不一样。

然而，有意思的是，与仅仅单独进行微调的模型相比较而言，混合微调模型在另外6款游戏之上的表现出现了下降的情况，这表明斗地主、掼蛋以及其他6款游戏相互之间存在一定程度的冲突。

由此能够看出，大模型具备同时掌握多种复杂棋牌游戏的能力，在此情形之下，规则相似的游戏之间会相互使表现得到增强，而有着较大规则差异的游戏，则有可能出现性能方面的冲突。

那大模型会打牌之后，它的通用能力会不会有什么变化呢？

针对这个问题，团队分别，在知识问答方面也就是MMLU – Pro上，进行了测试，团队还，在数学范畴名为Math – 500上，开展了测试，而且团队也，在编程能力领域是HumanEval上，实施了测试。

进而发觉，于凡是游戏之上进行微调的那种混合模型，其具备的通用能力展现出了显著的减退。

消息是好的，团队又一次运用通用数据去对游戏模型实施微调，该模型的通用能力于一定程度范围之内获得了恢复。

这下是既能打牌又能学习了。

可参考的链接是，https://arxiv.org/abs/2509.01328 ， 。