CodeClash 通过多轮编程竞赛对大型语言模型进行基准测试

作者 | Sergio De Simone

译者 | 平川

由来自斯坦福、普林斯顿以及康奈尔的研究人员，开发了一个全新的基准测试，目的是为了能够更好地去评估大型语言模型也就是LLM的编码能力。这个新的基准测试被称作CodeClash，它使得多个LLM能够在多轮比赛当中展开相互较量，其目标在于评估在突破了定义层面较为狭窄的特定任务范畴以后，它们达成竞争性高阶目标的能力。

有研究人员觉得，只是在明确指定好的任务上面去评估编码LLM，像修复Bug、实现算法或者编写测试这些，这是不足以去评估它们应对现实世界软件开发挑战的能力的。

和维护任务不一样，开发人员要达成高阶目标，像提升用户留存率、增添收入或者降低成本之类的。这需求全然不同的能力，工程师得一步步把这些目标剖析成能操作的步骤，给它们排好优先级，还要就该采取哪些解决方案做出决策。

为让 LLM 评估进程更贴近现实世界里以目标作导向的软件工程，研究人员开发出 CodeClash，它当属一个意在反映开发周期迭代特性的基准测试。于开发进程里，它会依据现实世界的反馈去提出、部署以及完善变更，之后才步入下一步。身处 CodeClash 当中，LLM 竞相构建能够达成高阶目标的最佳代码库。

有多个 LM 系统，它们在多轮比赛里构建出能实现高阶目标的最佳代码库，这些代码库所实现的解决方案会在代码竞技场中展开角逐，代码竞技场中有像 BattleSnake（基于网格的生存游戏）这样的，还有 Poker（不限注德州扑克）以及 RoboCode（坦克大战） 。

每一步含有两个阶段，其一为编辑阶段，此阶段是LLM编辑代码库 ，其二是比赛阶段，在该阶段代码库会于代码竞技场中相互评估 。代码竞技场依据分数最大化、资源获取或者生存等目标去确定胜者 。

起始阶段，仅仅是打算为 LM 代理给出简略的环境说明，尽管起始的代码库当中存在着诸如竞技场机制、示例机器人以及推荐策略这类信息了，然而模型却得自行主动去发觉它们。

每当每一轮完结之际，比赛日志都会被记录进日志库当中，以供 LLM 通过此挖掘见解，进而为下一轮比赛进行更为充分的准备，其目标在于全面提高代码库品质，与此同时增相对于对手的竞争能力。

研究团队借助这种方法，开展了1680场比赛，这些比赛涉及8个LLM，其中有Claude Sonnet 4.5、GPT 5、Gemini 2.5 Pro、Qwen3 – Coder、Grok Code Fast等。不存在任何一个模型，在所有竞技场里都一直比其他模型更具优势，然而从整体来讲，来自Anthropic和OpenAI的模型略微存在一些优势。这在一对一比赛以及多代理比赛中均是成立的德信竞技，只是在后面这个场景里，波动性会更大一些。比如，有一场6人参与的比赛，其获胜者所获取的仅仅是总分数的28.6%，然而，在一对一挑战这种情形下，该比例则是78.0%。

有研究人员，还对模型分析别的LLM所生成的代码库的能力做了评估。在这样的情况当中，GPT 5被证实是最佳的模型，它比Claude Sonnet 4.5要更具优势。然而，经过分析显示，去检查对手的代码，并不会自动就转化成竞争优势。

虽说这项研究具备较强说服力，然而研究人员予以认可的是，当下的实验环境规模相较于典型的现实系统而言更小。所以，未来的研究将会专注于应对更为庞大的代码库，并且支持多重竞争目标。

原文链接：

你提供的内容并不是一个可以按照要求改写的句子呀，请提供完整的能够表达完整语义的句子以便进行改写 。

声明：本文为 InfoQ 翻译，未经许可禁止转载。

今日好文推荐