Game Arena: Strategic LLM Evaluation in Competitive Environments
Bovard Doerschuk-Tiberi, Yao Yan, Justin Chiu, Hann Wang, Timothy Chung, Martyna Plomecka, John Schultz, Jon Lipovetz, Clayton Drazner, Yuchen Zhuang, Jaimie Hwang, Nate Keating, Riley Jones, Andrew Lee, Oran Kelly, Ian Gemp, Michael Aaron, Laurel Prince, Kate Larson, Jeff Moser, Harrison Jobe, Chad Woodford, Siqi Liu, Andrew Wang, Bo Chang, Christopher D'Mello, Diane Chaleff, Addison Howard, Johnny Yip, Chuck Sugnet, Antonio Gulli, Meghan O'Connell, Will Cukierski, Nenad Tomasev, Dima Yeroshenko, Kinjal Parekh, Roxanne Daniel, Marc Lanctot, Domino Weir, Elsa Dong, Daniel Hennes, Melissa Nalubwama, Robert Fraser, Ryan Trostle, Jun Peng, Tom Mason, Lloyd Hightower, Chiamaka Chukwuka, Yuexiang Zhai, Phoebe Kirk, Yi Su, Yuting Han, Jie Ren, Chris Prichard, Sahand Sharifzadeh, Karim Hakimzadeh, DJ Sterling, Meg Risdal, Kate Olszewska, Ya Xu, Orhan Firat, Minmin Chen
www
cs.AI
2026-09-26
Kaggle把象棋、扑克和狼人杀做成可持续对战场，十个前沿模型里象棋由Gemini领跑内部Elo达1325，扑克GPT-5.2每百手净赢46.6个大盲。
静态榜（MMLU、GSM8K 一类）正在饱和，也容易被训练数据污染。Chatbot Arena 和 LLM-as-a-judge 能持续出新题，但裁判主观、偏爱长答案、爱附和。游戏给的是可核验的输赢：对手变强，局面跟着变，分数不容易顶死。
已有游戏评测大多是一次性数据集或小样本对局。扑克近期工作按模型大约几千手，高方差游戏里这不够做结论。Kaggle Game Arena 想做成可加新游戏、可复现、用胜负当真源的持续对战场，并先放出象棋、扑克、狼人杀三套环境。
统一文本 harness：每步给自然语言状态和历史，模型按格式回一个动作。非法输出允许有限次重试。默认采样、不加工具、不微调。评测的 10 个模型来自五家实验室（截至 2026 年 2 月）：GPT-5.2 / GPT-5 mini / o3，Claude Opus/Sonnet/Haiku 4.5，Gemini 3 Pro/Flash Preview，Grok 4 / Grok 4.1 Fast Reasoning，DeepSeek V3.2。
三套环境覆盖不同信息结构：
全是循环赛。象棋用 Bradley-Terry Elo（最低模型锚定为 0），扑克用 BB/100，均报 bootstrap 区间。
跨游戏的第一名对不上。
| 环境 | 最强 | 关键数字 | 最弱一端 |
| 象棋 Text Elo | Gemini 3 Pro 1325 / Flash 1297 | o3 1009，GPT-5.2 933 | Claude Haiku 122，DeepSeek 锚定 0 |
| 扑克 BB/100 | GPT-5.2 +46.56 | o3 +29.69，Grok 4 +27.11 | GPT-5 mini −94.87 |
| 狼人杀均衡评分 | Gemini 3 Pro +0.10% | Flash −0.36%，GPT-5.2 −1.12% | GPT-5 mini −6.78% |
象棋差距出在中残局：Stockfish 路径显示开局差不多，中局后 Gemini 赢面上升，弱模型位置持续恶化，非法着法也往后半段集中。Claude 4.5 全系象棋很弱（Opus 236 / Sonnet 189 / Haiku 122）。
扑克十模型三档。GPT-5.2 对所有对手都占优，对局胜率 57%–76%。Grok 4 对 GPT-5 mini 赢到 90%，但九场只赢三场，高 BB/100 靠大胜局撑着。Gemini 3 Pro 象棋第一，扑克 −15.17 BB/100。全赛 90 万手，每模型约 18 万手。
狼人杀约 31,472 局。Gemini 两款在狼与村民侧贡献都为正；Sonnet 与 Grok 4.1 Fast 当预言家为负。成本-性能帕累托在象棋/狼人杀上接近，扑克会重排谁更划算。
这是基础设施报告，不是新算法。开源 harness 与完整对局轨迹，后续可以加游戏而不作废旧分。对从业者更有用的是那句扫兴的话：战略能力不是一个数。象棋强不代表扑克强。用单一 Arena 分数讲「哪个模型更会决策」会把这种分裂抹平。
规模也是论点本身。扑克 90 万手、狼人杀 3 万局，才撑得住高方差游戏里的置信区间。几千手的扑克榜，在这篇的对照下样本不够。
每对局数固定，一边倒的对局浪费算力，势均力敌的对局又可能不够。模型上下架会撕匹配图，纵向对比还没有冷启动协议。三套游戏各报各的指标，没有跨游戏总分。狼人杀均衡评分的数值很小（最强也只有 +0.10%），解读时要连区间一起看。评测只用 API 默认设置、无搜索无工具，象棋分数测的是纯语言模型走子，不是带引擎的 agent。DeepSeek 象棋 Elo 为 0 是刻度锚定，不是「一局没赢」的字面意思。