99 美元 MUD 评测显示 LLM judge 会重排模型排名

Davisb135 · hn · 2026-07-22

一项花 99 美元的原型研究：用 MUD 评测 LLM

作者们把 1970 年代起源的文本游戏 MUD 变成了一个 LLM 评测环境，用个人电脑和大约 99 美元 的 API 额度完成了实验。

关键结果包括：

• 他们从 四个行为维度 给模型打分。
• 其中两个维度严重依赖 LLM judge；去掉后，某个前沿模型的排名直接掉了 6 位。
• 再用第二个 judge 对比时，不同模型之间的一致率从 85% 到 22% 不等。
• 探针检测的总体 kappa 只有 0.04，说明这个测量工具噪声很大。
• 受影响最明显的模型，和打分用的分类器属于同一家族，但作者强调这不能证明偏置，只是观察到的现象。

作者明确把它定位成 proof of concept，而不是已经验证的 benchmark。他们也列出不少局限：每个模型只有 50 次运行、前几名置信区间重叠、没有人工标注、环境很小等。论文、数据、代码和完整 API 账单都已公开。

原文链接 →

「研究」频道最新

• Qwen3.8-Flash-Next 开源 180B 权重，被视为后门研究理想样本 — jd_pressman · 2026-10-27
• Latent-Foresight:让世界模型学着预判自己的未来 — abursuc · 2026-10-27
• 英国 AISI 发文：现有手段不足以防生物 AI 工具被滥用 — davidmanheim · 2026-10-27
• CMU 发布 XYBench:LLM 只答字面问题,常无视用户真实需求 — valentina__py · 2026-10-27
• arXiv 前主席提示:投稿主分类选错,论文几乎必被搁置 — tdietterich · 2026-10-27
• arXiv 积压超 4000 篇论文被搁置，版主致歉并给出避坑建议 — tdietterich · 2026-10-27

更多「研究」频道 AI 资讯 →