99 美元 MUD 评测显示 LLM judge 会重排模型排名
Davisb135 · hn · 2026-07-22
一项花 99 美元的原型研究：用 MUD 评测 LLM
作者们把 1970 年代起源的文本游戏 MUD 变成了一个 LLM 评测环境，用个人电脑和大约 99 美元 的 API 额度完成了实验。
关键结果包括：
- 他们从 四个行为维度 给模型打分。
- 其中两个维度严重依赖 LLM judge；去掉后，某个前沿模型的排名直接掉了 6 位。
- 再用第二个 judge 对比时，不同模型之间的一致率从 85% 到 22% 不等。
- 探针检测的总体 kappa 只有 0.04，说明这个测量工具噪声很大。
- 受影响最明显的模型，和打分用的分类器属于同一家族，但作者强调这不能证明偏置，只是观察到的现象。
作者明确把它定位成 proof of concept，而不是已经验证的 benchmark。他们也列出不少局限：每个模型只有 50 次运行、前几名置信区间重叠、没有人工标注、环境很小等。论文、数据、代码和完整 API 账单都已公开。
「研究」频道最新
- Datology Curation Studio 线上深潜：少于 20% 算力匹配最强基线 — josh_wills · 2026-10-27
- KANLab 开源：浏览器里可视化玩转 KAN 网络 — Lukas Niehaus · 2026-10-27
- CMU 提出 LLM2Cert：LLM 生成证书，SMT/Lean 自动验证 — CarnegieMellonU · 2026-10-27
- NVIDIA 开源 FLORA：机器人数据引擎，成本仅 GPT-6 Astra 的 1/125 — nvidia · 2026-10-27
- RSNA 2026 深度学习实验室回归:芝加哥四天八节动手 AI 课 — PRouzrokh · 2026-10-27
- 实验：同时调控两组神经元，模型自行组合出「gnome」概念 — Sauers_ · 2026-10-27