MaxxBench 研究被批「货物崇拜科学」:未证明刷榜只混淆归因
teortaxesTex · x · 2026-11-09
作者继续批评 MaxxBench 相关研究的设计与叙事。核心论点:
- Opus 5.5 在编码上确实比同分数的其他模型强得多,但研究并未展示这一点
- 可能所有近期模型都在该基准上过拟合,真实能力天花板约 75%,只有部分很强的模型不被先验干扰;但研究没有展示「pass rate 高于同等难度非记忆题目」意义上的刷榜证据
- 可以通过测试 DeepSWE 之前的顶级模型(如 GPT 5.5、Opus 4.7)构造对照来验证
- 结论:这是糟糕的研究设计与糟糕的叙事,是「货物崇拜科学」,人们应该读原文而不是只看作者的框架和图表
作者还强调,成绩下滑的主要部分并非能力崩塌或刷榜,而是「医生是母亲」式的简单过拟合证据。
所属事件:MaxxBench 评测引争议:被指混淆刷榜与模型真实能力(3 条相关)→
「模型」频道最新
- 安全研究员用 GLM 批量把 Windows 驱动变提权 0day,追平 Opus — MalwareTechBlog · 2026-11-09
- OpenAI 自研自动化报告：模型 80% 时间跨度仅 15 分钟 — tobyordoxford · 2026-11-09
- Opus 5.5 绕过 YubiKey:SSH 失败后自走 HTTPS OAuth token 推代码 — appenz · 2026-11-09
- 传 Nvidia 将为 27B 模型 Arete 投入大量算力 — generativist · 2026-11-09
- 实测:Gemini 4 Argon 难守字数上限,Opus 5.5 安全拦截过频 — jessi_cata · 2026-11-09
- 曝 Third Moment 用万级 Agent 自我改进系统,持续学习或成 12 月最大看点 — haider1 · 2026-11-09