同一模型不同 harness 分差达 20%，Chamath 称榜单已无意义
eliano · x · 2026-10-13
Chamath 发长文称「模型榜单已无价值」：同一模型在 113 个编码任务上的得分可因外层 harness 不同而从 24% 波动到 59%。他委托 8090 Labs 把模型和 harness 作为整体来测，用开源项目的真实 bug 修复与功能开发任务评估 7 个模型 × 5 种 harness。
结果反直觉：Anthropic 的 Claude Fable 5.1 在 Claude Code 里只得 41%，换到 OpenAI Codex 里达 61%，中位工具调用 28 次。他因此越来越无视近期各类 leaderboard 成绩。
帖子还引用了 Palantir CTO Shyam Sankar 此前的表态：「榜单测的东西没错，但那不是我的客户要解决的任务」，即基准分数与企业真实需求脱节。
所属事件:研究称同一模型换harness编码分差可达35分，榜单遭质疑(2 条相关)→
「模型」频道最新
- 开源检索模型 UIBK-Embedding-v1:179M 参数登顶 BEIR 亚 1B 榜 — antoine_chaffin · 2026-10-13
- ProofBench 榜单：Claude 三款模型满分，第 10 名系统名叫「Wonder Full」 — shuchaobi · 2026-10-13
- LiquidAI 发布 d1 系列 MLX 版本，原生适配 Apple Silicon 本地运行 — JosephJacks_ · 2026-10-13
- 爆料：Zuckerberg 每月前 15 天发新版 Muse，版本指数级变强 — haider1 · 2026-10-13
- 一年 1 万次提交,Muse Wonder 被指是真写代码的强模型 — ren_hongyu · 2026-10-13
- 博主曝 Meta 新模型 Watermelon 早期体验:编码可自写自检 — kimmonismus · 2026-10-13