arXiv 论文:编码模型基准分涨 11 分,真实合并率却零提升
rohanpaul_ai · x · 2026-11-23
论文《Higher-Scoring Coding Models Did Not Get More Work Done》(arXiv:2611.23216,Yining Hua)首次检验「编码基准分更高的模型是否真能干更多活」。
- 自然实验:2026 年 6 月 12 日美国出口管制指令禁用 Claude Fable 5 共 19 天,多数用户切换到 SWE-Bench Pro 低 11 分的 Opus 4.8;人与项目不变、只换模型,可分离模型本身对生产力的影响。
- 数据:297 名 Fable 5 用户停用前中后的 GitHub PR,对照组为 8,908 名始终用 Opus 4.8 的开发者;另对 2026 年五次模型升级重复比较(1,208 名开发者、15,442 个 PR)。
- 结果:可用 Fable 5 仅使 PR 7 天合并率提升 1.4 个百分点 [-1.4, +4.3],不显著;每周合并 PR 数 +2.4% [-4.9%, +10.2%],亦不显著;五次升级的合并率变化加权均值为 -0.9 个百分点,五个估计值全为负。
- 论证脉络:基准任务多来自公开仓库中已解决的问题且已有现成测试,与任务定义模糊、需融入项目风格并被人审合的真实工作相差甚远;且混淆因素(用户经验、任务分配)使跨开发者比较难以归因于模型。
- 含义:SWE-Bench Pro 上 11 分的提升意味着什么、能否反映在真实工作中,此前无人验证,本文证据表明不能。
所属事件:哈佛研究发现编码模型基准分上涨并未带来更多实际工作(2 条相关)→
「编程与Agent」频道最新
- Aiden Bai 发布可完全在浏览器本地运行的新开发工具 — aidenybai · 2026-11-23
- Lantern agent 技术栈揭晓:Codex CLI + AWS 沙箱 + 自定义工具 — MikePFrank · 2026-11-23
- Qwen 27B 自主 agent 沙箱 Lantern 开源,附路由成本实测 — MikePFrank · 2026-11-23
- 只会写代码的开发者有风险:全流程 agentic 软件工厂图解 — Pavan_Belagatti · 2026-11-23
- Vibecoding 两周变一天:电商店建站成本从 5000 美元骤降 — Tegadesigns · 2026-11-23
- nichochar 提出 agent 两分法:管家型与园丁型 — hwchase17 · 2026-11-23