哈佛论文:SWE-Bench 更高分的编码模型并未干更多活
rohanpaul_ai · x · 2026-11-23
转发了一篇哈佛论文《Higher-Scoring Coding Models Did Not Get More Work Done》,指出基准分数更高的编码模型并未在真实工作中产出更多。
- 2026 年 6 月一项美国出口管制指令使 Claude Fable 5 被停用 19 天,多数用户被迫切换到 SWE-Bench Pro 低 11 分的 Opus 4.8,构成「只换模型、人与项目不变」的自然实验。
- 研究追踪 297 名 Fable 5 用户停用前中后的 GitHub PR,以 8,908 名始终使用 Opus 4.8 的开发者作对照组。
- 双重差分模型显示:能用 Fable 5 仅使 PR 的 7 天合并率提高 1.4 个百分点,不具统计显著性;每周合并 PR 数也无显著增加。
- 对 2026 年五次模型升级的重复分析(1,208 名开发者、15,442 个 PR)同样未见合并率显著上升,加权均值 -0.9 个百分点。
- 结论:SWE-Bench 等基准分数提升并不能预测真实开发生产力,基准任务多为已解决 issue 的复现,与真实工作差异很大。
所属事件:哈佛研究发现编码模型基准分上涨并未带来更多实际工作(2 条相关)→
「编程与Agent」频道最新
- 26.4B 无审查模型上 Mac:12GB 内存跑通,多 agent 提速 3 倍 — SumitGup · 2026-11-23
- spaCy 作者Honnibal:用廉价 LLM 面板+Dawid-Skene 造 NER 数据 — honnibal · 2026-11-23
- 398M tokens 98% 缓存:一条 $200 Claude 额度跑完 12.5 小时游戏开发 — Yamapama · 2026-11-23
- 6 个月独立开发:Claude Code 写下九成代码,解谜游戏 AquaPaths 上架 App Store — Pleasant_Present_160 · 2026-11-23
- 五级成熟度模型:让 Agent 安全代操作应用的渐进式设计 — crotalul94 · 2026-11-23
- 开发者用模型写 API 接管补光灯,让 AI 看摄像头自动布置最佳灯光 — TheZachMueller · 2026-11-23