Higher-Scoring Coding Models Did Not Get More Work Done
Yining Hua
cs.SE, cs.AI, cs.LG
2026-11-18
用 19 天模型禁令做自然实验:基准分高 11 分的模型没让同一批开发者多合并 PR,五次模型升级同样零提升。
新编码模型发布,卖点几乎总是 SWE-Bench Pro 这类 benchmark 的分数提升。但分数涨 11 分,开发者真能多干完活吗?此前没人做过因果检验。难在混淆变量:先用上新模型的人可能更老练;最难的活可能被留给最强的模型,强模型反而显得低产;不同仓库的合并习惯本身也不同。
2026 年 6 月 12 日到 7 月 1 日,一条美国出口管制指令禁用了 Claude Fable 5 十九天。人没变、项目没变、只有模型变了。哈佛的 Yining Hua 把这 19 天当作自然实验,第一次把「模型分数」和「真实产出」隔离开来测。
识别模型靠 Claude Code 的默认行为:它在 commit 里加一行 co-author 标注(如「Co-Authored-By: Claude Opus 4.8」)。抽 200 个 PR 核验,描述与 commit 的模型名吻合率 96%-99%。
切换是真实发生的:P1 阶段处理组 82.3% 的 PR 用 Fable 5,禁令期掉到 0.9%(74.6% 换成 Opus 4.8),恢复后也只回到 26.9%,指令生效一天内完成切换。
| 对比 | 指标 | 结果 |
| 有 Fable 5 vs 被禁(297 人) | 7 天合并率 | +1.4 pp(95% CI -1.4+4.3),不显著 |
| 五次升级汇总(1,208 人) | 7 天合并率 | -0.9 pp(-1.9+0.2),不显著 |
| 六次升级 | 每周合并 PR 数 | +2.4%(-4.9%+10.2%),不显著 |
| 安慰剂:发布前 vs 被禁 | 7 天合并率 | -2.6 pp(-6.2+1.1),不显著 |
五次升级的新模型在 SWE-Bench Pro 上高 5 到 18 分,汇总点估计全为负;算上有分数但未汇总的第六次,六个里五个为负。限定同一开发者同一仓库,升级后合并率显著下降 1.2 pp(-2.3-0.02)。安慰剂检验不显著,平行趋势假设站得住。
天花板摆在那里:升级前一周,换模开发者 94.5% 的 PR 七天内合并、77.1% 一小时内合并,83.8% 的人所有 PR 全部被合并。抽样的 2,019 个 PR 里,95% 由作者本人 merge、90% 没有第二个人 approve,中位合并时间不到半小时。但天花板解释不了一切:升级前还有未合并 PR 的开发者子群,换模后合并率变化是 -1.3 pp(-6.9+4.3),同样不显著。
这是第一个对「分数是否兑换成产出」给出因果答案的研究,答案是否定的。按分数采购的团队、按分数写规则的监管者都该重视:11 分的差距在用户产出上不可见,不该继续当决策依据。解释也有数据:Anthropic 内部 132 名工程师的调查显示,过半的人只能把 0 到 20% 的工作完全交给 Claude,开发者交给 agent 的多是描述清晰、容易检查的小任务。benchmark 上的难题本就不在日常交接的工作里,新模型多解出的题,换不成合并的 PR。
作者自述的局限:95% 的合并由作者自己完成、没有 review,合并率只代表「自己觉得行」,若模型差距主要体现在他人审查的场景,估计偏小;禁令只有 19 天,区间宽,好在五次升级方向一致、区间更窄;样本只覆盖描述里带模型名的 PR,约占已合并 Claude Code PR 的 1%,用全部 PR 重跑方向不变;升级分析是观察性的,主动换模型的人可能更会用工具,偏置方向朝上,即便如此也没涨。
另有两点。换模开发者升级后开 PR 的位置变了,自己仓库占比从 64.3% 升到 74.5%,前后一周的任务组合在漂移,可比性有限。合并率测的是通过率,不测省下的时间,论文承认要测时间得做随机试验。最稳妥的读法是:在开发者当前的用法下,benchmark 分差在产出上不可见。这不等于模型没变强。