基准分高 11 分的模型被禁 19 天,开发者合并率没有任何变化

Higher-Scoring Coding Models Did Not Get More Work Done

Yining Hua

cs.SE, cs.AI, cs.LG

2026-11-18

用 19 天模型禁令做自然实验:基准分高 11 分的模型没让同一批开发者多合并 PR,五次模型升级同样零提升。

这篇在解决什么

新编码模型发布,卖点几乎总是 SWE-Bench Pro 这类 benchmark 的分数提升。但分数涨 11 分,开发者真能多干完活吗?此前没人做过因果检验。难在混淆变量:先用上新模型的人可能更老练;最难的活可能被留给最强的模型,强模型反而显得低产;不同仓库的合并习惯本身也不同。

2026 年 6 月 12 日到 7 月 1 日,一条美国出口管制指令禁用了 Claude Fable 5 十九天。人没变、项目没变、只有模型变了。哈佛的 Yining Hua 把这 19 天当作自然实验,第一次把「模型分数」和「真实产出」隔离开来测。

方法

识别模型靠 Claude Code 的默认行为:它在 commit 里加一行 co-author 标注(如「Co-Authored-By: Claude Opus 4.8」)。抽 200 个 PR 核验,描述与 commit 的模型名吻合率 96%-99%。

切换是真实发生的:P1 阶段处理组 82.3% 的 PR 用 Fable 5,禁令期掉到 0.9%(74.6% 换成 Opus 4.8),恢复后也只回到 26.9%,指令生效一天内完成切换。

结果

对比指标结果
有 Fable 5 vs 被禁(297 人)7 天合并率+1.4 pp(95% CI -1.4+4.3),不显著
五次升级汇总(1,208 人)7 天合并率-0.9 pp(-1.9+0.2),不显著
六次升级每周合并 PR 数+2.4%(-4.9%+10.2%),不显著
安慰剂:发布前 vs 被禁7 天合并率-2.6 pp(-6.2+1.1),不显著

五次升级的新模型在 SWE-Bench Pro 上高 5 到 18 分,汇总点估计全为负;算上有分数但未汇总的第六次,六个里五个为负。限定同一开发者同一仓库,升级后合并率显著下降 1.2 pp(-2.3-0.02)。安慰剂检验不显著,平行趋势假设站得住。

天花板摆在那里:升级前一周,换模开发者 94.5% 的 PR 七天内合并、77.1% 一小时内合并,83.8% 的人所有 PR 全部被合并。抽样的 2,019 个 PR 里,95% 由作者本人 merge、90% 没有第二个人 approve,中位合并时间不到半小时。但天花板解释不了一切:升级前还有未合并 PR 的开发者子群,换模后合并率变化是 -1.3 pp(-6.9+4.3),同样不显著。

为什么重要

这是第一个对「分数是否兑换成产出」给出因果答案的研究,答案是否定的。按分数采购的团队、按分数写规则的监管者都该重视:11 分的差距在用户产出上不可见,不该继续当决策依据。解释也有数据:Anthropic 内部 132 名工程师的调查显示,过半的人只能把 0 到 20% 的工作完全交给 Claude,开发者交给 agent 的多是描述清晰、容易检查的小任务。benchmark 上的难题本就不在日常交接的工作里,新模型多解出的题,换不成合并的 PR。

局限与存疑

作者自述的局限:95% 的合并由作者自己完成、没有 review,合并率只代表「自己觉得行」,若模型差距主要体现在他人审查的场景,估计偏小;禁令只有 19 天,区间宽,好在五次升级方向一致、区间更窄;样本只覆盖描述里带模型名的 PR,约占已合并 Claude Code PR 的 1%,用全部 PR 重跑方向不变;升级分析是观察性的,主动换模型的人可能更会用工具,偏置方向朝上,即便如此也没涨。

另有两点。换模开发者升级后开 PR 的位置变了,自己仓库占比从 64.3% 升到 74.5%,前后一周的任务组合在漂移,可比性有限。合并率测的是通过率,不测省下的时间,论文承认要测时间得做随机试验。最稳妥的读法是:在开发者当前的用法下,benchmark 分差在产出上不可见。这不等于模型没变强。

术语

原文与代码

社区讨论

相关论文

全部论文解读