哈佛研究发现编码模型基准分上涨并未带来更多实际工作
哈佛团队发表论文《Higher-Scoring Coding Models Did Not Get More Work Done》(arXiv:2611.23216,作者 Yining Hua)。研究显示,编码模型在基准测试上分数持续攀升,例如提高了 11 分,但在真实开源场景中的代码合并率却没有相应提升,即更高的基准分数并不代表模型完成了更多实际工作。这一结论引发社区对基准测试能否衡量编码模型真实生产力的质疑。
2026-11-23 ~ 2026-11-23 · 2 条相关
- 哈佛论文:SWE-Bench 更高分的编码模型并未干更多活 — rohanpaul_ai · 2026-11-23
另有 1 条近重复转述:rohanpaul_ai