GPT-6 Astra 对阵 GPT-5.6 Sol:50 个真实 PR 找 bug,107 比 91

entelligenceai17 · reddit · 2026-09-10

一份针对代码模型在真实工程任务上的评测:在来自 Cal.com、Sentry、Discourse、Keycloak 和 Grafana 的 50 个真实 PR 上对比 GPT-6 Astra 与 GPT-5.6 Sol 的找 bug 能力。结果是 Sol 找出 107 个经确认的 bug,多于 Astra 的 91 个;但 Astra 精确率更高、延迟更低。作者称每个发现都经过独立验证,并公开评测方法征集反馈,下周将跑 Fable vs Opus 的一轮。

所属事件:50个真实PR实测:GPT-6 Astra以107比91胜出(3 条相关)→

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →