GPT-6 Astra 对阵 GPT-5.6 Sol:50 个真实 PR 找 bug,107 比 91
entelligenceai17 · reddit · 2026-09-10
一份针对代码模型在真实工程任务上的评测:在来自 Cal.com、Sentry、Discourse、Keycloak 和 Grafana 的 50 个真实 PR 上对比 GPT-6 Astra 与 GPT-5.6 Sol 的找 bug 能力。结果是 Sol 找出 107 个经确认的 bug,多于 Astra 的 91 个;但 Astra 精确率更高、延迟更低。作者称每个发现都经过独立验证,并公开评测方法征集反馈,下周将跑 Fable vs Opus 的一轮。
所属事件:50个真实PR实测:GPT-6 Astra以107比91胜出(3 条相关)→
「编程与Agent」频道最新
- Hermes Agent 上线扫码配对,Telegram 配置变得极其简单 — Teknium · 2026-09-11
- Astra 需求空前,官方称或暂停新 Pro 订阅保老用户体验 — taherdhanera · 2026-09-11
- Astra 国际象棋引擎开放网页对战服务代码,可与人实时对弈 — MikePFrank · 2026-09-11
- 开发者给 Claude Code/Codex 会话加 sticky context,切换标签页不再丢上下文 — doooyle · 2026-09-11
- Cognition 融资 20 亿美元并发布 SWE-2,成本号称低 70% — DevinAI · 2026-09-11
- 用 Agent 训小分类器清洗 19 万份文档,推理成本仅 $0.70 — vanstriendaniel · 2026-09-11