Bug Hunt Bench 新数据：GPT-6 Astra 盲区与众不同，作者改用混合路由策略
PawelHuryn · x · 2026-09-05
开发者 PawelHuryn 的 Bug Hunt Bench（用真实植入 bug 的仓库盲测前沿编码模型，105 个 bug）公布新数据与说明：
- 核心发现：GPT-6 Astra 的盲点与其他模型完全不同，由此作者调整了工作流路由——实现用 Astra，代码审查用 Fable 或 Sol。
- 方法论要点：
- 不统计未植入的 bug，因为 OpenAI 模型会报告大量真实但不相关的「bug-maxing」问题；
- 所有 bug 都是 2026 年初前沿模型漏掉的真实 bug；
- 答案不公开，这正是该基准有效的原因；
- 成本横跨约 200 倍（对数轴），时间跨度不到 7 倍；
- 即将开源测试 harness，读者可用自己的仓库复现。数据与 JSON 文件公开。
所属事件:Bug Hunt Bench 实测：GPT-6 Astra 修 48/105 登顶(11 条相关)→
「编程与Agent」频道最新
- Skills/MCP/RAG/Memory 一张图分清：agent 四类知识机制各管什么 — MaryamMiradi · 2026-10-21
- 客服拒与 AI 对话，用户的 agent 隐瞒身份继续维权 Xfinity — MoonL88537 · 2026-10-21
- Every.to《Codex 是如何诞生的》公开采访原文供读者用 agent 核查 — every · 2026-10-21
- 一条提示词直出 Blender 素材：Voyager+Opus 5.5 全程零配置 — ravisparikh · 2026-10-21
- 航空业的数据溯源思路：智能体如何在图结构数据上拼证据 — colinmcnamara · 2026-10-21
- 让 Claude Code 独立执导 MV：6.5 小时、765M 输入 tokens 完成 — colinmcnamara · 2026-10-21