Bug Hunt Bench 实测:GPT-6 Astra 登顶,修真实埋 Bug 能力排行榜出炉
PawelHuryn · x · 2026-09-23
Pawel Huryn 发布 Bug Hunt Bench——一个让前沿编程模型对抗 105 个真实植入 Bug 的盲测排行榜(每仓库单 prompt、跨模型家族评委对照答案密钥盲评)。
- 当前格局:GPT-6 Astra > GPT-5.6 Sol ≈ Opus 5.5 > Fable 5.1 > Opus 5
- 统计口径:只计预埋 Bug;不计 OpenAI「bugmax」式上报的非预埋问题(作者认为这类上报反而偏负面)
- 成本差距悬殊:全榜单各 run 成本相差约 200 倍(对数轴展示),耗时差距不到 7 倍
- 后续:Opus 5.5 将跑 n=3,GPT-6 Sol 结果另行发布
所属事件:Bug Hunt Bench 实测：GPT-6 登顶，MiMo 性价比惊艳(18 条相关)→
「编程与Agent」频道最新
- 两人小公司用 46 个 AI Agent 运营：审批门禁、哈希锁文件与翻车复盘 — dkovl · 2026-11-12
- LlamaIndex 让 AI Agent 渗透测试自家 LlamaParse，四天暴露四条经验 — llama_index · 2026-11-12
- Manhattan 字体 v0.0.1：每个字母都是一个 Python 函数 — allanyu_ · 2026-11-12
- 用 Backplane「提示词造出」任意扩展卡,网友呼吁扩展口回归标配 — _Stocko_ · 2026-11-12
- Agent 会话跑了 51 分钟烧 24.8 万 token,网友直呼还在干活 — _Stocko_ · 2026-11-12
- 可视化 AI Agent 团队协作：每个 Agent 一间「房间」，共享知识库 — LiorAloni11 · 2026-11-12