Bug Hunt Bench 实测:Qwen3.8-27B 三次运行胜单次 Opus 4.8
PawelHuryn · x · 2026-09-17
Pawel Huryn 推出 Bug Hunt Bench,用 105 个真实植入 bug 的代码库盲测前沿编码模型的查错能力。关键发现:
- 这些 bug 是 2026 年初前沿模型第一遍都漏掉的难题,不是随机小错——但用 Qwen 审查普通 PR 仍能发现更多问题
- Qwen3.8-27B 8-bit 跑 3 次,查错覆盖率超过单次运行的 Opus 4.8(max),展示重复采样对查错任务的显著收益
- 榜单各 run 的成本差距约 200 倍(对数轴),耗时差距不到 7 倍
榜单为盲评、每个 repo 单 prompt,数据与注意事项在 GitHub 公开,作者承诺只收录自己实际跑过的结果。
所属事件:Bug Hunt Bench 实测：本地 Qwen3.8-27B 修虫能力逼近 Opus(3 条相关)→
「模型」频道最新
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- Yacine 赞誉 Terra High:一条推文引爆的新模型口碑 — yacineMTB · 2026-11-02
- 单卡 H200 跑 DeepSeek V4.1,时租仅 5.3 美元 — daluoseo · 2026-11-02
- 曝 Fable 5.5 最新 checkpoint 视频流出，纯代码生成 — kimmonismus · 2026-11-02
- 用户实测 Claude Opus 5.5 行为异常，引出持续学习难题 — JeremyNguyenPhD · 2026-11-02
- Reddit 热帖追问:为何主流 AI 模型集体忽略冰岛女性罢工 — Mathemodel · 2026-11-02