105 个埋 bug 实测:Qwen3.8-27B 三次运行超过单次 Opus 4.8
PawelHuryn · x · 2026-09-17
作者 PawelHuryn 在 2 个真实代码库中埋入 105 个 bug，实测本地 LLM 的「查找并修复」能力。单次运行成绩：Opus 4.8 (max) 找出 15 个，Qwen3.8-27B 8-bit 为 10.7，Sonnet 5 (high) 为 9，Gemma 4 31B 仅 4，gpt-oss-120b 一个都找不到（基本不可用）。
最大惊喜是 Qwen3.8-27B：该模型 8-bit 量化版约 28.6 GB，200K 上下文可在 64 GB 的 Mac mini 上舒适运行，且连续跑 3 次累计超过单次 Opus 4.8 (max) 的成绩——作者认为这是本地模型在真实工程任务上的有力证据。
所属事件:Bug Hunt Bench 实测：本地 Qwen3.8-27B 修虫能力逼近 Opus(3 条相关)→
「编程与Agent」频道最新
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02
- Miles Cranmer 讲座:AI 用对是苏格拉底导师,用错是大脑萎缩 — _ScottCondron · 2026-11-02
- Scrapling 爬虫框架星标破 9.2 万,支持 MCP Server 接入 AI 工作流 — D4Vinci · 2026-11-02