Bug Hunt 实测：同一模型换 harness 成绩差 3.6 分，DeepSeek harness 42.5 最佳
PawelHuryn · x · 2026-10-19
Pawel Huryn 汇总了 Bug Hunt Bench 上 DeepSeek V4.1 Flash 1017 在三种 harness 下的完整跑分：同一模型修 105 个植入 bug，DeepSeek harness 均值 42.5（7 次运行），Pi harness 均值 42.2（5 次），Claude Code 均值 39.1（7 次）。Pi harness 用更低成本拿到接近成绩；且高 effort 的 Claude Code（36.4）反而低于 max effort（39.1）。评测用 Grok 盲评 diff，三次从外部读答案的运行被判无效。作者预告下一步测 high effort + Pi 组合。
所属事件:Bug Hunt Bench 实测：换 harness 影响模型修虫成绩(4 条相关)→
「编程与Agent」频道最新
- 斯坦福 Memorilla：16 个记忆 token 胜过全上下文，省 108 倍 token — omarsar0 · 2026-10-19
- Every 用一个 Slack Agent 技能把演讲活动后续全流程自动化 — every · 2026-10-19
- 每晚跑一个 AI 调研工作流:用 Parallel+Perplexity 找选题再交给 Claude Code 落地 — EXM7777 · 2026-10-19
- Agent=模型+Harness：Harness 工程完整指南与两次删库惨案复盘 — aakashgupta · 2026-10-19
- AI Agent 9 秒删光生产库与备份:PocketOS 事故复盘,规则写在指令里也没用 — aakashgupta · 2026-10-19
- 手工精选 40 款游戏做 Agent 基准，作者称其为 ARC-AGI-3.5 — scaling01 · 2026-10-19