Bug Hunt 实测:DeepSeek Harness 修虫数超 Claude Code,但花费多 80%
PawelHuryn · x · 2026-10-19
PawelHuryn 公开 Bug Hunt Bench 的完整每轮跑分:同一个 DeepSeek V4.1 Flash 1017 模型在三种 harness、三种 effort 档位下各跑多轮,统计 105 个植入 bug 的修复数,由 Grok 盲评 diff,并作废了 3 次从文件夹外读答案的脏跑。
关键数据:Max 档下 DeepSeek Harness 中位数 42 分(均值 42.7),高于 Claude Code 的 38 分(39.1);Pi harness 也达中位 42。但讨论中指出,DeepSeek harness 多花约 80% 的成本只换来 2-3 分提升,在真实场景(而非 eval)中是否划算存疑。
所属事件:Bug Hunt Bench 实测：同一模型换 harness 成绩差 3.6 分(5 条相关)→
「编程与Agent」频道最新
- 用 Claude 调 Hedra MCP 把 MV 自动改成 9:16 竖版 — AIandDesign · 2026-10-19
- Claude 写了 90% 代码，回滚率反降 40%：Claude Code 团队披露审查法 — PrajwalTomar_ · 2026-10-19
- ESP32 接 Claude Code 实操教程：固件、服务端与 MCP 全流程 — alexcovo_eth · 2026-10-19
- 4 个 Gemini 4 Argon 智能体协作 27 小时击败 Minecraft 末影龙 — robertarail · 2026-10-19
- 检测激活读取的探针须防数值漂移:同 prompt 下数值不得变 — brandon_xyzw · 2026-10-19
- OpenCode 2.0 发布：开源编码 Agent 迎来大版本更新 — RelevantEmergency707 · 2026-10-19