Bug Hunt Bench 新数据:Pi harness 高档位稳定跑赢 Claude Code

PawelHuryn · x · 2026-10-19

PawelHuryn 发布 Bug Hunt Bench 最新结果:「Pi + high effort」档位已就绪,与 DeepSeek Harness 一起在修虫数上稳定超过 Claude Code。测试用同一个 DeepSeek V4.1 Flash 1017 模型,在三种 harness、三档 effort 下各跑多轮,统计 105 个植入 bug 的修复数,Grok 盲评 diff,3 次从外部读答案的脏跑被作废。

数据上,Max 档 DeepSeek Harness 中位 42(均值 42.7)、Pi 中位 42(42.2),均高于 Claude Code 的 38(39.1);High 档 Pi 中位 40 亦超过 Claude Code 的 38。作者表示即将开始 low effort 档测试,全部跑分已发布在网站上。