Pi harness 跑分逼近 DeepSeek 官方:42.2 分成本仅一半
PawelHuryn · x · 2026-10-19
Pawel Huryn 在 Bug Hunt Bench 排行榜上补充测试:用 Pi harness 运行 DeepSeek V4.1 Flash 1017(MAX 档)得 42.2 分(5 次均值),几乎追平 DeepSeek 官方 harness 的 42.5 分(7 次均值),且成本仅 $0.83 对 $1.84;Claude Code harness 同模型仅 39.1 分。
结论:harness 本身对基准成绩影响显著,Pi 以更低成本达到相当水平。作者表示接下来测试 high effort + Pi 的组合。
所属事件:Bug Hunt Bench 实测:换 harness 影响模型修虫成绩(4 条相关)→
「编程与Agent」频道最新
- 马斯克转发:Grok 机器人打电话订餐厅,确认后才拨号 — elonmusk · 2026-10-19
- 用任意 LLM 免重训搭建带校准的决策模型,附 Colab 实操 — kalyan_kpl · 2026-10-19
- 2026 年软件工程预测:工程师与 AI 互相审核 PR,讽刺感拉满 — Yuchenj_UW · 2026-10-19
- PM 每天 10 次人肉路由:他花 10 天在 Slack 上搭了个公司 OS — aakashgupta · 2026-10-19
- Codex 开始主动推荐后续提示词,机器在告诉你该下什么指令 — burkov · 2026-10-19
- 同一 Prompt 实测 Claude、ChatGPT、Figma Make 生成的 App UI — Tegadesigns · 2026-10-19