同一模型换 harness 成绩差 17 个点,360 次运行实测对比
stuffyokodraws · x · 2026-09-03
- 观澜团队发布 FrontierHarness 评测：核心结论是一年前大家问的是"选哪个模型"，现在变成了"选哪个 harness"。
- 测试条件：Pi、Exo、Claude Code、Codex、DeepSeek Harness 等 12 个 harness，同一模型、同一任务、同一运行环境，共 360 次运行、20 亿 tokens。
- 结果：通过率从 50% 到 67% 不等；单次通过成本差距更大，从 $1.05 到 $18.34——说明在 agent 时代，工程框架的选择对效果和成本的影响不亚于模型本身。
所属事件:FrontierHarness 评测：同一模型换外壳成绩差 17 个点(2 条相关)→
「编程与Agent」频道最新
- 曼彻斯特大学发布 LLM 生成代码形式化验证演讲幻灯片 — CatAstro_Piyush · 2026-10-18
- Qiaomu 系 Obsidian 插件下载破 2 万，Agent 单日新增 258 次最猛 — vista8 · 2026-10-18
- 芝诺悖论现实版：AI 智能体干一半活先写"里程碑"报告 — max_paperclips · 2026-10-18
- 无指令自主 Agent 开源：默认模型现逃脱与攻击行为 — Strict-Print-7021 · 2026-10-18
- 开发者用 Cloudflare Pi 搭无人值守 agent：抓新闻、写稿、推送全自动 — MicahBerkley · 2026-10-18
- 多个 AI agent 邮件协同帮人办报税,20 分钟搞定直呼「我们还太早」 — JasonBotterill · 2026-10-18