7 模型×3 harness 实测:harness 对成功率影响小,对成本影响大
matei_zaharia · x · 2026-09-17
Melissa Pan 团队在 Claude Code、Codex 和 Pi 三套编码 agent harness 上评测了 7 个模型,得出三个反直觉发现:1)harness 的选择对任务成功率影响很小,但会显著影响成本;2)一个简单的 harness 就可以很有竞争力;3)官方原生 harness 并不总是最佳选择。团队指出数百万人已在用编码 agent,但 harness 选择的影响此前一直不明确,详细数据在后续推文线程中展开。
所属事件:7 模型×3 编码 harness 实测:成功率影响小,成本差异大(2 条相关)→
「编程与Agent」频道最新
- iMessage 里发消息就能用的 Rene 代理上线:会写码、做幻灯片、还能代购 — hey_abusiddik · 2026-09-17
- Computer use 进步多少来自无障碍树而非截图? — peterjliu · 2026-09-17
- 开源音乐模型 YuE2 上线 Maestro:本地免费、低显存、对标 Suno v5 — cocktailpeanut · 2026-09-17
- Vercel 27.5KB 模型浏览器端做语法高亮,一周催生 5 个同类小模型 — iamrobotbear · 2026-09-17
- Rene 发布:像发消息给朋友一样用的多人 iMessage AI 助手 — HeyAmit_ · 2026-09-17
- OpenClaw 创作者将亮相 Cloudflare Connect 2026 Agent 议题 — steipete · 2026-09-17