Garry Tan 实测 7 套编码 Agent 框架:能力打平,成本差一倍
garrytan · x · 2026-11-09
Y Combinator 总裁 Garry Tan 分享了对前沿模型编码 harness 的开源评测初步结果:
- 能力上分不出胜负:7 种配置(Claude Code、OpenClaw、Hermes、QM 跑 Opus,Codex、OpenClaw、Hermes 跑 Sol)做同样的 20 个编码任务,通过率都在 71–79%,所有对比都是「无法区分」——因为 20 题里有 14 题所有配置得分相同,说明测试太简单,是测试题的问题而非真打平。更难的 Terminal-Bench 复测正在运行。
- 成本和速度差异巨大:在 Opus 上,每解出一题 OpenClaw 约花 $0.44,Claude Code $0.22,Hermes $0.24,QM $0.19;OpenClaw 还最慢(每次尝试约 99 秒 vs Claude Code 40 秒)。在 Sol 上 Codex 最便宜最快,仅 $0.17。第二次独立运行得到相同结论。
- 当前建议:按成本和速度选,Opus 上用 Claude Code,Sol 上用 Codex。
所属事件:Garry Tan 实测 7 套编码 Agent 框架:能力打平,成本差一倍(2 条相关)→
「编程与Agent」频道最新
- 检索对了决策仍错：Agent 检索的相关文档不等于权威规则 — krishnan · 2026-11-09
- 两个 Agent 都说做完了仍可能出错：验收标准谁来写是关键 — krishnan · 2026-11-09
- 博主实测 Hermes Agent:模型中立,可跑 GLM 5.3 与多款模型 — Scobleizer · 2026-11-09
- YC CEO 开源自己的「第二大脑」gbrain，已揽 3.1 万 star — QuixiAI · 2026-11-09
- 开源免费 AI 工程课程：从线性代数到手写 Agent 全部底层实现 — ghumare64 · 2026-11-09
- 单卡 RX 7800 XT 跑 78 tok/s:开发者打造越用越聪明的本地编程助手 Shura — HIKKIAN · 2026-11-09