YC 总裁开源 Agent 评测库：各框架通过率相近，成本却差 2.5 倍
garrytan · x · 2026-11-14
Y Combinator 总裁 Garry Tan 开源了 Agent 外壳评测库 g-harness-evals，核心思路是固定底层模型（如 Claude Opus 5.5、GPT-6.1 Sol）和测试任务，只更换外层的 Agent 框架（Harness：系统提示词、工具调用、记忆与权限控制），看谁干活最好、花钱最少。
被对比的框架包括 Claude Code、Codex、OpenClaw、Hermes Agent 和 QM，同时测试了他自制的 gbrain（知识库）与 gstack（技能包）组件。
首轮在 20 个开发任务上的发现相当反直觉：
- 7 组「模型+外壳」搭配的任务通过率全部挤在 71%79%（如 Hermes 78.8%、Claude Code 与 OpenClaw 均 76.3%、QM 72.5%）
- 95% 置信区间高度重叠，统计上分不出高下
- 真正拉开差距的是单次任务成本，不同框架之间相差 2.5 倍以上
结论：选编程 Agent 时别只盯着模型，外壳层对成本的影响远大于对通过率的影响。
「编程与Agent」频道最新
- Hugging Face 推出 Decision Models:不生成文本直接输出决策概率分布 — ariG23498 · 2026-11-14
- 23 分钟图解 AMD MI300X:从 8 颗计算芯片到 Gluon GEMM — saurabhtwq · 2026-11-14
- 求职新招:给目标公司提交真实 PR 当敲门砖,还能复用投多家 — minhnguyen · 2026-11-14
- 截图曝光:多智能体多用户实时视频聊天,带长期记忆与持久身份 — nptacek · 2026-11-14
- DeepSeek 把 App 全家桶能力开放成 API，可一键复刻官方应用 — churchkey · 2026-11-14
- Garry Tan 实测：Fable 5.2 通过率追平 Opus 5.5，成本却是 2.8 倍 — garrytan · 2026-11-14