Chrome 老兵 Addy Osmani:好框架能让平庸模型稳定跑赢强模型

aakashgupta · x · 2026-10-17

Aakash Gupta 引用前 Chrome 工程师、现 Claude Code 团队的 Addy Osmani 的观点——「一个还行的模型配好 harness，持续胜过强模型配烂 harness」，并给出 10 步 agent harness 构建路线图：

定义：Agent = Model + Harness，harness 是模型之外的一切（指令、上下文、技能、记忆、权限、工具、检查、循环）。Same 模型换 LangChain 改良 harness 后，Terminal-Bench 2.0 从 52.8（30 名开外）升到 66.5（前 5）。
指令：OpenAI 案例，3 名工程师把约 100 万行内容整理成 242 行 AGENTS.md，再压缩到约 110 行索引图，0 行手写，token 省 23% 且质量不降。
上下文：Amplitude 数据，查询带全局上下文后工具成功率先从 9% 升到 76%；提升来自更丰富上下文而非更大模型。
技能：Apolio 用子 agent + 技能库把 build-to-launch 时间砍 80-85%。
记忆：Anthropic 的 fact.md 模式，每会话读一步、留笔记。
权限：Ramp 在硬边界设规则，65%+ 审批由 agent 处理；Claude Code 用户 approve 掉 33% 的权限弹窗。
工具：Shopify 按模糊度分层（清晰≤20 个工具，50+ 需自定义协议）；Notion 100+ 工具按需展示。
检查：Shopify 的 judge 与人类一致率从 0.02 修到 0.61/0.69；50 条测试失败率<5%，150 条<2%。
循环：solo harness 20 分钟/$9 修好 bug，全 harness 6 小时/$200。
起步建议：先在自己的工作里用，错了成本低；第一步是「用代码给伤害最大的动作加硬限制」。

「编程与Agent」频道最新