Berkeley 研究对比三大编程 Agent:外壳选错,成本差异远超准确率
arena · x · 2026-09-29
Arena 发布视频,由 UC Berkeley Sky Computing Lab 博士生 Melissa Pan 对比 Claude Code、Codex 与 Pi 三个编程 agent。她提出「harness tax(外壳税)」概念:模型外围的系统编排(提示词组织、工具调用、循环设计)会显著影响成本与性能。
她报告了三个反直觉发现,第一条是:外壳(harness)的选择对成本的影响大于对准确率的影响——即同样的模型,搭在不同 agent 框架里,花费差异可能远大于效果差异。完整结论与对低成本构建编程 agent 的启示见完整视频。
所属事件:Berkeley实测三大编程Agent 外壳选择影响成本超准确率(2 条相关)→
「编程与Agent」频道最新
- 团队让 Agent 自动回复 Slack,网友直呼「和所有人的幽灵版聊天」 — iamrobotbear · 2026-11-16
- AI 求职面试复盘法:让 Claude 指出你哪段回答最没说服力 — brandon_galang · 2026-11-16
- DeepSeek 开源官方 App 前端 chat-demo,3.9k 星 — NielsRogge · 2026-11-16
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16