Berkeley研究揭示编码agent「框架税」：harness选择对成本影响超过准确率
arena · x · 2026-09-29
LMArena 团队介绍 UC Berkeley Sky Computing Lab 博士候选人 Melissa Pan 的实测研究：她横向对比 Claude Code、Codex 与 Pi 三个编码 agent，提出隐藏的「框架税（harness tax）」概念——围绕模型的系统封装本身会显著影响成本与表现。
她报告了三个反直觉发现，其中第一个是：harness 的选择对成本的影响超过对准确率的影响，意味着在真实预算下选好外围系统比换模型更划算。完整结论与对构建编码 agent 的建议见其视频。
所属事件:Berkeley实测三大编程Agent 外壳选择影响成本超准确率(2 条相关)→
「编程与Agent」频道最新
- WebMCP:让网页向 AI Agent 声明工具,告别抓 DOM 盲点击 — Thionne_WTZ · 2026-09-29
- 黑客松项目 Beethoven：扔一幅画上去，AI 乐队现场演奏 — schwentker · 2026-09-29
- OpenAI DevDay 议程泄露:Codex 将内置平台能力,可开发插件与 App — testingcatalog · 2026-09-29
- 纯代码零素材:单 HTML 文件生成整辆概念车,作者用 Claude Sonnet 5.5 — techartist_ · 2026-09-29
- 用 LLM 做销售线索挖掘总卡壳:偷懒输出与编造邮箱的实操困境 — Royal_icey69 · 2026-09-29
- 审计数千条 rollout:80% 编程 agent 在脑补不存在的评分器 — jonas__m · 2026-09-29