Berkeley研究揭示编码agent「框架税」:harness选择对成本影响超过准确率
arena · x · 2026-09-29
LMArena 团队介绍 UC Berkeley Sky Computing Lab 博士候选人 Melissa Pan 的实测研究:她横向对比 Claude Code、Codex 与 Pi 三个编码 agent,提出隐藏的「框架税(harness tax)」概念——围绕模型的系统封装本身会显著影响成本与表现。
她报告了三个反直觉发现,其中第一个是:harness 的选择对成本的影响超过对准确率的影响,意味着在真实预算下选好外围系统比换模型更划算。完整结论与对构建编码 agent 的建议见其视频。
所属事件:Berkeley实测三大编程Agent 外壳选择影响成本超准确率(2 条相关)→
「编程与Agent」频道最新
- 通用 API 目录 MCP 服务器实测:3 个工具换来永不膨胀的上下文 — MandeepKaur9407 · 2026-11-16
- UC Berkeley 论文揭示 LLM「过期绑定」:新值在上下文中仍答旧值 — ombre-ai · 2026-11-16
- Effective HTML 走红 GitHub:4.2k 星的 agent 技能集,线框图秒变可交互原型 — tom_doerr · 2026-11-16
- skills-gate:一个门面 skill 管住所有 agent skills,148 个技能仅耗 389 token — Distinct-Pie2389 · 2026-11-16
- 开源 Karpo-Decision-31B 单次前向出概率,登顶 Decision Index 超越 Gemini — CodeByPoonam · 2026-11-16
- shadcn 转评 UI 生成工具:一周工作量一键复现且可直接跑 AI 测试 — shadcn · 2026-11-16