同一模型换 Agent 框架,token 用量相差一倍:36 次调用 vs 16 次
uriwa · reddit · 2026-11-11
作者指出,大家评测 Agent 时几乎只比模型,把 harness 当作中性管道,但实测显示框架本身就能造成一倍的成本差距。
在同一个多文件仓库 bug 上,用同一个 gemini-3.8-flash 分别跑 pi-coding-agent 和作者自研的生产消息 harness:
- pi:36 次 LLM 调用,总 token 248,755(输出 8,711)
- 自研 harness:16 次调用,总 token 120,857(输出仅 944)
- 两者都通过了测试套件
作者归纳出造成差距的两个主因:
- 启动税:会话开头 4,200 token 的默认指令和工具样板 vs 800 token,前缀每轮都被重读并计费,25 步轨迹下成本放大 20 倍。
- 完成膨胀:在 system prompt 里让模型「简洁」撑不过 25 步轨迹;真正有效的是在事件循环 schema 中把内部工具执行与对用户的回复分离,并保持历史前缀确定性,使 prompt 缓存命中率保持在 55% 以上。
结论:benchmark agent 时,harness 不是中性变量,而是决定成本与行为的一等公民。
所属事件:伯克利论文：换个 Agent 框架成本最多差 2.6 倍(2 条相关)→
「编程与Agent」频道最新
- 开发者晒自建 agent:「持久对象大脑+按需电脑」,支持本地或远程 — samgoodwin89 · 2026-11-11
- Agent 编排实践：控制面用前沿推理，叶子节点跑快速模型加对抗校验 — clmt · 2026-11-11
- 给 AI 智能体配身份与电话：inkbox 获 530 万美元融资 — cneuralnetwork · 2026-11-11
- Claude 可托管完整网站并调用工具操作屏幕内容 — ClaudeDevs · 2026-11-11
- MCP Apps 公测上线:规范仍与社区共同标准化中 — ClaudeDevs · 2026-11-11
- Claude 全面支持 MCP Apps:完整应用与网站可嵌入对话运行 — ClaudeDevs · 2026-11-11