20 仓库实测:精简 agent 上下文省 7% 成本却多花 18% tokens
Independent-Flow3408 · reddit · 2026-11-23
SigMap 维护者在 20 个 held-out 仓库上对比了不同检索层配置对 coding agent 端到端任务的影响,发现成本、token 与时间并不同步变化。
- 短索引 + 两个 MCP 查询工具:API 成本 -7%(95% 区间 -13%-2%),任务时间 +1%,总 tokens +18%——省钱不等于省 token 或更快。
- 预取文件排名注入首 turn:时间 -18%、tokens -26%,但成本区间跨零,5 个仓库反而更贵;Claude Code hook 的实测效果也小于直接注入 prompt。
- 实验以配对方式在相同问题上进行,以仓库为 held-out 单位;只测代码定位而非正确补丁。未找到可靠的离线预测器判断哪些仓库受益,作者认为不应承诺在任意代码库上省钱。
作者征询社区:评测 agent 检索层时,优先端到端成功率、成本还是耗时?更便宜的运行如果更不准确怎么权衡?
「编程与Agent」频道最新
- 机械工程师用 AI 拍库存照设计机器人:它已比我强 — burhop · 2026-11-23
- LangChain 创始人转发:声明式软件工厂把「完成」变成系统工程 — hwchase17 · 2026-11-23
- MCP 工具从 7 个砍到 2 个:成本降 7%,tokens 反增 18% — Independent-Flow3408 · 2026-11-23
- huashu-design 3.5 发布:新增微信小程序设计,可衔接 WorkBuddy 落地 — AlchainHust · 2026-11-23
- Reddit 开发者三招堵住 Agent 自评漏洞:89% 复核一致率背后的陷阱 — armanidev_ · 2026-11-23
- 开发者对比 Firecrawl 与 context.dev:Agent 网页数据栈怎么选 — lewishorsley96 · 2026-11-23