12 家团队上下文工程对比:固定前缀保缓存,失误成本决定检索策略

Gooner-Psy · reddit · 2026-10-26

作者继上次对比 12 家团队 agent 代码之后,又发了第二篇长文,聚焦同一个任务:如何组装上下文(harness 决定模型看到什么)。

共识:固定 prompt 开头

Codex 刻意让每个新 prompt 是上一个的精确前缀,为了缓存;Claude Code 团队把低缓存命中率当作事故处理;Manus 称 KV-cache 命中率是最重要的生产指标,且运行中从不增删工具;Shopify 把指令随工具结果一起返回,指令可改而不破坏缓存

指令文件保持小巧:OpenAI harness 团队用约 100 行的 AGENTS.md 指向别处,Codex 默认限制指令文件合计 32 KiB;Stripe 慎用全局规则以免挤占窗口

分歧:谁来取剩余上下文

编码类 agent 让模型自己搜:Cursor 把 MCP 工具描述移入文件,使用 MCP 工具的运行总 token 降 46.9%;Cognition 认为被污染的上下文比缺失更糟,因为模型离搜索只有几步
失误会直达客户的 agent 先检索:Fin 的门控为召回率调优、出错时 fail-open;Hebbia 发现分块检索在 84% 以上金融查询上失败,改为全文读取相关文档片段

作者立场:失误成本低就让 agent 自己搜;失误会触达客户就优先召回、付 token 的钱。行业空白:没人公布单次成功任务的成本,盯缓存命中率的团队也不晒数字。作者还在文中埋了一个前后矛盾的源做自己 pipeline 的测试用例。

「编程与Agent」频道最新