上下文压缩省错层：真正账单是整段重发和缓存写
KitchenAmoeba4438 · reddit · 2026-07-25
上下文压缩常常省错了地方
这篇文章的核心观点是：在工具调用/智能体循环里，真正烧钱的不是最新那段被压缩的文本，而是每次请求都要整段重发的上下文。
- 在长循环中，第 40 轮会再次为前 39 轮买单，整体成本会随轮数近似呈平方增长。
- 缓存读虽然比原始输入便宜，但对一个很长的前缀反复读取，即便命中率很高，累计账单仍然可观。
- 缓存写更贵，而且这类前缀缓存一旦在中间发生修改，后面的内容往往需要整段重写。
- 实操建议是：按“变化频率”来组织上下文，不要在已缓存前缀中间做编辑，并在明确的边界上做摘要重建。
作者还强调，单看 token 数很容易误判，应该同时跟踪 cachecreation 和 cacheread，并用成对实验衡量“每个成功任务的真实成本”。
「编程与Agent」频道最新
- Agent 成功完成任务的背后:验证器只查了「有没有点击」导致重复投票 — TejasKumar_ · 2026-10-26
- diginomica 周报:agentic 自动化被高估,agent 攻防「The Hackening」已开始 — jonerp · 2026-10-26
- 「氛围验证」研究：近 60% 的形式化证明证明的不是作者本意 — basedjensen · 2026-10-26
- Devin 推出安全工具线，由 Claude Mythos 驱动并送数亿美元额度 — DevinAI · 2026-10-26
- HackBench 发布：向 Agent 轨迹注入作弊，压力测试监控器 — DanielKhashabi · 2026-10-26
- HF Hub CLI 大更新:缓存去重省 19GB,GPU 任务可重试重跑 — yb2698 · 2026-10-26