长会话上下文压缩提速
dee_hw · x · 2026-07-15
这条转发讨论的是 长会话上下文压缩 的实际工程效果。
- 在长 session 里，Relace 的自动压缩只花了 5 秒，而原生 GPT 5.6 Sol 的 compaction 需要 1 分钟以上；作者还提到自己有时要等 7 分钟。
- 他们的思路是在长会话中自动做 compaction，让 agent 保持更短的上下文、减少等待。
- 被引文进一步解释了技术动机：在 cache miss 后压缩 agent context，可把 token 成本降低 50%+。
- 通过把上下文控制在 128k–256k tokens，开销会从随轮次呈二次增长，变成更接近线性。
- 代价是普通 self-summary 太慢，因此他们训练了一个更快的 compact model，声称可达到 50k tok/s，并且成本低于 cache read。
所属事件:Relace推出Compact模型，5秒极速压缩Agent上下文降本提速(3 条相关)→
「编程与Agent」频道最新
- Cursor 发布 Agent SDK:Markdown 写提示词,TypeScript 定义工具 — soleio · 2026-10-27
- 形式化方法黑客松 Vibecheck 满员:在旧金山给真实软件做形式化验证 — spikedoanz · 2026-10-27
- 医疗 AI agent 输出如何验证?开发者征求单元测试与 LLM 评审之外的方案 — Practical_Green5775 · 2026-10-27
- AI 智能体或成运行代码的唯一方式：鲁棒性远超传统方法 — IgorCarron · 2026-10-27
- 让 Hermes Agent 当 QA：浏览器实测揪出 8 个网站问题 — techlatest_net · 2026-10-27
- 开源 FableCut 用远程 MCP 让 AI Agent 直接剪辑浏览器时间线 — FastPresence9799 · 2026-10-27