上下文压缩的隐性成本：cache 过期后要全量重读 40 万 token
dotey · x · 2026-10-30
dotey 认同一个关于长会话成本的观点：如果等 prompt cache 过期后再做会话压缩，代价很大。
被引用的推文算清了这笔账：差别不在摘要本身的 token 量，而在压缩这一步——模型必须把整段会话（作者实测约 40 万 token）完整 prefill 一遍才能写出摘要。更好的做法是新开会话、按需捞取历史，省掉的正是这次全量重读；账单差距主要在这里，而不是摘要长短。
「编程与Agent」频道最新
- 拆解 Agno 框架：1428 行 Agent 类如何靠门面模式保持「胖而薄」 — Mahmoud_Zalt · 2026-10-30
- 让 Agent 写脚本清理垃圾注释，脚本自身却有 10 多行垃圾注释 — shadcn · 2026-10-30
- DataTalksClub 与 Nebius 推出免费课程:构建生成式媒体的生产级 AI Agent — Al_Grigor · 2026-10-30
- Faros 报告:2.2 万开发者数据显示 AI 提速编码但 QA 时间暴增 300% — FrankFelixAI · 2026-10-30
- CognitiveCanvas 把 AI 对话记忆转成可审计图谱,token 减少 92.2% — JeremyCMorgan · 2026-10-30
- FontBox LoRA:用 bbox 直观编辑图像内文字 — SillyLilithh · 2026-10-30