长会话上下文压缩被指昂贵且低效

Mainplane 作者 Alezander9 提出观点：上下文压缩是个错误方案。实测显示压缩 40 万 token 的会话一次耗时 38 秒、花费 1.99 美元，与其压缩不如另想办法。dotoy 进一步认同并分析其隐性成本：关键不在摘要本身的 token 量，而在压缩后 prompt cache 过期，需要全量重读 40 万 token，代价相当大。

2026-10-30 ~ 2026-10-30 · 2 条相关

• 实测:40 万 token 会话压缩一次耗时 38 秒花 1.99 美元,方案是别压缩 — brandon_galang · 2026-10-30
• 上下文压缩的隐性成本：cache 过期后要全量重读 40 万 token — dotey · 2026-10-30