Reddit 热议:同厂商不同模型能否共享 warm cache 省上下文费?
rapPayne · reddit · 2026-11-20
Reddit 用户 rapPayne 引用 edgee.ai 的文章提出一个实操问题:会话中途切换 LLM 时,warm cache 会失效——每个 prompt 都重发全部上下文,未命中缓存的 token 按全价计费,切换模型意味着 100% 上下文按新算。
他问:同一厂商家族内的模型(如不同档位的 Sonnet/Opus/Haiku 类组合)能否以任何方式共享缓存?虽然各模型 tokenizer 不同,能否在训练时强制统一 tokenizer,或设计所有模型共用的中间层 tokenizer,让切换模型时仍复用 warm cache?目前尚无定论,属开放讨论。
「编程与Agent」频道最新
- 开发者称接近无需图像模型生成动效,任何 agent 均可驱动 — RichardsonDx · 2026-11-20
- 上手 agent skills 的第一课:让 agent 帮你写「图表审美」偏好 — jmschreiber91 · 2026-11-20
- Java 17 升 25 加 10 项优化,Cloud Run 冷启动缩短 62% — rseroter · 2026-11-20
- MIT 教授分享 Agent Skills 三层分类:偏好、做法与完整工作流 — jmschreiber91 · 2026-11-20
- Perplexity Context API 新增 Decider:给网页打分防提示注入 — denisyarats · 2026-11-20
- 仅 11% 企业规模化部署 AI Agent,其余仍在为 AI 付费却手动接力 — pritisinghhhh · 2026-11-20