Reddit 热议:同厂商不同模型能否共享 warm cache 省上下文费?

rapPayne · reddit · 2026-11-20

Reddit 用户 rapPayne 引用 edgee.ai 的文章提出一个实操问题:会话中途切换 LLM 时,warm cache 会失效——每个 prompt 都重发全部上下文,未命中缓存的 token 按全价计费,切换模型意味着 100% 上下文按新算。

他问:同一厂商家族内的模型(如不同档位的 Sonnet/Opus/Haiku 类组合)能否以任何方式共享缓存?虽然各模型 tokenizer 不同,能否在训练时强制统一 tokenizer,或设计所有模型共用的中间层 tokenizer,让切换模型时仍复用 warm cache?目前尚无定论,属开放讨论。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →