频繁切换模型会清除缓存，导致重复计费
daniel_mac8 · x · 2026-08-25
@Teknium 指出，在同一会话中频繁切换模型是错误的做法。因为每次切换都会导致新模型的 Prompt Cache（提示词缓存）失效，用户必须为所有的输入 tokens 重新全额付费。除非模型免费，否则应停止这种操作，这是推理服务的基本机制。
所属事件:Teknium 提醒：会话内频繁切换模型会使缓存失效、成本翻倍(2 条相关)→
「Infra」频道最新
- 在 Durable Object 中运行 OpenCode，无需完整沙箱 — craigsdennis · 2026-08-25
- Raja Koduri 旗下 OXMIQ 助力印度打造 2GW 绿电 AI 算力平台 — RajaXg · 2026-08-25
- AM Intelligence 确认采购 9000 套英伟达 Rubin 机架系统建海得拉巴 AI 工厂 — RajaXg · 2026-08-25
- OXMIQ 宣布获 9000 套英伟达 Rubin 系统订单 — RajaXg · 2026-08-25
- xAI 数据中心为孟菲斯创收过亿，成 AI 基建中心 — robleclerc · 2026-08-25
- Autonomous Computer 推出本地 AI 数据中心，售价 2.6 万美元起 — dee_hw · 2026-08-25