频繁切换模型会废掉缓存,推理成本翻倍

Teknium · x · 2026-08-25

Teknium 提醒开发者,如果在会话中频繁切换模型,会导致新模型上的提示词缓存完全失效,必须重新支付所有输入 token 的费用。这是推理的基本原理,除非模型免费,否则应避免这种操作。

原文链接 →

「编程与Agent」频道最新

更多「编程与Agent」频道 AI 资讯 →