切换推理档位会刷新 KV 缓存成开发者新坑
Armin Ronacher(mitsuhiko)指出一个非显然机制:多数模型的 reasoning effort 档位其实写在系统提示中,因此会话中途切换推理强度会使 KV 缓存失效;Fable 5.1 是例外。开发者 cyberGoatPsyOps 也在 pidotdev 0.85.0 上实测踩坑:切换 thinking 档位时顶层 reasoning.effort 参数被改写,导致缓存被刷新、成本增加。
2026-09-06 ~ 2026-09-06 · 3 条相关
- 实测踩坑:pidotdev 0.85.0 切思考档位改写 reasoning.effort 致缓存失效 — cyberGoatPsyOps · 2026-09-06
- mitsuhiko:切换推理档位会刷新 KV 缓存,Fable 5.1 是例外 — mitsuhiko · 2026-09-06
- Armin Ronacher:多数模型的推理档位写在系统提示里,切换即废 KV 缓存 — mitsuhiko · 2026-09-06