多任务聊天里切模型会打碎缓存，路由未必划算
kevinkern · x · 2026-07-24
作者认为，模型路由经常是一种反模式，只有在确实需要不同模型分别满足质量/任务匹配、延迟、成本或隐私/本地部署等约束时才有意义。
他特别提醒：如果用户在同一个对话里连续做多个任务，路由器一旦切换模型，就可能破坏缓存命中，带来的损失甚至会抵消路由节省。若一个模型通过调节推理强度就能覆盖大部分需求，很多场景其实不必做路由。
「编程与Agent」频道最新
- 受 OpenAI 万机群启发，开发者开源 agent 众包解题平台 — Benjaminsen · 2026-09-11
- 开源 Mac 应用 Lucid：只在跑 AI 时阻止笔记本休眠 — Pitiful_Hedgehog_600 · 2026-09-11
- 20kb 函数匹配达成,banteg 召集 AI 逆向 Snail Mail 剩余 20 个挑战 — banteg · 2026-09-11
- Alex Townsend 汇编 200 个数值线性代数开放问题，供人类与 AI 攻关 — IgorCarron · 2026-09-11
- Kimi K2.8 Preview 上线：性能接近 K3、1M 上下文全档开放 — teortaxesTex · 2026-09-11
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11