多任务聊天里切模型会打碎缓存，路由未必划算
kevinkern · x · 2026-07-24
作者认为，模型路由经常是一种反模式，只有在确实需要不同模型分别满足质量/任务匹配、延迟、成本或隐私/本地部署等约束时才有意义。
他特别提醒：如果用户在同一个对话里连续做多个任务，路由器一旦切换模型，就可能破坏缓存命中，带来的损失甚至会抵消路由节省。若一个模型通过调节推理强度就能覆盖大部分需求，很多场景其实不必做路由。
「编程与Agent」频道最新
- Agent 开始在执行任务时主动暴露产品缺口 — stuffyokodraws · 2026-07-24
- 一个诡异的 agent 间房间实验曝光，Opus 身份正在运行 — burhop · 2026-07-24
- 多智能体聊天室实验：让 AI 代理自主交流与研究 — basedjensen · 2026-07-24
- AI 让重构更便宜，但测试仍然要先写 — dotey · 2026-07-24
- YC 加持 Daqstra，要做测试基础设施的 AI 原生层 — ycombinator · 2026-07-24
- AI agent 常把自己刚写的坏代码当遗产，还想继续兼容 — cto_junior · 2026-07-24