Agent 路由降本未必省钱
Roger_M_Taylor · x · 2026-07-12
这条转发讨论了 **LLM agent 路由层** 为什么“看起来把一部分请求切到便宜模型了，账单却没怎么降”。核心原因是： - **agent 不是单次调用**，而是规划、工具调用、结果分析等多轮串联。 - 每一步都会把不断累积的上下文再次送入模型，导致 token 消耗随流程增长。 - 因此，单纯在入口加一个分类器，把“简单请求”转给便宜模型，往往不足以带来预期节省。 文中引用的文章还提到一个 100% 本地、极简的设置思路：在任意 agent 前面加一层，把每个 prompt 发给“能处理它的最便宜模型”，并称这种方式被 Coinbase 等团队采用。