Agent 工具路由别都用大模型：一个小分类器便宜 20 倍、400ms 出结果

multiply_matrix · x · 2026-09-18

针对 JEV（轻量模型路线）的争议，有人反驳「这不就是个分类器吗」，指出 agent 管线中很多环节其实只需要一个分类器。

作者算了笔账：用大模型做 reasoning 来决定该调用哪个 tool，要消耗大量 token 和等待时间；而用小型分类模型做同样的工具路由决策，响应约 400ms，成本低约 20 倍。核心观点是 agent 工程应按任务难度分层，能省的地方不必上大模型。