Agent 每轮塞 40 个工具 schema 浪费 token,动态路由的取舍怎么破

Abject_Housing7279 · reddit · 2026-09-11

一个 agent 团队发现自己每轮都发送 40 个工具 schema——含冗长 JSON 描述、重复规则、示例和参数说明——而路由器本可在模型看到任何 token 前排除其中 38 个,账单在功能产生价值前就到了。他们正在测试动态工具路由与 schema 剪枝,但取舍棘手:门槛太窄模型看不到需要的工具,太宽则输入 token 上升、prefix cache 失效、首 token 延迟上浮。作者还不信任单次调用成本指标——便宜的调用重试两次依然是昂贵的任务,预算审查只爱看平均值。帖子向社区征集:每轮如何决定哪些工具进 prompt、用什么指标证明路由有效。