Agent实测：换模型省70%成本
qubridInc · reddit · 2026-07-11
作者分享了一个内部研究 agent 的实测：一次任务通常要跑 40–60 次 LLM 调用，原本使用 GPT-4o 时单任务成本超过 1 美元。 他们把大部分“路由/抽取”类调用切到开源模型后做了同一套评测，每个模型约跑 300 次，结论包括： - **Kimi K2.7** 的工具调用表现最好，平行调用正常，schema 遵从度很高，几乎不需要额外防御性解析。 - **GLM 5.2** 在 60–80k token 的长上下文塞入场景下表现稳定。 - **Qwen 3.7** 偶尔会把 tool args 以字符串 JSON 返回，靠重试可缓解。 - **深层嵌套、可选字段很多的 schema**，所有 OSS 模型都比 4o 弱，建议把 schema 扁平化。 - **同一模型不同服务商的延迟波动**，比模型之间的差异还大，评估时应测具体 endpoint，不要只看榜单。 - **DeepSeek V4-Pro** 在他们这里的工具调用表现一般，没被选中。 最后的配置是：Kimi 负责工具步骤，GLM 负责综合生成，GPT-4o 只用于最终面向用户的回答；单任务成本从约 **$1.10** 降到 **$0.35**。