Agent实测:换模型省70%成本
qubridInc · reddit · 2026-07-11
作者分享了一个内部研究 agent 的实测:一次任务通常要跑 40–60 次 LLM 调用,原本使用 GPT-4o 时单任务成本超过 1 美元。
他们把大部分“路由/抽取”类调用切到开源模型后做了同一套评测,每个模型约跑 300 次,结论包括:
- Kimi K2.7 的工具调用表现最好,平行调用正常,schema 遵从度很高,几乎不需要额外防御性解析。
- GLM 5.2 在 60–80k token 的长上下文塞入场景下表现稳定。
- Qwen 3.7 偶尔会把 tool args 以字符串 JSON 返回,靠重试可缓解。
- 深层嵌套、可选字段很多的 schema,所有 OSS 模型都比 4o 弱,建议把 schema 扁平化。
- 同一模型不同服务商的延迟波动,比模型之间的差异还大,评估时应测具体 endpoint,不要只看榜单。
- DeepSeek V4-Pro 在他们这里的工具调用表现一般,没被选中。
最后的配置是:Kimi 负责工具步骤,GLM 负责综合生成,GPT-4o 只用于最终面向用户的回答;单任务成本从约 $1.10 降到 $0.35。
「编程与Agent」频道最新
- 安全专家:让 AI 智能体按 NIST CSF 搭知识库做应急响应 — prasanna_says · 2026-10-26
- Google Cloud Knowledge Catalog 新增自学习上下文充实,为 agent 自动补全企业知识 — rseroter · 2026-10-26
- Cloudflare 推出支出上限功能早期预览,Workers 与 Durable Objects 先行 — ritakozlov · 2026-10-26
- Shopify 设计负责人谈 AI 时代工作流:设计师正变成全栈编辑 — KlausCodes · 2026-10-26
- Nace AI 推出 Drex for Search:让 Agent 精准翻页读云端文件 — testingcatalog · 2026-10-26
- Ultrametric 开源 Open Startup Repo:让 AI Agent 自动运营创业公司 — garrytan · 2026-10-26