Agent实测:换模型省70%成本
qubridInc · reddit · 2026-07-11
作者分享了一个内部研究 agent 的实测:一次任务通常要跑 40–60 次 LLM 调用,原本使用 GPT-4o 时单任务成本超过 1 美元。
他们把大部分“路由/抽取”类调用切到开源模型后做了同一套评测,每个模型约跑 300 次,结论包括:
- Kimi K2.7 的工具调用表现最好,平行调用正常,schema 遵从度很高,几乎不需要额外防御性解析。
- GLM 5.2 在 60–80k token 的长上下文塞入场景下表现稳定。
- Qwen 3.7 偶尔会把 tool args 以字符串 JSON 返回,靠重试可缓解。
- 深层嵌套、可选字段很多的 schema,所有 OSS 模型都比 4o 弱,建议把 schema 扁平化。
- 同一模型不同服务商的延迟波动,比模型之间的差异还大,评估时应测具体 endpoint,不要只看榜单。
- DeepSeek V4-Pro 在他们这里的工具调用表现一般,没被选中。
最后的配置是:Kimi 负责工具步骤,GLM 负责综合生成,GPT-4o 只用于最终面向用户的回答;单任务成本从约 $1.10 降到 $0.35。
「编程与Agent」频道最新
- 有人想给软件工程任务建「形态分类」数据库,好按任务选模型 — StewartalsopIII · 2026-09-11
- 用 prompt 造硬件:一次对话让智能体组装定制设备寄到家 — paraschopra · 2026-09-11
- 模型之外才是关键:一文拆解 RAG 到多智能体的六大 AI 架构 — goyalshaliniuk · 2026-09-11
- 零基础开发者自建分层记忆架构,仅 20k token 记住一年对话 — matteoianni · 2026-09-11
- Warp 六个非工程团队全用 Linear 和 Claude Code 工程化运作 — mon__lim · 2026-09-11
- 九年后端老兵:AI 代码不比人写的差,变糟的只是速率 — Sweaty-Landscape-561 · 2026-09-11