小模型反而更贵:单次调用省钱却让整体工作变慢
zeuslac · reddit · 2026-09-21
文章指出一个被普遍忽视的成本陷阱:便宜的模型单次调用省钱,但整体工作流可能更贵。
- 简单任务上小模型表现好、省钱是真实的;但困难任务上建议太弱,审查者读完建议、对照源文档核对后干脆自己做,反而比没有AI时更慢。漏过审查的错误后续修复成本远高于推理成本。
- 模型账单下降、工作成本上升,但没人发现——因为大家只盯模型账单这一个数字,审查时间在另一个系统里,后期返工也很少归因到原任务。
两个衍生观察:1)按难度路由有价值,但完全取决于模型间价差,一次降价就可能让路由层失去存在意义,所以路由层要做得容易拆掉;2)路由在财务上更优也可能在质量上失败——足够多难任务被送到弱模型后,整体错误率会超过纯人工流程,而报表上仍在显示省钱。
解法不复杂但无聊:给每个任务建一条统一记录,把模型用量、审查时间、后续返工绑在一起,看到的是完成一个任务的全成本而非一次调用的成本。
所属事件:小模型省钱或是错觉:隐藏的审查与返工成本推高总账单(4 条相关)→
「编程与Agent」频道最新
- 让编码 agent 不产垃圾代码的 7 步法:单月合入 1.1 万 PR、回滚率 0.5% — TheTuringPost · 2026-11-12
- Every agent 新功能:从 Slack 直接创建和编辑 Google 表单 — every · 2026-11-12
- Notion MCP Server 支持 CRUD 全流程,可接入 Cursor 与 Claude — modelcontextprotocol · 2026-11-12
- MuniSpot MCP 连接器覆盖 2 万多个美国市政财务数据 — modelcontextprotocol · 2026-11-12
- AI agent 用得越多,瓶颈越是你自己:人类信息处理仅 10 bits/s — soumitrashukla9 · 2026-11-12
- 2026 年每个工程师都被「晋升」成 Tech Lead:从带人变成带 Agent — rseroter · 2026-11-12