为什么用小模型不一定更省钱:账单降了,总成本涨了
zeuslac · reddit · 2026-09-21
作者分析一个常见盲区：按调用算便宜的模型可能让整个工作流更贵，而大多数 AI 业务测算根本不度量这些地方。
模式是这样的：简单案例中小模型够用、省钱是真的；难案例中它的建议太弱，审核人看完建议、对照源文档后干脆自己重做——这一单耗时反而超过没有 AI 时。而漏过审核的错误事后修复成本远高于推理费用。于是模型账单降了、工作总成本涨了，却没人发现：审核时间在另一个系统里，事后纠正也很少被归因回引发它的任务。
两个推论：
- 按难度路由的价值完全取决于模型间价差——一次降价就可能让路由层失去存在理由，所以路由层要设计得容易撤掉。
- 路由可以在财务上更划算、质量上却更糟：把足够的难例送给弱模型，整体错误率会超过纯人工流程，而表格上仍显示在省钱。
解法不复杂但不好看：给每个任务建一条记录，把模型用量、审核时间、事后纠正串起来，看「完成一个任务的全成本」而不是「一次调用的成本」。
所属事件:小模型省钱或是错觉:隐藏的审查与返工成本推高总账单(4 条相关)→
「漫话AGI」频道最新
- Gemini 几乎自主完成「血染钟楼」社交推理 benchmark 实验 — eliebakouch · 2026-11-12
- Pedro Domingos 调侃「Dario 定律」：所需算力也在指数增长 — pmddomingos · 2026-11-12
- AI agent 用得越多，瓶颈越是你自己：人类信息处理仅 10 bits/s — soumitrashukla9 · 2026-11-12
- Matt Pocock:能把业务讲清楚,AI 时代你就完成了半套自动化软件 — mattpocockuk · 2026-11-12
- 研究者提议:AI 进展评估应报告效率增益指标,而非只看最终跑分 — eliebakouch · 2026-11-12
- Bittensor 子网 NOVA 用「先做出药物资产」证明 AI 制药平台实力 — markjeffrey · 2026-11-12