为什么用小模型不一定更省钱:账单降了,总成本涨了
zeuslac · reddit · 2026-09-21
作者分析一个常见盲区：按调用算便宜的模型可能让整个工作流更贵，而大多数 AI 业务测算根本不度量这些地方。
模式是这样的：简单案例中小模型够用、省钱是真的；难案例中它的建议太弱，审核人看完建议、对照源文档后干脆自己重做——这一单耗时反而超过没有 AI 时。而漏过审核的错误事后修复成本远高于推理费用。于是模型账单降了、工作总成本涨了，却没人发现：审核时间在另一个系统里，事后纠正也很少被归因回引发它的任务。
两个推论：
- 按难度路由的价值完全取决于模型间价差——一次降价就可能让路由层失去存在理由，所以路由层要设计得容易撤掉。
- 路由可以在财务上更划算、质量上却更糟：把足够的难例送给弱模型，整体错误率会超过纯人工流程，而表格上仍显示在省钱。
解法不复杂但不好看：给每个任务建一条记录，把模型用量、审核时间、事后纠正串起来，看「完成一个任务的全成本」而不是「一次调用的成本」。
所属事件:小模型未必更省钱：审查与返工成本推高整体账单(3 条相关)→
「漫话AGI」频道最新
- 独立开发者游戏 jam 创意疑被 AI 一键克隆抢先上架 — erikphoel · 2026-09-21
- Dario Amodei 呼吁集体放慢 AI,被批变相卡特尔与监管俘获 — mixtapedmonk · 2026-09-21
- 《每日电讯报》撰文：AI并没有'失控' — chu · 2026-09-21
- Lex Sokolin：每波金融浪潮都被叫泡沫，投机在为新基建买单 — LexSokolin · 2026-09-21
- 「监管飓风」讽刺段子:A 监管争论的荒诞类比 — Pseudomanifold · 2026-09-21
- Andy Masley 开写 EA 系列长文:用大白话讲清有效利他主义的世界观 — AndyMasley · 2026-09-21