小模型更便宜是错觉:审查与返工成本让整体账单更高
zeuslac · reddit · 2026-09-21
一篇关于 LLM 工作流成本核算的分析,指出「按次调用更便宜」的模型可能让整个工作流更贵,而多数 AI 商业案例没有测量这些地方。
- 典型模式:简单任务小模型胜任、省钱是真的;困难任务上小模型建议太弱,审核者读建议、对照源文件、最后自己重做,耗时反而超过不用 AI;漏过审核的错误事后修复成本远超推理成本。
- 结果是模型账单下降、工作总成本上升,而没人发现——因为大家只盯模型账单这一个数字,审核时间记在另一个系统,返工很少回溯到引发它的任务。
- 两个推论:按难度路由的价值完全取决于模型间价差,一次降价就可能让路由层失去存在理由,所以路由层要保持随时可拆;路由可以在财务上划算但质量上失败——足够多难任务送给弱模型,总体错误率会超过纯人工流程,而表格上却显示在省钱。
- 修法朴素但有效:给每个任务建一条记录,把模型用量、审核时间和后续修正串起来,看「完成任务的总成本」而不是「单次调用的成本」。
「创投」频道最新
- 用 AI 重读 Yandex 泄露代码:行为信号数量是内容信号的 3 倍 — tracyingram · 2026-09-21
- OpenAI 3亿美元收购37人影像公司GlassImaging,为AI硬件铺路 — 快鲤鱼 · 2026-09-21
- 术理创新启动科创板 IPO 辅导,脑机接口康复设备单台售价 195 万 — 创业邦 · 2026-09-21
- 4千万美元押注「校准置信度」，TypeSafe却未公开任何校准数据 — prakersh · 2026-09-21
- 独立开发者晒 SEO 工具战报:日曝光从 2 千涨到 2.3 万 — tibo_maker · 2026-09-21
- 智谱、月之暗面、DeepSeek 五个月融资约 350 亿美元，或达 600 亿 — FinanceYF5 · 2026-09-21