小模型更便宜是错觉:审查与返工成本让整体账单更高
zeuslac · reddit · 2026-09-21
一篇关于 LLM 工作流成本核算的分析,指出「按次调用更便宜」的模型可能让整个工作流更贵,而多数 AI 商业案例没有测量这些地方。
- 典型模式:简单任务小模型胜任、省钱是真的;困难任务上小模型建议太弱,审核者读建议、对照源文件、最后自己重做,耗时反而超过不用 AI;漏过审核的错误事后修复成本远超推理成本。
- 结果是模型账单下降、工作总成本上升,而没人发现——因为大家只盯模型账单这一个数字,审核时间记在另一个系统,返工很少回溯到引发它的任务。
- 两个推论:按难度路由的价值完全取决于模型间价差,一次降价就可能让路由层失去存在理由,所以路由层要保持随时可拆;路由可以在财务上划算但质量上失败——足够多难任务送给弱模型,总体错误率会超过纯人工流程,而表格上却显示在省钱。
- 修法朴素但有效:给每个任务建一条记录,把模型用量、审核时间和后续修正串起来,看「完成任务的总成本」而不是「单次调用的成本」。
所属事件:小模型省钱或是错觉:隐藏的审查与返工成本推高总账单(4 条相关)→
「创投」频道最新
- Papermark 分析超 100 万次 Pitch Deck 浏览：Team 页投资人停留最久 — MartinGTobias · 2026-11-12
- AI 拆解融资 Deck：10 美元出逐页诊断报告 — MartinGTobias · 2026-11-12
- Ollama 入选 The Information 2026 年 50 家最具潜力初创公司榜 — ollama · 2026-11-12
- AI 内容站自救出新招：单独开 LLM 专用子域，搜索表现依旧惨淡 — lilyraynyc · 2026-11-12
- usefisco 用户破 400、店铺超 100，正筹朋友家人轮融资 — saheedniyi_02 · 2026-11-12
- 马斯克回应Anthropic可能撤离:乐意收回算力,但事态会相反 — elonmusk · 2026-11-12