AI 推理账单降 95%:Featherless AI 四步削减大规模 token 成本
AI Engineer · youtube · 2026-10-17
AI Engineer NYC 2026 现场讲座,Eugene Cheah(Featherless AI)面向日均 2T token 规模的团队,讲解系统性削减 AI 推理成本的四个步骤,封面案例称月账单从 $250K 降到 $7.6K(约降 95%)。
四步框架与要点
- Move 1: 度量——别让全公司共用一个 API key,按团队拆分 key 才能看清花费;区分 agentic 与 process 两类工作负载的成本特性。
- Move 2: 选对模型——分类器是一类新的廉价模型;「用聪明模型做规划、用便宜模型做执行」;给团队发模型标签(model labels)而非模型名,方便底层替换;微调自建模型的路径与 shadow traffic 灰度验证。
- Move 3: 买 GPU 算力——速度翻倍≈成本三倍;突发流量与专用容量的取舍。
- Move 4: 检查流程——token 不等于完成的工作量,警惕「slop grenades」(大量无效 token 输出)。
Q&A 覆盖微调数据集、golden traces、逃离 harness 锁定、缓存与自动路由。讲座近一小时,含完整时间戳,是推理成本工程化的系统教程。
「编程与Agent」频道最新
- shadcn 感叹 Anthropic 内部模型进展惊人,求早期访问权限 — shadcn · 2026-10-17
- Perplexity 自研 pplx-decider 零重排监督训练，附内部评测 prompt — bo_wangbo · 2026-10-17
- 实测 Anthropic code-review skill:Opus 5.5 多修 5.5 个 bug 且成本反降 — PawelHuryn · 2026-10-17
- 2026 年已有超 2 万个 agent harness,单个 2 天冲到 9.5 万 — jasonkneen · 2026-10-17
- 语音 AI 产品负责人长文:Jev 类分类器模型在电话机器人里的真实定位 — VladimirSamukov · 2026-10-17
- Tailscale 代码里藏西里尔字母 ж，专防误改内部变量 — mitsuhiko · 2026-10-17