KV cache 读便宜是秘密:200 美元订阅等于 1.4 万美元 API 用量仍能赚钱
rachittshah · x · 2026-11-21
Gergely Orosz 科普帖:KV cache 读取成本极低、speculative decoding 提升会话效率,而编码场景大量使用这两者——这正是推理业务超级赚钱的原因。
- Claude/ChatGPT Max 订阅(200 美元/月)可提供相当于 2000-14000 美元 API 用量(40-70 倍补贴),看似亏本,实则因为编码 agent 90% 以上的 token 是 cache 读,真实服务成本远低于牌价。
- Typesafe CEO Diogo Almieda 指出:工具调用越多→cache 读越多→利润越高,agentic 工作负载反而推高了实验室的推理利润率。
- 引发讨论的起点:Vlad Mihalcea 算账称自己的 Pro 计划年费 200 美元,却用掉 16B token,按 API 单价约合 10 万美元。
- 推论:大规模跑 agent 时自托管开源权重模型更划算,能把 cache 的便宜留给自己;Fable 5.1 将 cache 读价格从 1.00 降到 0.25 美元/百万 token,显示价格仍会继续下降。
「Infra」频道最新
- 实测对比:媒体生成模型自建云 GPU 比 Higgsfield/Runway API 更便宜灵活 — Al_Grigor · 2026-11-21
- NVIDIA GTC 华盛顿 12 月 1 日议程出炉:基建、开源模型与物理 AI 四场重磅 — nvidia · 2026-11-21
- Baseten拆解AI时代安全威胁模型:agent集群分钟级窃数据 — baseten · 2026-11-21
- 投资人称英伟达算力兜底不可怕:至少三家竞品正争夺「AI 央行」 — GavinSBaker · 2026-11-21
- 实测 11 个开源模型新注意力架构:128K 上下文显存最高省 139 倍 — bariskasikci · 2026-11-21
- Anthropic 已递交纳斯达克上市申请,博主劝你先在本地存一个开源模型 — alex_verem · 2026-11-21