推算 LLM 推理毛利率高达 88%-97%,缓存是关键变量
zephyr_z9 · x · 2026-10-20
网友 zephyrz9 公开了一笔 LLM 推理经济账:在 97% 输入 token 命中缓存、按 prefill 80k tokens/s/GPU、decode 16k tokens/s/GPU(250 tokens/s/用户)的吞吐假设下,处理 10 亿 token 只需约 875 GPU 秒。
- 按 GPU 租金 $3-6/小时计,每 10 亿 token 的系统成本仅约 $0.73-1.46。
- 对应收入:低谷价 $11.91、高峰价 $23.82,推理毛利率因此在 87.76%-93.88%(低谷价)到 93.88%-96.94%(高峰价)之间。
- 配图给出了 DeepSeek V4.1 Flash 的 prefill/decode 吞吐-延迟曲线,显示批量加大时 prefill 吞吐可逼近 9 万 tokens/s/GPU。
- 结论指向:推理毛利远高于普遍想象,缓存命中率是决定性变量,引用者借此调侃 Anthropic CEO Dario 的定价压力。
「Infra」频道最新
- Mobileye 联创的新公司 doubleAI 称可将客户算力成本削减 67% — pstAsiatech · 2026-10-20
- 美国制裁窃取Google TPU机密的前华裔工程师关联的5家中企 — rohanpaul_ai · 2026-10-20
- AI 芯片公司 Tenstorrent 融资 15 亿美元，估值达 62 亿 — pstAsiatech · 2026-10-20
- NVIDIA Brev 把旧游戏PC变云端GPU：一个控制台统一管理本地与云算力 — victorialslocum · 2026-10-20
- DeepSeek开源推理路由细节曝光：decode仍用wideep ep64，prefill不做cache aware — teortaxesTex · 2026-10-20
- PyTorch 2.15 MPS 大升级:Mac 上 MoE 解码快 6.5 倍,FP8 正式登陆 — LysandreJik · 2026-10-20