DeepSeek 推理数据实锤：每卡每小时 38 美元，缓存命中率 96%
teortaxesTex · x · 2026-10-20
- 核心数据：DeepSeek 披露的实际线上运营数据显示，每张 decode 卡输出吞吐 14,000 tokens/s（单用户约 230 tokens/s），prefill 与 decode 卡数量约 1:1，平均每卡每小时收入 38 美元（淡季价格）。
- 关键指标：prefill 卡新输入吞吐 60,000 tokens/s；含缓存命中总输入吞吐高达 150 万 tokens/s/卡；输入缓存命中率 96%；平均输入长度 77,000 tokens；首 token 延迟均值 400ms、P99 1000ms。
- $38/卡时验证：用官方 V4.1 Flash 淡季价格（未缓存输入 $0.15/M、缓存输入 $0.003/M、输出 $0.60/M）重构计算：prefill 卡时收入约 $47.95，decode 卡约 $30.24，按 1:1 平均约 $39.10/卡时，与披露的 $38 仅差 3%，说明其收入数据自洽，不依赖把缓存 token 当新 token 计费等手法。
- 社区判断：teortaxesTex 称所有公开基线在这些内部推理栈面前都是垃圾，前沿实验室同样如此，推理是印钞机；SemiAnalysis InferenceMAX 已把 DeepInfer 与 vLLM、SGLang 作对比图。
「Infra」频道最新
- 新推理引擎 Whale 号称碾压 vLLM 与 SGLang — EAccelerate_42 · 2026-10-20
- DeepSeek 开源生产级推理框架 DeepInfer，上线即 2k Star — Apprehensive_Rub3897 · 2026-10-20
- Mobileye 联创的新公司 doubleAI 称可将客户算力成本削减 67% — pstAsiatech · 2026-10-20
- 美国制裁窃取Google TPU机密的前华裔工程师关联的5家中企 — rohanpaul_ai · 2026-10-20
- AI 芯片公司 Tenstorrent 融资 15 亿美元，估值达 62 亿 — pstAsiatech · 2026-10-20
- Lemonade Server CLI 实用技巧：拉取、配置与跑分本地模型 — admcpr · 2026-10-20