DeepSeek 开源推理栈 DeepInfer,公开 prefill/decode 吞吐实测数据
Xianbao_QIAN · x · 2026-10-20
DeepSeek 发布 DeepInfer 推理方案，并公布性能基准：prefill 在 4 块 SM100 GPU 的 scale-up 域内，非缓存输入吞吐最高约 65,536 tokens/s/GPU（batch 65,536，延迟约 750ms/步）；decode 在 64 GPU 域内，单用户速度 112 tokens/s 时总吞吐约 22,800 tokens/s/GPU，可按并发在吞吐与交互性间权衡。配置为 EP64DP64、384+64 experts、131,072 上下文，并附 runsweep.sh 供复现。目标是让 AI tokens 到处可用、更便宜。
所属事件:DeepSeek 开源生产级推理框架 DeepInfer(11 条相关)→
「Infra」频道最新
- 推算 LLM 推理毛利率高达 88%-97%,缓存是关键变量 — zephyr_z9 · 2026-10-20
- DeepSeek 技术博客曝光:100 PiB SSD 撑起 96% 缓存命中率 — teortaxesTex · 2026-10-20
- OVHcloud 官方 CLI 遭供应链攻击,v0.11.0-v0.15.0 被植入窃密二进制 — evilsocket · 2026-10-20
- DeepSeek 推理数据实锤：每卡每小时 38 美元，缓存命中率 96% — teortaxesTex · 2026-10-20
- ChinaTalk 播客:DUV 出口管制是卡住中国 AI 算力的最大杠杆 — ChinaTalk · 2026-10-20
- 本地 27B 模型读租约查账单：Row-Bot + Qwen 全程离线跑通 — Acceptable-Object390 · 2026-10-20