GB300 单托盘跑 DeepSeek Flash：每用户近 1000 tok/s，百万 token 仅 7 美分
bookwormengr · x · 2026-10-30
- SemiAnalysis 报道：在 NVIDIA GB300 NVL72 上，SGLang 通过激进融合 kernel，跑 DeepSeek Flash v4.1 时可实现接近每用户 1000 tok/s 的交互速度。
- @bookwormengr 补充算账：即使在这种高交互速度下，按 TCO 折算 1 美元可出 1300 万 token，即每百万 token 约 7 美分。
- 帖子称仅需一个 NVL72 托盘（4 GPU 级别配置）即可达到，对防御性网络安全、语音和设计类应用意义重大。
- TileRT 开创了 OSS 前沿模型上的 megakernel 引擎趋势，SGLang 正广泛跟进。
「Infra」频道最新
- Rogers 卫星漫游扩至日澳新，加拿大手机借 Starlink 通全球 — XFreeze · 2026-10-30
- AWS 布道师发现 macOS 更新回滚:已移除的 eMudhra 证书又回到系统信任库 — kingslyj · 2026-10-30
- NVIDIA 官方教程:最大化 Jetson 内存效率并降低成本 — NVIDIAAI · 2026-10-30
- 一条命令起服务：用 transformers serve 跑 NVIDIA Nemotron 3.5 转写模型 — yb2698 · 2026-10-30
- 录屏工具 Cap 自建 GPU 农场跑转写,速度最高提升 11 倍 — JosephJacks_ · 2026-10-30
- Prime Intellect 把 DeepSeek MegaMoE 做成可训练，MoE 训练提速最高 55% — samsja19 · 2026-10-30