Qwen3-8 2.4T在NVIDIA GB300 NVL72上达288k tokens/s
RhubarbSimilar1683 · reddit · 2026-08-17
NVIDIA官方博客宣布，Qwen3-8 2.4T模型在NVIDIA GB300 NVL72上实现了每GPU每秒超过4K tokens的吞吐量，每用户每秒超过350 tokens（FP8精度）。该性能为Day 0表现，未来通过NVFP4等优化预计进一步提升。
「Infra」频道最新
- 797GB n-gram 表存进 CPU 内存,1B 规模预训练多榨 57% 算力 — anshulkundaje · 2026-10-16
- 给预训练 Transformer 换上 Titan 模块：推理提速且性能损失有限 — behrouz_ali · 2026-10-16
- NVIDIA Nemotron 3.5 Bolt 74B-A9B 登陆 Ollama，2-bit 量化塞进 24GB 本地跑 — ollama · 2026-10-16
- 商务部向 GlobalFoundries 重新分配 9.55 亿美元芯片补贴，押注硅光子 — pstAsiatech · 2026-10-16
- 马斯克放话要超10GW算力,英伟达把SpaceX列为云客户联合设计太空服务器 — elonmusk · 2026-10-16
- 黄仁勋：马斯克 AI 算力规模已从 K 级跃升至 M 级 — elonmusk · 2026-10-16