单卡 GH200 跑出 3323 tok/s 极限推理成绩
开发者近日在单张 NVIDIA GH200 显卡上完成了极限推理测试。通过结合 vLLM 框架、BF16 精度和 FlashAttention 3 等技术，成功将 Muse Glimmer 30B 模型的推理速度推至惊人的 3323 tokens/s。目前，该开发者已基于这一极限部署正式开放了 Muse Glimmer 30B 的 API 供外部调用。
2026-08-12 ~ 2026-08-12 · 2 条相关
- 第 1 集:DeepGrove发布开源模型Maple，Mac Mini跑出超200 tokens/s(2026-08-05,4 条)
- 第 2 集:Maple 20B-A1B 预览版发布，单卡 GH200 跑出 9885 tokens/s(2026-08-06,5 条)
- 第 3 集:单卡 GH200 跑出 3323 tok/s 极限推理成绩(2026-08-12,2 条)
- 单卡 GH200 跑出 3323 tok/s 极限推理 — MaziyarPanahi · 2026-08-12
另有 1 条近重复转述:MaziyarPanahi