单卡 GH200 跑出 3323 tok/s 极限推理
MaziyarPanahi · x · 2026-08-12
开发者 MaziyarPanahi 分享了一项极限推理测试：在单张 NVIDIA GH200 上，使用 vLLM 0.26、BF16 精度和 FlashAttention 3，将 Muse Glimmer 30B 模型跑出了 3,323 tok/s 的惊人速度（支持 131K 上下文）。
他同时开放了临时 API 供公众免费测试，邀请大家发送高难度问题来测试模型极限。
所属事件:单卡 GH200 跑出 3323 tok/s 极限推理成绩(2 条相关)→
「Infra」频道最新
- 华尔街分析师未追问 CoreWeave 与英伟达 500 亿合作 — firstadopter · 2026-08-12
- FlashRT 系统：用 AI Agent 自动优化部署，延迟降 70 倍 — BeidiChen · 2026-08-12
- Google 宣布建设三条新美洲海底光缆 — rseroter · 2026-08-12
- DeepSeek V4 量化实测：修复转换隐患与 8×RTX 5090 跑分 — gladkos · 2026-08-12
- 马斯克：Starlink将承载90%以上互联网流量，卫星数近1.1万 — DimaZeniuk · 2026-08-12
- macOS虚拟化突破：Apple Silicon跑大模型速度暴增超10倍 — Scobleizer · 2026-08-12