单张 GH200 跑出 3323 tok/s：Muse Glimmer 30B 开放 API 实测
MaziyarPanahi · x · 2026-08-12
开发者在单张 NVIDIA GH200 显卡上，使用 DFlash 技术部署了 Muse Glimmer 30B 模型，实现了高达 3,323 tokens/s 的惊人推理速度。目前作者已将该模型的 API 免费开放给公众测试，邀请社区发送高难度问题来寻找模型的能力边界。此外，作者预告明天将继续进行 Qwen3.8 27B 模型的同类测试。
所属事件:单张GH200跑出3323 tok/s极限推理(3 条相关)→
「Infra」频道最新
- Zero 下一代 IVM 引擎塞进单个 DO，实时查询 R2 上 100GiB 数据库 — threepointone · 2026-10-16
- Aziz 梗图开玩：2028 年自己开 Roadster 去芯片工厂提货 — beffjezos · 2026-10-16
- 一个人维护 40 亿台设备的时钟：时区数据库背后的志愿者 — danbri · 2026-10-16
- 4x DGX Spark 跑 DeepSeek V4.1 Flash 实测：内存根本不够，494 t/s 有水分 — Aroochacha · 2026-10-16
- 开发者开源 Intel GPU Vulkan 推理升级:部分路径摄取提速 2 倍 — Fun-Aardvark-1143 · 2026-10-16
- ELSFP 光封装三大痛点：插损超 3dB、PMF 贵且难装、洁净间要求高 — jwt0625 · 2026-10-16