Qwen3.8-27B 单张 GH200 跑出 129.8 tok/s
基准测试显示，Qwen3.8-27B（BF16）模型在单张 NVIDIA GH200 上实现了 129.8 tokens/s 的推理速度，测试配置为 2048 输入 token 与 1536 强制输出 token，采用 vLLM 框架配合 DFlash2 技术栈。在多轮性能对比中，vLLM 在多数测试中胜出，SGLang 虽整体落败，但仍在 MTP-1 和 DSpace 相关测试中取得优势。
2026-08-21 ~ 2026-08-21 · 3 条相关
- 第 1 集:Qwen3.8-27B实测亮眼：小模型挑战百倍规模对手(2026-08-20,3 条)
- 第 2 集:Qwen3.8-27B 单张 GH200 跑出 129.8 tok/s(2026-08-21,3 条)
- Qwen3.8-27B 在单张 GH200 上跑出 129.8 tok/s — MaziyarPanahi · 2026-08-21
- Qwen3.8 评测：vLLM 性能表现最佳 — MaziyarPanahi · 2026-08-21
另有 1 条近重复转述:MaziyarPanahi