单卡GH200跑Qwen 27B：10路并发首包10ms
8月15日，开发者 MaziyarPanahi 公布实测：阿里巴巴 Qwen3.8-27B-FP8 在单张 NVIDIA GH200（Lambda 托管）上以 vLLM 跑出 10 路真实并发流式推理，单请求最大输出 16K tokens、上下文长度 262K，首个流式事件在 10ms 内到达；另一组数据显示 64 并发下总吞吐约 3300 tokens/s。当前结论：单张 GH200 已能同时支撑超长上下文、多路并发与 10ms 级首包，为 27B 级模型单卡部署提供了公开可查的性能样本。
已确认
- 部署环境：单张 NVIDIA GH200，Lambda 托管，vLLM 推理框架，模型为阿里巴巴 Qwen3.8-27B-FP8（FP8 量化）
- 并发实测：10 个真实请求同时流式输出，推理过程与最终答案均可见；每请求最大输出 16K tokens，上下文长度 262K，首个流式事件在 10ms 内到达
- 吞吐实测：64 个并行请求下总吞吐约 3300 tokens/s，首个流式响应事件同样在 10ms 内落地
尚未确认
- 模型名在不同帖子中出现 Qwen3.8-27B-FP8 与 Qwen3-8B-27B-FP8 两种写法，材料未给出官方定名
- MaziyarPanahi 转发的一条内容称该模型性能超过 Opus 4.6，未附对比基准或测试细节，尚无独立验证
为什么重要
- FP8 量化加 vLLM 的组合，把 262K 超长上下文、10 路并发与 10ms 级首包同时压进单张 GH200，说明该量级服务不再必然依赖多卡集群
- 64 并发 3300 tokens/s 的吞吐意味着单卡即可承接相当规模的真实流量，为中小团队按单卡租用成本估算长上下文模型服务提供了直接参照
2026-08-15 ~ 2026-08-15 · 5 条相关
一手来源
- Qwen3.8-27B-FP8在GH200上实测：10路并发流式响应，延迟低至10ms — MaziyarPanahi ·
- Qwen3 推理实测：单卡 GH200 支撑 262K 上下文 — MaziyarPanahi ·
- 单卡 GH200 跑 Qwen3：64 并发吞吐 3.3k tokens/s — MaziyarPanahi ·
- Qwen3.8-27B-FP8在GH200上实现10路并发流式推理，首包延迟10ms — MaziyarPanahi · 2026-08-15
- Qwen3.8-27B-FP8单卡运行，性能超越Opus 4.6 — MaziyarPanahi · 2026-08-15
- 【源头】Qwen3 推理实测：单卡 GH200 支撑 262K 上下文 — MaziyarPanahi · 2026-08-15
- 【源头】单卡 GH200 跑 Qwen3：64 并发吞吐 3.3k tokens/s — MaziyarPanahi · 2026-08-15
另有 1 条近重复转述:MaziyarPanahi