Qwen3 推理实测：单卡 GH200 支撑 262K 上下文
MaziyarPanahi · x · 2026-08-15
测试了阿里巴巴 Qwen3.8-27B-FP8 模型在单张 NVIDIA GH200 上的表现。使用 vLLM 框架，在 10 个真实请求并发流式输出、每个请求最大 16K 输出、总上下文 262K 的情况下：首个流事件在 10ms 内落地，所有请求正常完成。之前的负载测试显示，从 1 个流的 148 tok/s 提升到 64 并发请求的 3,395 tok/s，聚合吞吐量提升 22.93 倍。
所属事件:单卡GH200跑Qwen 27B：10路并发首包10ms(5 条相关)→
「Infra」频道最新
- 黄仁勋披露：每 GPU 年收约数千美元软件费，成 NVIDIA 重要收入线 — rohanpaul_ai · 2026-10-16
- 开发者亲测：几万块 V100 本地部署 DeepSeek，不如直接订阅 Claude — lxfater · 2026-10-16
- 公开喊话 neocloud：我愿买 3 万美元 GPU 算力，给个折扣吗 — Sauers_ · 2026-10-16
- 拿到新硬件就开跑：垃圾佬第一时间本地部署模型 — lxfater · 2026-10-16
- Together AI 提出 Score Centering:量化推理下 RL 训练不再崩 — nrehiew_ · 2026-10-16
- AI 推理正走向异构分解:Prefill 与 Decode 分用专用芯片 — AccBalanced · 2026-10-16