6 张 V100 跑通 Qwen 3.8 Next:MTP 提速近一倍至 43 tok/s
Odd_Caterpillar_2994 · reddit · 2026-09-20
作者分享了在 6 卡 V100(TP2 PP3)上跑通 Qwen 3.8 Next 的完整过程:
- 踩坑:一块卡掉到 PCIe Gen1 x16,花两天约 8 小时排查;引擎从 sglang-v100(持续 OOM)、pxa(报错)一路试到 1cat-vllm 才稳定运行。
- 配置:TP2 PP3,推测解码只能设 speculative=1,设 2 会 OOM;KV cache 约 8.78 GiB、53 万 token。
- 性能:prefill 在 16K 输入时峰值 4679 tok/s;开启 MTP 后生成速度从平均 22.59 tok/s 提升到 42.70 tok/s,接近翻倍。
- 散热:gpu-burn 压测 20 分钟后温度稳定在 64°C,风扇仅 76% 转速,系统安静稳定。
「Infra」频道最新
- a16z：H100 租金比直线折旧线高 54%，老 GPU 远未贬值 — a16z · 2026-11-12
- 开发者晒 AMD Strix Halo 跑通 ONNX：本地编译匹配 migraphx ABI — wavefnx · 2026-11-12
- 分析师推算：国产芯片放量后中国或按 1:2 配比逐步放开 H200 — teortaxesTex · 2026-11-12
- 数据中心的账：支撑美国科技业 20% 与十年股市涨幅约一半 — SydSteyerhart · 2026-11-12
- 预算级独显服务器租赁指南:OVH、FiberState 及询价技巧 — realmrfakename · 2026-11-12
- AMD EPYC 评测配图神似 ViT 分割模型 logit 伪影，逗乐 AI 研究员 — giffmana · 2026-11-12