实测反直觉：4 卡 3090 跑 Qwen 关闭 MTP 反而快 17%
macboller · reddit · 2026-10-17
作者在 MacBook Pro 与 4x RTX 3090 工作站上对比 Qwen3.6 35B A3B（Q6 量化，开启 MTP/多 token 预测）的解码速度，发现一个反直觉结果：
- 开启 MTP：约 70 tokens/s
- 关闭 MTP（speculative decoding 禁用）：约 82 tokens/s
原因：MTP 的 draft-and-verify 步骤需要在全部 4 张 GPU 之间做额外同步，而层切分（layer-split）的多卡本身就靠 PCIe 逐层接力，验证开销超过了接受草稿 token 带来的收益。
结论：多 GPU 层切分部署时，MTP 不一定更快，实测为准。
「Infra」频道最新
- Credo 推 ALC 有源光缆，瞄准 2030 年约 650 亿美元短距光互连市场 — BenBajarin · 2026-10-17
- pplx-decider 新思路:同一状态的多问题共享序列一次前向 — antoine_chaffin · 2026-10-17
- SemiAnalysis：多家 Neocloud 因引入 AMD/TPU 被 NVIDIA 拒入 GTC Berlin — AccBalanced · 2026-10-17
- 100GB+ 内存能跑什么规划模型？Reddit 征集本地部署方案 — GodComplecs · 2026-10-17
- vLLM 首次由 AI Agent 自主完成模型优化,每步均有明确性能提升 — vllm_project · 2026-10-17
- 越狱 PS5 本地跑大模型超 100 tokens/s：PS5LM 分支吃上 GPU 和更多内存 — ControlCAD · 2026-10-17