实测显示，MTP 调参可让部分本地模型吞吐翻倍
bradrlaw · reddit · 2026-07-25
作者在 P100 + 2×V100 的本地环境里测试了 MTP 的不同参数组合，结论是：如果只用默认值，很多模型和显卡搭配会把性能白白留在桌面上。
- 不同模型家族对 nmax 的敏感度差异很大。
- 在部分模型/卡组合上，认真调参可以比默认配置再拿回 50%–100% 的吞吐提升。
- 帖子还给出了基准测试脚本、VRAM 占用变化，以及 Gemma、Qwen 等模型的实测结果。
「Infra」频道最新
- Intel 10-Q 暗示 18A 与 14A 推进，或迎外部大客户 — BenBajarin · 2026-07-27
- Kimi K3 登陆 Together，预留吞吐成本低 65% — togethercompute · 2026-07-27
- OpenAI 可能撞上算力上限，Codex 和 ChatGPT Work 四个月涨到 1000 万 — JoshuaJBouw · 2026-07-27
- NVIDIA 称 Vera CPU 正加速下一代 CPU 和 GPU 设计 — nordicinst · 2026-07-27
- NVIDIA 称 Nemotron 3 Ultra 在 RTL 芯片设计任务上达 97.1% — NVIDIAAI · 2026-07-27
- NVIDIA 说 Vera CPU 让部分 EDA 工作负载提速 1.5 倍 — NVIDIA Blog · 2026-07-27