实测显示，MTP 调参可让部分本地模型吞吐翻倍
bradrlaw · reddit · 2026-07-25
作者在 P100 + 2×V100 的本地环境里测试了 MTP 的不同参数组合，结论是：如果只用默认值，很多模型和显卡搭配会把性能白白留在桌面上。
- 不同模型家族对 nmax 的敏感度差异很大。
- 在部分模型/卡组合上，认真调参可以比默认配置再拿回 50%–100% 的吞吐提升。
- 帖子还给出了基准测试脚本、VRAM 占用变化，以及 Gemma、Qwen 等模型的实测结果。
「Infra」频道最新
- Tenstorrent 融资 15 亿美元，估值 62 亿较去年翻倍以上 — Beth_Kindig · 2026-10-27
- Anthropic 拟向 SpaceX 采购 1205 亿美元算力,满载后月付约 31 亿 — XFreeze · 2026-10-27
- 恶搞：用 JEV 决策模型替换 Raft 共识，写入吞吐暴跌 99.98% — irombie · 2026-10-27
- Cadence 进入领域专用 AI 模型赛道,芯片设计自动化再加码 — karlfreund · 2026-10-27
- Qdrant 自研 Universal I/O:向量库 mmap 无缝迁移到对象存储 — qdrant_engine · 2026-10-27
- Nebius 获 Citi 35 亿美元融资额度用于 GPU 采购与数据中心 — Beth_Kindig · 2026-10-26