本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度
InternalMode8159 · reddit · 2026-11-02
一位长期做本地推理测试的用户提醒:在显存/内存吃紧的情况下跑大参数模型时,MTP(多 token 预测)反而可能拖慢性能,而不少应用正把它设为默认开启。
作者实测配置:3060 + 32GB 内存,使用 Gyrostrata/Strata 搭配 gyro-m 和 swift 1.5,仅关闭 MTP 就获得了 20-30% 的 tok/s 提升。建议遇到类似硬件条件的用户尝试关闭该选项。
「Infra」频道最新
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02
- Intel 单日暴跌 29% 创 1970 年代以来最差，美国政府持股蒸发 120 亿美元 — emmanuelvivier · 2026-11-02
- 内存价格狂飙,大 V 自囤近 1TB DRAM 宣布一根也不卖给数据中心 — kevinnbass · 2026-11-02