MTP 预取 MoE 专家提速实测
zyxciss · reddit · 2026-07-17
作者在 **qwen3.6 35b a3b** 的 CPU/GPU offload 场景里，尝试用模型自带的 **MTP head** 先预测下一 token，再根据该 token 可能会命中的专家路由，提前在后台预取对应 experts，从而把 PCIe 传输延迟藏到当前 token 计算过程中。 他在 llama.cpp 上做了初步埋点，结果显示： - 直接用“上一个 token 用过的 expert”做预取，命中率只有 **20.7%**，几乎没用。 - 用 MTP 引导的预测后，**top-8 命中率 78%**，**top-16 命中率 90%**，但 K 越大带宽开销也越高。 - 观察到明显的 **hot expert** 长尾：前 64 个 expert（总共 256 个）覆盖了 **51%** 的全部使用量。 - 当前基线大约 **35–36 tok/s**，如果全部专家都在 VRAM，理论上可到 **~200 tok/s**，说明瓶颈主要在 PCIe 传输而不是算力。 作者想确认这个思路是否真能落地：是否已有类似实现、router-only forward 的开销会不会抵消收益、以及在更大 batch 下是否会失效。他表示自己暂时不打算重写引擎，更倾向于 fork llama.cpp。