MoE 在本地带宽受限场景更快
drdanielbender · x · 2026-07-17
Mixture-of-Experts 模型在**带宽受限**的本地环境里表现更好。 帖子给出一组实测：在 **Ryzen AI Max+ 395 / 128GB** 上，`Qwen3.6 27B` 跑到 **20 tok/s**，而 `Qwen3.6 35B A3B` 达到 **58.1 tok/s**，约快 **2.9 倍**。 作者同时提到，这是借助 `Ollama Model Speed Duel` 工具做出的对比，并感谢该工具的作者。