MoE 在本地带宽受限场景更快
drdanielbender · x · 2026-07-17
Mixture-of-Experts 模型在带宽受限的本地环境里表现更好。
帖子给出一组实测：在 Ryzen AI Max+ 395 / 128GB 上，Qwen3.6 27B 跑到 20 tok/s，而 Qwen3.6 35B A3B 达到 58.1 tok/s，约快 2.9 倍。
作者同时提到，这是借助 Ollama Model Speed Duel 工具做出的对比，并感谢该工具的作者。
「Infra」频道最新
- Anthropic 10 月 ARR 疑似暴涨，年底千亿美元 ARR 有望 — GavinSBaker · 2026-10-26
- 降价即放量：Anthropic 10 月 token 用量暴涨，年底 ARR 或破 1000 亿美元 — GavinSBaker · 2026-10-26
- Alex Banks：电力是 GPU 上线瓶颈，真正的风险是需求先降温 — thealexbanks · 2026-10-26
- 分析师：蚂蚁是当前工作负载最具弹性可置换的模型厂商 — BenBajarin · 2026-10-26
- Anthropic S-1：训练基建优势使单任务成本降40%、营收增速翻倍 — BenBajarin · 2026-10-26
- 研究揭示合成数据最优比例随算力从10%升至32% — heghbalz · 2026-10-26