MLX 的 MoE 层提速 1.5 倍,靠 grouped mm 瓦片调度优化
awnihannun · x · 2026-09-28
MLX(苹果开源机器学习框架)合入了一个 Metal 后端优化 PR:重写 gathermm 内核的 tile 分配方式。原实现中 tile 与专家分配相互独立,导致一个线程组要对多个专家做多次 matmul、产生多余的 K 次扫描,对短序列尤其浪费;新方案参考 quack 的 tile scheduler,按行 tile 调度让加载与专家分配对齐,使 MoE 层获得约 1.5 倍加速。对在 Apple Silicon 上本地跑 MoE 模型的用户是直接的推理提速。
「Infra」频道最新
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- 美国 BIS 新规封堵境外远程调用先进 AI 芯片的漏洞 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16
- Stratechery 虚构讣告:假如黄仁勋 2026 年卸任英伟达 — Gregory_C_Allen · 2026-11-16
- vLLM 单 GB300 机架跑 DeepSeek V4.1 Flash 达 954K tokens/s,每小时收入 39 美元 — bookwormengr · 2026-11-16