苹果 MLX 合并多项优化：批量解码提速 2~3 倍，prefill 近 2 倍
awnihannun · x · 2026-10-29
zcbenz（MLX 主要贡献者之一）汇总了近期合入 MLX 的一批内核与推理优化，数据相当可观：
- fused SDPA 内置 sliding window attention 支持（PR #4734），支持 bool/additive 数组 mask，并可同时启用 causal 或滑窗模式
- 用 mma/nax 优化小行大批量 N/K 的 QMV，批量解码提速 23 倍
- fp4 直接反量化到 float16，老 Mac 的 prefill 提速 1.4 倍
- 两级 nax QMM 内核，部分模型的小 prompt prefill 提速近 2 倍
- 新增 1-bit affine 量化
- Thin GEMM 内核使小 M/大 N 及大 M/小 N 场景提速 1.5 倍
- 通过 prefetching K/V 使 fused SDPA 提速 1.4 倍
作者表示还有更多改动未逐一列出，推荐想给开源做贡献的人翻 MLX 的 commit 历史。
「Infra」频道最新
- 西班牙高铁相撞事故,Movistar 与 Orange 启用星链恢复灾区通信 — elonmusk · 2026-10-29
- 微软云营收超630亿美元增速达30%,纳德拉称押注智能体浪潮 — elonmusk · 2026-10-29
- 谷歌 Gary Illyes 谈假 Googlebot 爬虫泛滥与 AI 训练抓取之乱 — gaganghotra_ · 2026-10-29
- LessWrong 提案:用 ASIC 固化模型拆分训练与部署,消解前沿 AI 公司风险 — LessWrong 精选 · 2026-10-29
- 16GB 显卡跑 Raon-1-mini：从 50 提速到 232 tok/s 的完整调优记录 — McNiiby · 2026-10-29
- Geekerwan 实测:骁龙 2nm 冲到 5GHz,能效却不敌苹果联发科 — firstadopter · 2026-10-29