改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录
SumitGup · x · 2026-11-23
Apple MLX 的一行修改让 M5 Max 长上下文推理最高提速 10 倍。问题出在注意力 Metal 内核 sdpavector.h 中硬编码的 TK=4——这是当年针对 M1 Pro、float16、head dim 128 调出的值。DeepSeek MLA、Gemma 4 等新模型使用 512 维大 head,旧设置导致寄存器溢出、推理显著变慢。修复只需在合并维度超过 512 时把值改为 2。M5 Max 上 60K 上下文的实测:BF16 从 14.8ms 降到 1.46ms(10.1x),FP32 快 2.4x,FP16 快 1.16x。硬件未变、无新模型或编译器,纯内核调参问题。
「Infra」频道最新
- Cerebras CEO:靠架构选择绕开 HBM、CoWoS、台积电 3nm 三大瓶颈 — rohanpaul_ai · 2026-11-23
- 开源引擎 Kapitsa 在 M5 Max 上跑出 960+ tok/s 预填充 — 0zyman23 · 2026-11-23
- 数据中心反让电价下降:阿拉巴马电力拟降费 1.6 亿美元 — binarybits · 2026-11-23
- 24 个定制内核加持,MLX-Serve 成 Mac 跑 Inkling 2 Mini 最快方案 — SumitGup · 2026-11-23
- Anthropic坐拥2400亿美元现金,分析师称将砸向半导体 — firstadopter · 2026-11-23
- 微调 Inkling 2 Mini 做工单路由:54% 问题一轮即可出结果,时延降四成 — eltokh7 · 2026-11-23