改一个数值让 M5 Max 长上下文推理快 10 倍,MLX 内核调参翻车实录

SumitGup · x · 2026-11-23

Apple MLX 的一行修改让 M5 Max 长上下文推理最高提速 10 倍。问题出在注意力 Metal 内核 sdpavector.h 中硬编码的 TK=4——这是当年针对 M1 Pro、float16、head dim 128 调出的值。DeepSeek MLA、Gemma 4 等新模型使用 512 维大 head,旧设置导致寄存器溢出、推理显著变慢。修复只需在合并维度超过 512 时把值改为 2。M5 Max 上 60K 上下文的实测:BF16 从 14.8ms 降到 1.46ms(10.1x),FP32 快 2.4x,FP16 快 1.16x。硬件未变、无新模型或编译器,纯内核调参问题。

原文链接 →

「Infra」频道最新

更多「Infra」频道 AI 资讯 →