M4 Max 跑 Qwen3.8-27B：长上下文下 oMLX 胜出，前缀缓存最提速
vitordeas · reddit · 2026-08-30
在 M4 Max (128GB) 上测试了 5 种运行时/量化栈运行 Qwen3.8-27B 在 32K-256K 上下文的速度。
核心结论：
- 短/中上下文 (≤128K)：集成推测解码的 MTPLX 4-bit 最快。
- 长上下文 (256K)：MTPLX 验证步骤崩溃 (7 tok/s)，无推测的 oMLX 和 mlx-dspark 优势明显 (14-15 tok/s)。
- 最大提速来自前缀缓存：热缓存将 256K 的冷预填从 40 分钟降至 2 分钟。oMLX 支持中间编辑缓存，MTPLX 不支持。
技术细节：测试涵盖 oMLX (AWQ/oQ8e)、MTPLX (原生 MTP)、mlx-dspark (DFlash2 起草器)。
「Infra」频道最新
- 开源推理引擎 Magnitude 让本地模型比 Ollama 快 2 倍以上 — nickbaumann_ · 2026-10-15
- 传 Nvidia 本周宣布数百亿美元欧洲 AI 投资 — georgemillo · 2026-10-15
- Cloudflare 一夜 $10,811 账单：退款靠运气，刹车得自己装 — sujingshen · 2026-10-15
- 阿姆斯特丹大学新方法:Transformer 免再训练变身弹性模型 — VISLab-Amsterdam · 2026-10-15
- vLLM MTP3 验证:AIME25 提至 0.9667,prefill kernel 延迟最高降 84% — vllm_project · 2026-10-15
- 26ms 决策模型 s1-llm-auto-router 开源，为请求自动选 LLM — airesearch12 · 2026-10-15