MLX-Serve 27B 推理提速:分支猜测一次验证,较上版快 32%
TheMoonMidas · x · 2026-09-27
开发者 ddalcu 介绍 MLX-Serve 的新优化:借鉴 TensorFold 的技巧,对下一个 token 做多个分支猜测并在一次前向中全部验证,从而在 M4 Max 上跑 27B 模型时,生成速度比 TensorFold 快最多 20%,比 26.9.5 版本快 32%。这是苹果 MLX 生态在本地推理吞吐上的又一实用进展。
「Infra」频道最新
- 谷歌宣布 Gemini 3.5 Flash 可在断网气隙环境运行 — shashib · 2026-11-16
- Gemma.c:单文件 C 实现 Gemma 1/2/3 多模态推理,纯 CPU 跑 72 tok/s — This-Purchase-3325 · 2026-11-16
- Sarvam 在印度上线 Token Factory 托管开源模型推理 — itsOmSarraf_ · 2026-11-16
- BIS 规则原文:封堵先进 AI 芯片的远程访问通道 — apples_jimmy · 2026-11-16
- 越狱PS4直连2013年GPU跑9B开源模型,速度达43 tokens/s — AIFlow_ML · 2026-11-16
- Mobile AI Factory:agent 自动为你的手机造专用小模型,GPU 时间省 19 倍 — pmttyji · 2026-11-16