MLX-Serve 26.9.6 发布：M5 Ultra 优化，Qwen3.8 解码达 300+ tok/s
TheMoonMidas · x · 2026-09-26
ddalcu 发布 mlx-serve v26.9.6（由 MLX Core 更名而来），重点针对 M5 Ultra 做本地推理优化。
关键更新：
- M5 Ultra 优化：Qwen3.8 Flash Next 解码最高约 243-300+ tok/s，prefill 达 3362 tok/s；MoE 融合内核带来 +14% 验证提升，多流融合验证在 4 流时 +13%
- Laya typed decisions：新增 POST /v1/decisions 端点，支持本地 JEV
- MTP 草稿机制：当回复复制对话内容时从对话本身起草，文件重写与编辑解码提速 1.3-1.5x（默认开启，MLXSERVEMTPLOOKUP=0 关闭）
- GDN 层合并为单次 GPU dispatch，所有 Mac 都有小幅提升
- 修复媒体与 preservethinking 处理，UI 更新
M5 Ultra 上 Flash Next 混合 4-8 bit 加 --mtp 的峰值：219 tok/s 解码、4 流 227 tok/s、8k prompt prefill 3150 tok/s。
「Infra」频道最新
- 百度发布 ERNIE Evolve 自动研究系统,NanoGPT Speedrun 超公开最好成绩 — xiaohu · 2026-11-11
- 百度首次用 RSI 自动优化文心推理,昆仑芯出字速度提升 6.24 倍 — xiaohu · 2026-11-11
- Nvidia 供应承诺单季从 1190 亿飙至 2790 亿美元，锁死 2027-28 显存 — tengyanAI · 2026-11-11
- 独立研究者新优化器：24GB 显存可训 27B 模型，权重仅需 1.6bit — oguzeldereli · 2026-11-11
- 英伟达扩大与 Meta 的 Muse 合作,将向 Meta 投资 30 亿美元 — armand_ruiz · 2026-11-11
- 网友算账质疑 Anthropic:Opus 5.5 十亿美元成本大头不在算力 — teortaxesTex · 2026-11-11