TurboEXL3 亮相：Qwen 在 Mac 上跑出 140 TPS 解码
HankYeomans · x · 2026-10-29
- 开发者 David Tai 发布 TurboEXL3，一个融合内核库，让 EXL3 量化格式在 M5/NAX 芯片的 Mac 上成为最快的推理格式之一。
- 实测 Qwen 3.8 Flash 全量 EXL3 转换可达 140 TPS 解码，prefill 性能持平。
- 加速原理：把编解码内核直接融合进批量 GEMM/GEMV 计算；EXL3 的精度优势提升 token drafting，抵消量化带来的性能损失。
- 实用选择：EXL3 @ 5.05 bits 接近 BF16 无损；@ 3.05 bits 大小再省 33%，精度对标 NVFP4。
- 即将上线 mlx-serve，完整技术细节见附文。
「Infra」频道最新
- ComfyUI 工作流复现:光存 JSON 不够,还要记录这些 — Im_bored_rn69 · 2026-10-29
- Akamai 推出 Inference 与 Agent Sandbox 两项 AI 基础设施服务 — lucaolivari · 2026-10-29
- 512GB M5 Ultra 售价 2.23 万美元，12 月 3 日最早提货 — rez0__ · 2026-10-29
- Lumentum CEO：即便 AI 数据中心降温，光升级仍将驱动增长 — pstAsiatech · 2026-10-29
- nanoGPT 式速度纪录再破：30M 训练从 499 秒压到 22.9 秒 — RobertTLange · 2026-10-29
- 「我们做了个快 2 倍的 S3」推文泛滥,作者警告可靠性代价被隐藏 — HankYeomans · 2026-10-29