uzu 推理引擎刷新 Apple Silicon 纪录：M5 Max 解码 123 tok/s

teortaxesTex · x · 2026-10-20

Mirai 团队发布新版高性能推理引擎 uzu（开源，trymirai/uzu），在 Qwen-3.8 27B 上跑出最新基准：- 在 Apple M5 Max 128GB 上输出达 123 tok/s（含 spec 解码），远超 Splash 104、MTPLX 71、oMLX 62、MLX 33、llama.cpp 31 tok/s；输入吞吐 1668 tok/s，同样居首（Splash 1190、MLX 1010）。- 质量方面，自研 Mirai 量化 checkpoint 声称追平 Unsloth 质量前沿、显著优于 MLX：KL 散度对比图中 Mirai M 位于质量-体积 Pareto 前沿附近，优于 MLX 4bit 和 MTPLX 系列。对本地部署/端侧推理玩家是值得关注的更新。