Uzu 推理引擎上线投机解码，M5 上速度超 llama.cpp 三倍

Mirai Labs 在本地推理引擎 Uzu 中发布投机解码实现，称之为实验室成立以来最大的一次发布，首发支持 Qwen3.6 27B，随后将支持 Qwen3.8 27B 等模型。实测显示在 Apple M5 Max 128GB 统一内存上可达 105 输出 tok/s，速度超过 llama.cpp 三倍，为本地大模型推理带来显著提升。

2026-09-04 ~ 2026-09-04 · 3 条相关

• Mirai 推理引擎 Uzu 上线投机解码：Qwen 27B 在 M5 Max 跑出 105 tok/s — awnihannun · 2026-09-04
• 推理实验室 Uzu 发布投机解码实现,首发支持 Qwen3.6 27B — awnihannun · 2026-09-04
• Mirai 推理引擎 uzu 发布投机解码，M5 上超 llama.cpp 3 倍 — TheMoonMidas · 2026-09-04