推理引擎 Uzu 发布投机解码,Qwen3.6 27B 提速明显
AI 实验室 Uzu 发布其投机解码实现,称为实验室成立以来最大的一次发布,首发支持 Qwen3.6 27B 模型。实测显示,在 Apple M5 Max 128GB 统一内存上,Qwen3.6-27B 可实现每秒 105 个输出 token 的推理速度,显著提升本地大模型运行效率。
2026-09-04 ~ 2026-09-04 · 2 条相关
- Mirai 推理引擎 Uzu 上线投机解码:Qwen 27B 在 M5 Max 跑出 105 tok/s — awnihannun · 2026-09-04
- 推理实验室 Uzu 发布投机解码实现,首发支持 Qwen3.6 27B — awnihannun · 2026-09-04