Mirai 推理引擎 uzu 发布投机解码，M5 上超 llama.cpp 3 倍
TheMoonMidas · x · 2026-09-04
Mirai 在其本地推理引擎 uzu 中发布了投机解码（speculative decoding）实现，首发支持 Qwen3.6 27B，随后将支持 Qwen3.8 27B 与 Muse Glimmer。
- 在 Apple M5 系列芯片上，Qwen3.6 27B 4-bit（Mirai-M）输出速度达 105 tok/s，约为 MTPLX（MLX+投机解码，55 tok/s）的近 2 倍、llama.cpp（30 tok/s）的 3 倍以上。
- 按任务域看提升差异明显：HumanEval 编码 113.84 tok/s、MATH-500 117.30 tok/s，而通用聊天（MT-Bench）只有 84 tok/s——代码等易预测任务收益最大。
- 其 draft 模型、量化格式、验证算法与 GPU kernel 均为 Apple M5 的 GPU Neural Accelerators 从底层协同设计。
- 可通过 brew install mirai 直接运行，模型权重 14.5 GB，SDK 支持 Swift/TypeScript/Python/Rust。
所属事件:Uzu 推理引擎上线投机解码，M5 上速度超 llama.cpp 三倍(3 条相关)→
「Infra」频道最新
- 内存涨价逼出硬核玩家，Dr.Semiconductor 拍片教你在自家造 RAM — casper_hansen_ · 2026-10-21
- SGLang 合并 Megakernel 低延迟模式，GB300 单用户近 1000 tok/s — ying11231 · 2026-10-21
- 拆解 Agent 拓扑:模型、循环与工具各跑在哪,决定成本与安全 — davidcrawshaw · 2026-10-21
- Chris Lattner 登台 PyTorchCon：用 MAX 和 Mojo 跨厂商扩展 PyTorch — PyTorch · 2026-10-21
- General Compute 宣布与 Positron AI 集群级合作，2027Q1 上线 — eptwts · 2026-10-21
- MemTensor 推出记忆原生架构 MemT-1.0：推理提速 1.86 倍，128K 存储省 66 倍 — _akhaliq · 2026-10-21