量化+投机解码协同设计:27B 模型在 MacBook M5 跑超 100 token/s
teortaxesTex · x · 2026-09-09
开发者 norpadon 团队宣布通过针对 Apple M5 芯片的协同设计,让 27B 参数模型在 MacBook 上跑到每秒 100+ token。关键做法是把量化方案与投机解码共同围绕 M5 的神经加速器设计,以最大化利用 Apple 的硬件特性。目前仅支持 M5 及以上芯片。最新版本性能显著提升,尤其是 prefill 阶段。
「Infra」频道最新
- 全同态加密 GPT-2 速通赛开跑:现纪录 3.031 秒/token — tensorqt · 2026-10-27
- 开源编译器 Latch 从 PyTorch 生成训练 megakernel，H100 上提速 2.75 倍 — sguada · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- NVIDIA 称 HGX Rubin NVL8 每兆瓦 token 吞吐为 B200 的 10 倍 — thursdai_pod · 2026-10-27
- Together 推出并行 LoRA 实验：多个实验共享同一批 GPU，免重复配置 — togethercompute · 2026-10-27
- 要么人力商品化，要么 GPU 商品化：算力经济二选一之辩 — _AustinCalvert_ · 2026-10-27