量化+投机解码协同设计:27B 模型在 MacBook M5 跑超 100 token/s
teortaxesTex · x · 2026-09-09
开发者 norpadon 团队宣布通过针对 Apple M5 芯片的协同设计,让 27B 参数模型在 MacBook 上跑到每秒 100+ token。关键做法是把量化方案与投机解码共同围绕 M5 的神经加速器设计,以最大化利用 Apple 的硬件特性。目前仅支持 M5 及以上芯片。最新版本性能显著提升,尤其是 prefill 阶段。
「Infra」频道最新
- 公司 AI 开销大头竟是工程师日常工作,而非产品内 AI 功能 — shensi · 2026-09-10
- Mac Studio 4TB 本地跑 ComfyUI 实操教程上线 r/LocalLLM — Quick_Teacher950 · 2026-09-10
- Baseten优化pyannote说话人分离模型，速度提升9.6倍 — baseten · 2026-09-10
- AI 播客总结成本暴跌作者放出在线 demo 可直接体验 — CedricMakes · 2026-09-10
- 4 年成本降至 0.3%,AI 总结播客的单集成本正趋近于零 — CedricMakes · 2026-09-10
- Memphis Colossus 数据中心部分供电来自田纳西流域管理局 TVA — kipperrii · 2026-09-10