M3 Ultra 256GB 跑 816B 开源模型：解码仅 4 t/s
challis88ocarina · reddit · 2026-10-18
Reddit 用户在 256GB 统一内存的 Apple M3 Ultra 上用 ds4 后端本地运行 Muse Spark Open 816B-A42B（钳位到 DeepSeek v4.1 Flash 类配置），首次成功跑通解码，速度仅 4 tokens/s。日志显示 Metal 后端映射约 205GiB 模型权重，prefill 阶段可达约 100 t/s，但 Metal 4 tensor API 在 pre-M5 设备上被禁用。作者希望后续优化能把解码速度提升 4-5 倍，并计划加大 prefill chunk。
「Infra」频道最新
- SGLang Summit 赞助商一周从 11 家增至 36 家,嘉宾含 Lilian Weng — BanghuaZ · 2026-10-18
- Yacine 自嘲：绩效按吉瓦时算，不够烧电会被半夜叫醒 — yacineMTB · 2026-10-18
- 1.68x 推理加速落地，可直接加速 GRPO 强化学习训练 — yacineMTB · 2026-10-18
- OpenRouter 仅占可触达市场一小部分，日万亿 token 只是零头 — sloppenheimer · 2026-10-18
- 覆盖 Bedrock/Azure/Vertex 三万条价格，开发者做出云端模型变动雷达 — jsandhu0780 · 2026-10-18
- 1270万 tokens 仅花 0.14 美元，缓存命中率 99.6% 的 agent 实测 — teortaxesTex · 2026-10-18