Mac Studio M3 Ultra 单机跑 Muse Spark,解码达 18 t/s
challis88ocarina · reddit · 2026-10-18
Reddit 用户 challis88ocarina 更新其在单台 Mac Studio(M3 Ultra,256GB 统一内存)上本地运行 Muse Spark 模型的进展:
- 解码速度已达到 18 t/s,输出连贯、tool calls 调用正常(纯文本)
- 目前因从其他 DeepSeek V4(ds4)工作树 cherry-pick 代码出现轻微性能回退,正在处理 prefill 速度下滑问题,恢复 18 t/s 后将推送代码
- 模型权重在 Hugging Face 上是 gated 的,作者在权衡直接上传权重还是发布复现配方
配图日志显示 Metal 后端映射约 205 GiB 模型驻留内存,21346 token 的 prefill 平均约 85 t/s,262144 上下文,解码稳定在 13.4 t/s 左右。
「Infra」频道最新
- 按秒计费的 Modal 估值一周翻三倍,数据中心持有者却没融到钱 — YvesMulkers · 2026-10-18
- Reddit 实测讨论:2-bit/3-bit 量化模型日常到底能不能用 — Queasy_Back2588 · 2026-10-18
- 曝三星台积电联手代工英伟达下一代 HBM 芯片 — Polymarket · 2026-10-18
- Safari 无痕/省电模式被悄悄限 30fps，开发者用 Claude 实测实锤 — oykun · 2026-10-18
- 单张魔改 4090 跑通 318GB 的 DeepSeek V4.1-Flash 量化版,冲到 20+ tok/s — lxfater · 2026-10-18
- 韩券商:长江存储或提前至 12 月上市,IPO 拟募资 330 亿美元 — basedjensen · 2026-10-18