M3 Ultra 跑 DeepSeek V4.1 Flash 提速近一倍:31 t/s 解码、40 t/s 投机
IngeniousIdiocy · reddit · 2026-09-15
作者 fork 了 antirez/ds4 并针对 512GB M3 Ultra 上的 DeepSeek V4.1 Flash(Q4)做了首个公开的 DSpark Apple Metal 实现,实测 91 分钟 agent 回合:解码 101k tokens、prefill 460 万 tokens(99.5% 缓存命中)、56 次工具调用零失误。
对比上游 ds4(同机同权重):
- 解码 8k 上下文:16.6 → 31.3 t/s;300k 上下文:14.0 → 28.3 t/s
- Prefill 62k prompt:737 → 813 t/s;磁盘 KV 缓存恢复 0.23 秒(冷启 31 秒)
- DSpark 投机解码:代码 32.1 → 40.5 t/s,agent 回合 31.3 → 41.3 t/s
技术要点:
- 解码:每 token 需读约 14GB 权重,700GB/s 带宽上限约 50 t/s,瓶颈是数百次小 dispatch 而非矩阵运算;合并所有层到单一 command buffer、384-expert 路由一次 dispatch、共享专家门控+SwiGLU 合一 kernel、BF16 取整内联省去约 770 次重复 dispatch
- 长上下文:V4.1 压缩注意力的 512-block 选择链占长上下文减速的 98%,改为每层只评分 mask 允许的块并用有界基数选择,300k 解码达 8k 速度的 90%
- Prefill:受计算限制(Metal GEMM 约 23-24 TFLOPS,M5 前 TensorOps 被禁用),只提升 10%;每 8k 块写可续 checkpoint
- DSpark:6 行验证共享权重流,验证块 177→112ms,权重带宽 213→337GB/s;temperature>0 时精确投机采样
- 正确性:greedy 解码输出与上游逐字节一致,repo 提供 SHA-256 manifests 可复现
「编程与Agent」频道最新
- 一个过期日期让 WhatsApp 回复 agent 静默罢工两天,19 条消息无人应答 — petrusenko_max · 2026-11-02
- 10倍工程师就是一个 SKILLS.md:六大工作流规则全公开 — mdancho84 · 2026-11-02
- 开发者自审 MCP 凭据代理:最大漏洞竟出在配置文件 — Relevant_Mousse_9117 · 2026-11-02
- AWS 开源 Strands Harness 宣称比 Claude Code 便宜 45%，搅动 harness 之争 — blaizedsouza · 2026-11-02
- 小米 MiMo 提出 CodeSpecWeave:用相互依赖规格合成任务训练编程智能体 — XiaomiMiMo · 2026-11-02
- Sketchy v0.1.6:图表输出比纯文本省 29% token — Nkgsporty · 2026-11-02