DeepSeek DSpark推测解码移植至Mac,无损加速
A-Rahim · reddit · 2026-07-07
开发者将 DeepSeek 为 DeepSeek-V4 构建的推测解码 drafter DSpark 移植到 MLX,使其能在 Mac 上原生运行,并提供 OpenAI 兼容服务与基准测试。DSpark 属 EAGLE 式 drafter,主模型仍会验证每个草拟 token,因此输出与正常解码完全一致(贪婪模式下逐字节相同,温度模式为经验证精确采样)。目前在 Qwen3 4B/8B/14B 与 Gemma-4 12B 上可用。
在 M4 Pro、8 位指令目标上实测,单用户约 1.4–1.6 倍加速,代码/数学场景配合 Gemma 最高约 2 倍。作者指出 Mac 上达不到常见引用的 2–4 倍,而原论文也未曾如此宣称。
「Infra」频道最新
- AWS 教程:SageMaker SDK v3 搭建车队级边缘视觉模型流水线 — AWS ML Blog · 2026-10-27
- Embedl 把 Qwen3.8-27B 压进 Jetson Thor:解码 40 tok/s,精度反超 FP16 — No-Dragonfly6246 · 2026-10-27
- Celesto 推出便宜近 90% 的 CI Runner,兼做 Agent 云电脑 — aniketmaurya · 2026-10-27
- Supabase 联创谈 AI 时代后端:为十亿个 AI 生成应用而设计 — Latent Space · 2026-10-27
- AW-0 单卡 RTX 5090 推理 230ms:联合去噪比自回归代码快 2.4 倍 — trevordarrell · 2026-10-27
- 全美市议会话题追踪网站:数据中心热度仅次于匹克球场 — zakkohane · 2026-10-27