专用栈逆袭通用框架：原生 MTP 推测解码提速 154%
AccBalanced · x · 2026-09-13
转发的推文列举了三个「专用优于通用」的 Apple Silicon 本地推理案例：
- @antirez 围绕 DeepSeek V4 Flash 专门构建了 DS4/DwarfStar，而不是等待能吸收所有模型优化的通用运行时；
- @Youssofal 的 MTPLX 在 MLX/GGUF/LM Studio 尚不支持时，就把原生 MTP 推测解码带到了 Apple Silicon；
- @ddalcu 的 mlx-serve 展示了原生 MTP 在 Qwen 3.6 35B 上带来约 +154% 提升，基准对比约为 LM Studio 的 2 倍。
作者结论：针对特定模型架构与硬件目标做激进优化，正在明显优于「通用 Purpose 技术栈」，这种专用化趋势随 LLM 发展会越来越重要，呼吁支持这些贡献者。
「Infra」频道最新
- effect-harness + Cloudflare：agent 循环自由拆到多台 VM 上跑 — samgoodwin89 · 2026-10-31
- 谷歌 Project Suncatcher 太空 TPU 首次在轨运行并返回结果 — sundarpichai · 2026-10-31
- Together AI 推出 Post-Training 平台:Agentic RL 训练托管服务 — togethercompute · 2026-10-31
- General Compute 融资 1 亿美元投推理算力，CoreWeave 股价同周创新低 — YvesMulkers · 2026-10-31
- 分析师警告 AI 算力「越买越涨」正反馈环,Kioxia 闪存涨价预警引发闪崩 — bookwormengr · 2026-10-31
- SOMA 推出企业级提示压缩层，宣称推理成本省 20% 以上 — markjeffrey · 2026-10-31