Mac Studio 上 DeepSeek V4 推理提速 12 倍实录
Adrian_Galilea · reddit · 2026-08-19
作者在配备 512GB 内存的 Mac Studio M3 Ultra 上运行 DeepSeek V4 Flash，将单次响应时间从 6-20 秒降至 1.6 秒。
Kernel 优化 (+21% 预填充速度)
针对 DeepSeek 稀疏注意力机制中的“lightning indexer”瓶颈，提交了三项优化 PR：
- 线程组平铺评分器
- 寄存器块驻留 K 评分器
- 流式 Top-512 替代 Bitonic 排序级联
KV Cache 预热技巧 (通用 10x 提升)
- 状态同步：客户端必须逐字节重放上一次模型输出的精确文本，否则前缀无法匹配导致每轮重新预填充。
- Prewarming：发送 maxtokens: 0 的请求。这会让引擎预填充并停顿在 Prompt 结尾，随后的真实请求即可直接扩展缓存，实现零冷启动延迟。
「Infra」频道最新
- 大型数据中心仅约50-150个常驻岗位,微软首楼约50名全职员工 — brezina · 2026-10-16
- 2027 年笔记本将跑 Opus 5.5 级模型？Qwen 27B 数据佐证 — cephaloform · 2026-10-16
- Oracle 一周跌 12%、较 6 月高点近腰斩，市场用脚投票 OpenAI 敞口 — alvelda · 2026-10-16
- 美国数据中心暂停令突破 400 起，AI 多头称这反而利好 AI 长期发展 — kevinsxu · 2026-10-16
- 微软研究院发布 Magnetar：最快 zkVM，比现有方案快 10-39 倍 — jedisct1 · 2026-10-16
- Bonsai 2 2B 端侧模型登 iPhone:120 token/s,速度两倍于 Qwen 3.5 2B — cephaloform · 2026-10-16