antirez 在 Mac 上本地跑 DeepSeek v4.1 Flash：单机 15 t/s、双机 25 t/s
Redis 作者 antirez 系统展示了在消费级 Apple 硬件上本地运行 DeepSeek v4.1 Flash 的进展：单台 128GB M5 Max 借助 SSD 专家流式加载即达到约 15 tokens/s 生成、800 tokens/s prefill；两台 MacBook 经 RDMA 张量并行（各承担 50%）进一步升至 25 tokens/s。他还拆解了 DwarfStar 的三级 prefill 调度与共享 KV 架构收益。结合 Julian Harris 关于本地编码已达去年云端前沿水平的实测，本地推理正以零成本逼近云端体验。
已确认
- antirez 在单台 M5 Max 128GB 上运行 DeepSeek v4.1 Flash（Q2 量化），加载器仅用 8 秒即可从 SSD 流式加载 experts 缓存，直至完整驻留的 encoder（50%）块
- 单机生成约 15 tokens/s，prefill 达 800 tokens/s；antirez 推测提速与近期 SSD streaming 中「保留正确专家」的优化有关
- 两台 MacBook 经 RDMA 做张量并行（各承担 50%）后，生成速度达 25 tokens/s
- DwarfStar 项目 main 分支已正式加入 DeepSeek v4.1 Flash 支持，antirez 发布英文 YouTube 视频实测 SSD 流式加载与双机两种本地运行方案
- antirez 详细拆解 DwarfStar 的三级 prefill 策略：按规模切换 token 路径——小 prefill 走单 token 路径并复用 experts 缓存（类似解码），较大 prefill 采用分层加载方案
- 他还说明调度细节：完全常驻的 decoder 会挤掉专家缓存，但新的 SSD 流式加载实现足够好，加载延迟几秒内即可被掩盖
- antirez 指出 DeepSeek v4.1 Flash 的 encoder/decoder 共享 KV cache 架构不仅在预填阶段省去计算，还让本地低显存推理环境实现非常快的大 prefill
- Julian Harris 发布长文实测，声称自 2026 年 8 月起本地 AI 编码达到「去年云端前沿模型」水平，已在本地以接近 2 倍 Claude Opus 的速度、零成本跑通 Opus 级别编码 agent
为什么重要
- SSD 专家流式加载让超出内存容量的模型能在单台消费级设备上实用化运行，且速度可接受；秒级延迟掩盖与三级 prefill 策略表明工程调度已较成熟
- 共享 KV cache 等架构设计进一步降低本地预填与低显存推理门槛
- RDMA 双机张量并行提供了无需高端 GPU 集群的低门槛横向扩展路径
- 多位独立作者的报告共同指向同一趋势：本地推理性能正逼近乃至对标云端前沿模型，且成本为零
2026-09-11 ~ 2026-09-12 · 12 条相关
一手来源
- antirez 在 128GB M5 Max 上跑 DeepSeek v4.1 Flash,SSD 流式加载快得出乎意料 — antirez · 2026-09-11
- antirez 双 M5 Max 经 RDMA 跑 DeepSeek v4.1 Flash，达 25 tokens/s — antirez · 2026-09-11
- 【源头】antirez 双 MacBook 经 RDMA 跑 DeepSeek v4.1 Flash 达 25 token/秒 — antirez · 2026-09-11
- 128GB M5 Max 跑 DeepSeek 4.1 Flash：SSD 流式读取速度超预期 — PMinervini · 2026-09-11
- 博主本地免费跑出 Opus 级编码 agent，速度近 Opus 两倍 — julianharris · 2026-09-11
- 【源头】antirez 实测:DeepSeek v4.1 Flash 跑在单台 M5 Max 128GB,prefill 达 800 t/s — antirez · 2026-09-11
- antirez 详解 DwarfStart 三级 prefill 策略:按长度切换 token 路径与分层加载 — antirez · 2026-09-11
- antirez 详解推理系统预加载策略:SSD 流式加载秒级掩盖专家缓存失效 — antirez · 2026-09-11
- antirez 总结:encoder/decoder 共享 KV 架构让本地低显存场景也能极速大 prefill — antirez · 2026-09-11
- antirez 实测：DeepSeek v4.1 Flash 共享 KV 让本地大预填提速 — antirez · 2026-09-11
- 【源头】antirez 的 DwarfStar 已支持 DeepSeek v4.1 Flash,附双 M5 Max 实测 — antirez · 2026-09-12
- Antirez 实测 DeepSeek v4.1 Flash 2-bit 量化模型 DwarfStar — Short_Regular_7191 · 2026-09-12