antirez 双 MacBook 经 RDMA 跑 DeepSeek v4.1 Flash 达 25 token/秒
antirez · x · 2026-09-11
antirez 继续实验在两台 MacBook 上运行 DeepSeek v4.1 Flash：
- 通过 RDMA 做张量并行（每台机器承担 50%），拿到 25 token/秒 的生成速度；作为对比，单机 SSD 流式加载只有 15 t/s。
- 他指出这个“怪异”的 LLM 在 prefill 阶段不用 decoder 部分，因此 128GB 机器可以把 prefill 所需的全部层完全常驻内存，对大 prefill 场景可以进一步优化。
- 他认为这个用例下还有很大优化空间。
所属事件:antirez 在 Mac 上本地跑 DeepSeek v4.1 Flash：单机 15 t/s、双机 25 t/s(12 条相关)→
「Infra」频道最新
- Anthropic S-1 曝超 8000 亿美元未入表的未来算力承诺 — GaryMarcus · 2026-10-27
- Anthropic 约 11GW 算力合同中 NVIDIA GPU 占约 42% — ns123abc · 2026-10-27
- EdgeRock-4B KV cache 256K 上下文仅 72 MiB,比 Qwen3.5-4B 小 99.1% — alifcoder · 2026-10-27
- RTX 5080 十天涨价 40%:1658 美元飙至 2318 美元 — Frizzy-MacDrizzle · 2026-10-27
- 12GB 显存实测:不设 VRAM 上限,出图从 24 秒变 11 分钟 — Impossible-Mail-4619 · 2026-10-27
- Neon 自吃狗粮：文档搜索全部改用自家 Lakebase Search 等 AI 组件 — matei_zaharia · 2026-10-27