DeepSeek v4.1 MXFP4 混合 CPU/NVMe/GPU 推理：prefill 提速至 960 tok/s
HankYeomans · x · 2026-09-25
开发者将 460GB 的 DeepSeek v4.1 MXFP4 量化模型跑在 CPU/NVMe/GPU 混合架构上，经过持续调优，prefill 速度从 216 tok/s 提升到 960 tok/s，解码速度从 13 tok/s 提升到 42 tok/s。作者自谦虽已有更强的公开方案，但这是其亲手实践的完整项目。下一步计划从 base checkpoint 出发做端到端的模型创建、优化与消融实验。
所属事件:开发者自建混合架构跑 DeepSeek 460GB 权重，prefill 提速至 960 tok/s(3 条相关)→
「Infra」频道最新
- Starlink 美国城市用户增速 73% 反超农村，上传速度提升 42% — XFreeze · 2026-11-11
- Cloudflare 采用未经实战的共识算法 QuePaxa,替代 Raft/Paxos 建 Meerkat — sull · 2026-11-11
- 用 AI 扫遍全美废弃商场，改造成数据中心的脑洞 — LinusEkenstam · 2026-11-11
- Anthropic S-1 曝 260 亿美元私募：七大供应商按 IPO 价入股 — demian_ai · 2026-11-11
- SpaceXSI 1.2GW 燃气电厂获密西西比州环保许可,为 Colossus II 供能 — XFreeze · 2026-11-11
- Anthropic 称用 AI 3 天完成 AMD GPU 移植,动摇 Nvidia CUDA 护城河 — The Decoder · 2026-11-11