混合 GPU+CPU+NVMe 本地跑 DeepSeek,吞吐最高提升 21 倍
HankYeomans · x · 2026-10-12
作者分享其在 GPU+CPU+NVMe 混合架构上本地部署 DeepSeek(标注 v4.1 MXFP4 量化)的持续调优成果,从第一天到现在的完整数据对比:
- 单路解码:14 → 60.75 tok/s(4.34 倍)
- 4 路并发合计:50 → 123.99 tok/s(2.44 倍)
- 16K 上下文 prefill:216 → 4,344 tok/s(20.1 倍),TTFT 从 75 秒降至 3.69 秒(−95.1%)
- 32K 上下文 prefill:210 → 4,495 tok/s(21.4 倍),TTFT 从 152 秒降至 7.12 秒(−95.3%)
核心结论是 CPU offload + NVMe 分层方案的 prefill 瓶颈通过持续打补丁和调优可以大幅缓解,长上下文首 token 延迟从两分多钟压到 7 秒,对想在消费级/混合硬件上本地跑大模型的人是很有说服力的实测数据。
「Infra」频道最新
- OpenAI 芯片负责人谈 Jalapeno 芯片:为何选博通而非英伟达 AMD — richardjnieva · 2026-10-12
- SpaceX 在 Starbase 建造 2.5 亿美元 GigaBay，目标年产 1000 枚火箭 — DimaZeniuk · 2026-10-12
- Bittensor 新实验室 TPN 产出首个成品模型,体积缩 40% 保留 32k 上下文 — const_reborn · 2026-10-12
- Lightning AI 推 BYOC：接入自有 AWS/GCP/Slurm 集群跑训练 — LightningAI · 2026-10-12
- 微软拟 2027 年起以吉瓦级规模部署自研 Maia 芯片主扛推理 — The Decoder · 2026-10-12
- 微软计划大规模部署自研 AI 芯片,瞄准削减算力成本 — pstAsiatech · 2026-10-12