开发者把 284B 参数 DeepSeek 模型塞进 64GB 内存,零 GPU 跑通
solyarisoftware · x · 2026-11-07
开发者 synchopate 发布 llama-modchip:一个修改版 llama.cpp 推理栈,可让 DeepSeek-V4-Flash(284.33B 总参数/约 13B 激活)完全在系统内存中运行。
- 硬件:仅 CPU + 64GB DDR5,零 GPU,配置 256K 上下文
- 关键优化:自定义 AVX2/AVX-512 CPU 内核
- 内存:优化后量化仅 56.56 GiB(此前 76.87 GiB),存储缩减 26.4%,压进 64GB 限制
- 性能:CPU 解码 9.1–14.7 tok/s,提示处理约 44 tok/s,实用可用
- 源码已在 GitHub 开源
展示了纯 CPU 本地部署超大 MoE 模型的可行性。
「Infra」频道最新
- 英伟达全球首个共封装光学以太网交换机进入量产 — TinfoilTricorn · 2026-11-07
- 本周开源训练资源三连：MoE 训练手册、训练 harness 适配器与排行榜 — ariG23498 · 2026-11-07
- 马斯克：2-3 年内太空将成为运行超智能成本最低之地 — TinfoilTricorn · 2026-11-07
- JITEngine 为 Apple Silicon 按需合成推理引擎，实测快至 2.7 倍 — AccBalanced · 2026-11-07
- 开发者预言：2027 年本地推理将软硬件一体化，即插即用成胜负手 — vincent_koc · 2026-11-07
- vLLM Office Hours 已办 59 期：76 位嘉宾 24 家机构参与的双周直播 — vllm_project · 2026-11-07