不用十万美元 GPU，768GB 内存双 EPYC 本地跑满血 Kimi
carrigmat · x · 2026-08-27
carrigmat 给出纯 CPU 服务器本地跑前沿开源模型的硬件方案：
- 他以 768GB DDR5 + 双 AMD EPYC、无 GPU 的机器为基础，实测跑 DeepSeek-R1 Q8 量化（接近最高质量），速度约 1.5 倍实时。
- 普通人不必照抄：128-192GB 内存 + 好的内存带宽即可起步，推荐 AMD Threadripper（8 通道 DDR5），关键是主板要有 PCI-E 5.0。
- 背景：Kimi K3 达 2.8T 参数，塞进 RAM 或 GPU 要 10 万美元以上，但用「原生专家 + 其余 Q8 量化」的方式可以本地满质量运行。
所属事件:六千美元纯CPU方案本地全量跑前沿万亿模型(14 条相关)→
「Infra」频道最新
- Niklas 提出 Prefix Sliding，降低推理时显存消耗实现高效扩容 — Niklas Muennighoff · 2026-08-27
- Cohere 推出 Parse 5 模型，号称最强性价比企业解析方案 — irombie · 2026-08-27
- M7 Ultra 或搭载原生 FP8，GLM 5.3-flash 性能有望飞跃 — Brilliant-Hall1387 · 2026-08-27
- ChronoScale 联手微软部署 50MW GB300 算力，主打企业推理平台 — r_jegaa · 2026-08-27
- 工程实践：混合精度矩阵乘法 mxfp8 与 mxfp4 提速 — zephyr_z9 · 2026-08-27
- 卫报视频：人人讨厌的数据中心，AI 到底需不需要它们 — nordicinst · 2026-08-27