不用十万美元 GPU，768GB 内存双 EPYC 本地跑满血 Kimi
carrigmat · x · 2026-08-27
carrigmat 给出纯 CPU 服务器本地跑前沿开源模型的硬件方案：
- 他以 768GB DDR5 + 双 AMD EPYC、无 GPU 的机器为基础，实测跑 DeepSeek-R1 Q8 量化（接近最高质量），速度约 1.5 倍实时。
- 普通人不必照抄：128-192GB 内存 + 好的内存带宽即可起步，推荐 AMD Threadripper（8 通道 DDR5），关键是主板要有 PCI-E 5.0。
- 背景：Kimi K3 达 2.8T 参数，塞进 RAM 或 GPU 要 10 万美元以上，但用「原生专家 + 其余 Q8 量化」的方式可以本地满质量运行。
所属事件:六千美元纯CPU服务器本地全量跑万亿级开源模型(14 条相关)→
「Infra」频道最新
- 分析师：新云和GPU租赁商八成活不下来，但算力需求是真的 — BenBajarin · 2026-10-16
- Apple 与 Meta 七年来首次公开合作：Mac Studio 串联跑 Muse Spark 模型 — pdamodaran · 2026-10-16
- NVIDIA 开发者生态达 1100 万，四 年多增长近 3.7 倍 — Beth_Kindig · 2026-10-16
- Muse Spark Open 经 llama.cpp 跑通 M3 Ultra：前沿模型上桌面 — pcuenq · 2026-10-16
- Muse-Spark 开源权重发布：816B MoE 模型 MLX 3bit 版已上线 — ns123abc · 2026-10-16
- Meta 发布开源模型 Muse Spark Open,联手 Apple 可跑在 M5 Ultra Mac Studio — The Verge AI · 2026-10-16