极客用纯 C99 跑通 Kimi K3：8GB 内存极低配推理
FareedKhan557 · reddit · 2026-08-02
为了在本地机器上把玩超大规模模型，一位开发者用纯 C99 为 Kimi K3（1.56TB）写了一个极简推理引擎，成功在单 CPU 和 8GB 内存的环境下实现了运行。
核心实现思路：
- 按需加载：K3 的 93% 参数为路由专家层，生成单个 token 仅需激活 896 个专家中的 16 个。因此专家层完全不驻留内存，而是直接从 NVMe 按需读取。
- 跳过反量化：读取的 4-bit 打包权重直接进行计算，省去解包步骤。稠密主干层则按已知偏移量打包至单文件，逐层流式读取。
性能表现：
- 在双路 EPYC 7763 测试机上，限制内存占用至最小的 8.24GB 时，速度约为 33 秒/token。
- 分配约 128GB 内存时，速度可达最高 20 秒/token，且各内存档位下的输出结果完全一致。
作者坦言这并非实用的服务方式（需要 1.7TB 磁盘空间且速度极慢），初衷纯粹是为了通过亲手实现架构来深入理解 MoE 模型。整个项目不依赖 BLAS 或任何框架，仅用 6 个 C 文件和 176KB 的二进制文件便完成了壮举。
所属事件:开源引擎让Kimi K3在低配设备上运行(7 条相关)→
「Infra」频道最新
- 作者实测 2×GB10 本地调优 GLM-5.3-Flash：解码速度提升近 20% — EAccelerate_42 · 2026-10-16
- 开发者用3台DGX Spark组本地集群跑GLM-5.3-Flash,配代理均衡日生175万token — Teknium · 2026-10-16
- Optuna 作者秋叶哉：花3亿日元调2个超参的时代，BO/HPO 还有何用武之地 — Stefania_druga · 2026-10-16
- Amazon 发布生产级 RAG 缓存方案：逐请求校验证据复用，零无效命中 — _reachsumit · 2026-10-16
- LinkedIn 推出 TransX:推荐系统序列转导框架,CTR 提升 6.02% — _reachsumit · 2026-10-16
- llama.cpp 新 PR 优化 AVX2 分块累加器,纯 CPU 推理再提速 — jacek2023 · 2026-10-16