Kimi K3 据称可在 8GB CPU 上靠 SSD 流式推理
porAssass · reddit · 2026-08-04
一位 Reddit 用户拆解了一个项目：据称它能把 Kimi K3 跑在普通 CPU 上，甚至只需要 8GB 内存。
- 关键不是把完整的 1.5TB checkpoint 一次性装进内存，而是根本不这么做。
- 利用 MoE 的稀疏性：每个 token 只激活 896 个 expert 中的 16 个。
- expert 权重直接从 NVMe SSD 流式读取，并用 LRU cache 缓存最近使用的 expert。
- 计算直接在压缩后的 MXFP4 权重上完成，而不是先展开。
- 整个推理引擎用可移植 C99 编写，没有依赖 PyTorch、CUDA、TensorRT 甚至 BLAS。
作者也指出，代价是速度很慢，在低内存设备上可能达到每 token 几秒，短期内不可能替代 GPU 推理。但这类思路对未来更大模型的推理系统设计很有启发。
所属事件:纯C语言跑Kimi K3：单CPU与8G内存实现流式推理(3 条相关)→
「Infra」频道最新
- 中国AI基建热潮推动国产芯片公司利润暴增，MetaX实现盈利 — pstAsiatech · 2026-10-16
- Agent 何时需要 API 网关：Reddit 热议直连与统一接口的分界线 — TurbulentStiffness · 2026-10-16
- 台湾拟在德州投40亿美元建AI制造园区，服务英伟达与台积电 — Polymarket · 2026-10-16
- KV 缓存远程读取竟比重算还慢:GLM-5.3 生产系统案例复盘 — MultiverseComputingCAI · 2026-10-16
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16