纯 C 语言跑 Kimi K3：单 CPU 8GB 内存搞定推理
gethackteam · x · 2026-08-05
GitHub 上出现了一个名为 kimi-k3-in-c 的热门开源项目（已获 1.9k Star），该项目展示了如何在单块 CPU 和 8.24 GB 内存上运行 2.78 万亿参数的 Kimi K3 模型推理。
项目采用纯可移植的 C99 编写，不依赖 BLAS、任何深度学习框架或 GPU。有开发者在 32GB 内存的 Mac mini 上进行了尝试，虽然速度不是最快，但证明了在极低硬件门槛下运行超大模型的可行性。
所属事件:纯C语言跑Kimi K3：单CPU与8G内存实现流式推理(3 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16