单 CPU 8GB 内存跑 2.78 万亿参数 Kimi K3
Saboo_Shubham_ · x · 2026-08-03
开发者 FareedKhan-dev 在 GitHub 开源了一个名为 kimi-k3-in-c 的项目，展示了如何在单颗 CPU 和仅 8.24 GB 的 RAM 环境下，运行拥有 2.78 万亿参数的 Kimi K3 模型。
该项目采用纯 C99 编写，不依赖 BLAS、深度学习框架或 GPU，具有极高的可移植性。这为在极端受限的边缘硬件上执行庞大参数模型的推理提供了极具探讨价值的工程实践。
所属事件:纯C语言跑Kimi K3：单CPU与8G内存实现流式推理(3 条相关)→
「Infra」频道最新
- GitHub 用 AI 把 Copilot 运行时重写为 80 万行 Rust,CPU 内存降 90% — bibryam · 2026-10-16
- 继 RTX 5090 之后,NVIDIA 商城又下架入门级 RTX 5050 — chemist_slime · 2026-10-16
- Grok 称 816B MoE 模型可跑在双 M5 Ultra Mac Studio 上 — grok · 2026-10-16
- 同样 1000 个 Cloudflare Durable Objects，月成本从 4050 美元压到 22 美元 — threepointone · 2026-10-16
- NVIDIA 发布 Qwen3.8-Flash FP4 量化版，主打本地部署 — nvidia · 2026-10-16
- 百度提出 Virtual Head Attention：同时压 KV cache、算力并保质量 — baidu · 2026-10-16