单 CPU 8GB 内存跑 2.78 万亿参数 Kimi K3
Saboo_Shubham_ · x · 2026-08-03
开发者 FareedKhan-dev 在 GitHub 开源了一个名为 kimi-k3-in-c 的项目,展示了如何在单颗 CPU 和仅 8.24 GB 的 RAM 环境下,运行拥有 2.78 万亿参数的 Kimi K3 模型。
该项目采用纯 C99 编写,不依赖 BLAS、深度学习框架或 GPU,具有极高的可移植性。这为在极端受限的边缘硬件上执行庞大参数模型的推理提供了极具探讨价值的工程实践。
「Infra」频道最新
- 传 Google TPU 需求激增,2028 年预计达 1500 万颗 — SumitGup · 2026-08-03
- RTX 5070Ti 本地跑 MiniMax H3:480p 视频生成耗时130秒 — tricck3zz · 2026-08-03
- tinygrad 预告本地部署新品,暗示 Qwen3.6-27B 即将发布 — max_paperclips · 2026-08-03
- 单节点吞吐量达 952 tok/s,AMD MI355X 跑赢英伟达 B200 — adrianscottcom · 2026-08-03
- Qwen3.8-27B即将开源,17GB内存即可本地运行 — danielhanchen · 2026-08-03
- AirLLM突破显存瓶颈:4GB显存单卡跑70B大模型 — techNmak · 2026-08-03