2.78 万亿参数 Kimi K3 纯 CPU 推理,8.24GB 内存即可跑
FareedKhan-dev · github · 2026-11-04
GitHub 热门项目 kimi-k3-in-c（FareedKhan-dev，已获 1 万+ star）实现了一个惊人目标：在单 CPU、仅 8.24 GB 内存上推理 2.78 万亿参数的 Kimi K3 模型。
- 全部代码为可移植 C99，零依赖：无 BLAS、无推理框架、无 GPU
- 技术要点包括 AVX2 SIMD、mxfp4 量化、MoE 与线性注意力等
- 属于典型的 from-scratch 系统级推理引擎实践，展示极端内存优化下跑超大 MoE 模型的可能性
「Infra」频道最新
- 实测：DINOv3 嵌入 1bit 量化加重排即可高效图像检索 — mgostIH · 2026-11-04
- 南亚科成月度 DRAM 价格风向标：新厂 2027 年底前无法放量 — tengyanAI · 2026-11-04
- PowerSync 全线转向 Apache-2.0：赌开源带来更强生意 — glcst · 2026-11-04
- 实测：embedding 向量 4bit 量化搜索近乎无损，1bit 加重排也够用 — mgostIH · 2026-11-04
- 一个月内六家厂商抢建 AI Agent 语义层，NVIDIA 开源 Auto Ontology — YvesMulkers · 2026-11-04
- 开发者设想：每家一个微型数据中心的分布式算力模型 — rickasaurus · 2026-11-04