单 CPU 加 8.24GB 内存跑通 2.78 万亿参数 Kimi K3

GitHub 上的 OSP 项目演示了极端压缩的推理方案：无需 GPU、BLAS 库或任何框架，仅靠一个约 176KB 的 C 程序，在单颗 CPU 和 8.24GB 内存条件下完成 2.78 万亿参数 Kimi K3 的推理。有发帖人翻查仓库证实方案可行，关键在于 checkpoint 的处理方式。若结果属实，展示了超大模型极端内存优化推理的可能性，在社区引发热议。

2026-09-10 ~ 2026-09-11 · 4 条相关

• 单 CPU 仅用 8.24GB 内存跑通 2.78 万亿参数 Kimi K3 推理 — gekobraa · 2026-09-10
• 2.78万亿参数 Kimi K3 单 CPU 跑通：仅需 8.24GB 内存、零 GPU — udmrzn · 2026-09-11
• 176KB C 程序在单 CPU + 8GB 内存上跑 2.78 万亿参数模型 — techNmak · 2026-09-11

另有 1 条近重复转述:udmrzn