2.78万亿参数 Kimi K3 单 CPU 跑通：仅需 8.24GB 内存、零 GPU
udmrzn · x · 2026-09-11
GitHub 项目演示了一个极端压缩的推理方案：在纯 CPU 环境下运行 2.78 万亿参数的 Kimi K3 推理，内存占用仅 8.24GB，不依赖 GPU、BLAS 库或任何推理框架。
这一结果意味着超大规模模型可以在没有 GPU 的低端设备上以极低资源完成推理，对本地部署与端侧推理路线是相当激进的概念验证。
所属事件:单 CPU 8.24GB 内存跑通 2.78 万亿参数 Kimi K3(3 条相关)→
「Infra」频道最新
- 五角大楼拟向 AI 云初创 Fluidstack 提供约 50 亿美元贷款 — vitaliychiley · 2026-09-11
- 观察：v4 训练无失稳，1M 上下文撑约 10T token 训练量 — stochasticchasm · 2026-09-11
- Eric Schmidt：AI 的真正瓶颈不是电力而是钱，万亿美元资本难筹 — rohanpaul_ai · 2026-09-11
- SpaceX 再签 AI 算力大单：月入 11.1 亿美元，年化 ARR 冲 1000 亿 — NinaDSchick · 2026-09-11
- Carmack:Jetson Thor 128GB 内存对实时机器人是过度配置 — ID_AA_Carmack · 2026-09-11
- YC Demo Day 钻石晶圆初创揽 1.6 亿美元意向订单，挑战硅基芯片 — ycombinator · 2026-09-11