开源引擎让Kimi K3在低配设备上运行

近期开源社区推出WASTE等推理引擎，通过创新的权重加载机制，让高达2.78万亿参数的Kimi K3模型在普通消费级设备上运行，打破了超大模型需要海量内存的传统限制。

已确认

• WASTE引擎：开发者Marco Bambini推出WASTE（Weight-Aware Streaming Tensor Engine），无第三方依赖的C语言推理引擎，可在29GB内存环境下运行未修改的Kimi K3，普通笔记本上速度约0.5 TPS。
• 核心机制：通过NVMe直接流式传输权重，解决RAM不足问题。@机器之心实测在128GB统一内存Mac上流式读取硬盘，成功加载1.56TB官方MXFP4权重，模型能回答但速度极慢。
• C99极简推理：有开发者用纯C99为Kimi K3写极简引擎，利用93%参数可按需调用的特性，在单CPU和8.24GB内存下运行成功。

为什么重要

• 降低部署门槛：这些项目证明通过软件优化可绕过昂贵硬件限制，让个人开发者在普通笔记本甚至老旧设备上运行超大规模模型，推动本地AI普及。

2026-08-01 ~ 2026-08-03 · 7 条相关

事件全程(共 3 集)→

• 第 1 集:Moonshot 开源 Kimi K3 模型登陆多平台(2026-08-01,4 条)
• 第 2 集:开源引擎让Kimi K3在低配设备上运行(2026-08-01,7 条)
• 第 3 集:纯C语言跑Kimi K3：单CPU与8G内存实现流式推理(2026-08-03,3 条)

• 【源头】消费级笔记本跑通2.78万亿参数Kimi K3全量模型 — rickasaurus · 2026-08-01
• 【源头】128GB Mac 硬塞 1.6TB 权重，Kimi K3 极限本地部署实测 — 机器之心 · 2026-08-01
• 开源引擎Waste：29GB内存即可跑Kimi K3 — galapag0 · 2026-08-01
• 普通笔记本跑 2.78 万亿参数 Kimi K3：WASTE 引擎实现 0.5 TPS — zainhas · 2026-08-01
• 极客用纯 C99 跑通 Kimi K3：8GB 内存极低配推理 — FareedKhan557 · 2026-08-02
• 【源头】突破内存限制：开源 C 推理引擎实现本地跑 Kimi K3 — ab2377 · 2026-08-03
• 单 CPU 8GB 内存跑起 2.78T 参数 Kimi K3 — Saboo_Shubham_ · 2026-08-03