Kimi K3 开源与极限端侧推理探索

第 1 集 · Moonshot 开源 Kimi K3 模型登陆多平台(2026-08-01,4 条)

月之暗面旗下拥有 2.8 万亿参数和 100 万 token 上下文窗口的开源模型 Kimi K3 正式上线 OpenRouter 及微软 Azure AI Foundry（通过 Fireworks AI）。同时，Together AI 也发布了该模型的部署指南以协助开发者快速接入。此举表明该高性能开源大模型正通过多平台生态拓展，在行业内构建新的技术护城河。

• Moonshot 2.8 万亿参数 Kimi K3 上线微软 Azure AI Foundry — ccerrato147 · 2026-08-01
• Kimi K3 上线 OpenRouter：2.8T参数，支持100万上下文 — AccBalanced · 2026-08-01
• Kimi K3 登陆微软 Azure，开源大模型正重塑护城河 — ccerrato147 · 2026-08-02
• Together AI 发布 Kimi K3 开发者指南：2.8T 参数对标 GPT 5.6 — togethercompute · 2026-08-02

第 2 集 · 开源引擎让Kimi K3在低配设备上运行(2026-08-01,7 条)

近期开源社区推出WASTE等推理引擎，通过创新的权重加载机制，让高达2.78万亿参数的Kimi K3模型在普通消费级设备上运行，打破了超大模型需要海量内存的传统限制。

已确认

• WASTE引擎：开发者Marco Bambini推出WASTE（Weight-Aware Streaming Tensor Engine），无第三方依赖的C语言推理引擎，可在29GB内存环境下运行未修改的Kimi K3，普通笔记本上速度约0.5 TPS。
• 核心机制：通过NVMe直接流式传输权重，解决RAM不足问题。@机器之心实测在128GB统一内存Mac上流式读取硬盘，成功加载1.56TB官方MXFP4权重，模型能回答但速度极慢。
• C99极简推理：有开发者用纯C99为Kimi K3写极简引擎，利用93%参数可按需调用的特性，在单CPU和8.24GB内存下运行成功。

为什么重要

• 降低部署门槛：这些项目证明通过软件优化可绕过昂贵硬件限制，让个人开发者在普通笔记本甚至老旧设备上运行超大规模模型，推动本地AI普及。

• 消费级笔记本跑通2.78万亿参数Kimi K3全量模型 — rickasaurus · 2026-08-01
• 128GB Mac 硬塞 1.6TB 权重，Kimi K3 极限本地部署实测 — 机器之心 · 2026-08-01
• 开源引擎Waste：29GB内存即可跑Kimi K3 — galapag0 · 2026-08-01
• 普通笔记本跑 2.78 万亿参数 Kimi K3：WASTE 引擎实现 0.5 TPS — zainhas · 2026-08-01
• 极客用纯 C99 跑通 Kimi K3：8GB 内存极低配推理 — FareedKhan557 · 2026-08-02
• 突破内存限制：开源 C 推理引擎实现本地跑 Kimi K3 — ab2377 · 2026-08-03
• 单 CPU 8GB 内存跑起 2.78T 参数 Kimi K3 — Saboo_Shubham_ · 2026-08-03

第 3 集 · 纯C语言跑Kimi K3：单CPU与8G内存实现流式推理(2026-08-03,3 条)

近日GitHub上名为kimi-k3-in-c的开源项目引发热议并斩获近2千Star。开发者展示了如何使用纯C语言，在仅需单颗CPU和8.24GB内存的普通设备上，运行高达2.78万亿参数的Kimi K3模型。该项目巧妙借助SSD流式推理技术，无需将1.5TB的完整模型权重全部载入内存，大幅降低了庞大模型运行的硬件门槛，引发社区广泛关注。

• 单 CPU 8GB 内存跑 2.78 万亿参数 Kimi K3 — Saboo_Shubham_ · 2026-08-03
• Kimi K3 据称可在 8GB CPU 上靠 SSD 流式推理 — porAssass · 2026-08-04
• 纯 C 语言跑 Kimi K3：单 CPU 8GB 内存搞定推理 — gethackteam · 2026-08-05