Unsloth 发布 Kimi K3 量化版，1-bit 压缩至 594GB 保留近 80% 精度

Unsloth 团队发布了 Moonshot Kimi K3 模型的量化版本，使这款超大规模模型能够在本地设备上运行。其中 1-bit 量化版将原本 1.56TB 的模型大幅压缩至 594GB，且依然保留了 78.9% 的准确率，为本地部署超大规模 AI 模型提供了极具可行性的方案。

已确认

• Kimi K3 是一个拥有 2.8T 参数、104B active 的开权重模型，具备原生视觉能力与 100 万 token 的上下文。
• Unsloth 已在 Hugging Face 上线了该模型的多种量化方案，包括体积达 1.5TB 的 MXFP4 版本以及 GGUF 包等，并提供了多模态投影文件。
• 通过 1-bit 量化技术，模型体积从 1.56TB 缩减至 594GB（体积下降 62%），并保留了约 78.9% 的准确率。
• 量化后的 Kimi K3 已成功在搭载高内存的 Mac Studio 上实现本地运行。

为什么重要

• 降低部署门槛：将超过 1.5TB 的超大规模模型压缩至不到 600GB，意味着普通开发者或研究机构可以通过消费级或准专业级硬件（如 Mac Studio）在本地运行顶级大模型，摆脱对昂贵云端算力的绝对依赖。
• 验证量化技术：1-bit 量化在大幅缩减体积（下降 62%）的情况下仍能保持近 80% 的精度，证明了极端量化技术在超大型模型上的实用潜力。

2026-07-28 ~ 2026-07-30 · 6 条相关

• Unsloth 迅速推出 Kimi K3 量化版 — _akhaliq · 2026-07-28
• 【源头】Unsloth 发布 Kimi K3 量化文件，MXFP4 版本达 1.5TB — _TheWolfOfWalmart_ · 2026-07-29
• Moonshot Kimi K3 量化后可本地运行，594GB 保留 78.9% 精度 — danielhanchen · 2026-07-29
• 量化版 Kimi K3 已在 Hugging Face 提供 GGUF — victormustar · 2026-07-29
• 【源头】1-bit 量化显神威：Kimi K3 成功在 Mac Studio 本地运行 — danielhanchen · 2026-07-30
• 【源头】Kimi K3 量化版发布：1-bit 压缩至 594GB 保留近 80% 精度 — BankApprehensive7612 · 2026-07-30