Moonshot Kimi K3 量化后可本地运行，594GB 保留 78.9% 精度
danielhanchen · x · 2026-07-29
Moonshot 的 Kimi K3 现在可以通过 Unsloth 的量化版本本地运行了。
- 这是一个 2.8T 参数、104B active 的开权重模型，具备原生视觉能力和 100 万 token 上下文窗口。
- Unsloth 给出的 dynamic 1-bit 版本体积从 1.56 TB 压到 594 GB，同时保留约 78.9% top-1 accuracy。
- dynamic 2-bit 版本可达到约 90% accuracy，体积为 861.3 GB。
- 文档给出了详细硬件需求，并说明可通过 Unsloth Studio 或 llama.cpp 运行，目标机器包括 Mac Studio + 128GB RAM 级别配置。
所属事件:Unsloth 推出 Kimi K3 量化版，1-bit 压缩至 594GB(6 条相关)→
「编程与Agent」频道最新
- 开发者借助 LLM 在 iPad 原生跑通 Wayland 与 Linux 桌面 — maxleiter · 2026-07-30
- 硬核极客用 Xbox 手柄写代码两天，探索 AI 编程新交互 — noahsolomon · 2026-07-30
- 告别繁琐投稿：开源工具 PaperPush 借助 LLM 实现一键提交 — lpachter · 2026-07-30
- Agent做数学研究仍困难：代码生成陷入证书和库存 — doodlestein · 2026-07-30
- 开源工具Contour：用Gemini将2D地形图转为可语音导览的3D空间 — tom_doerr · 2026-07-30
- AI编程核心术语表：厘清Token、推理与智能体边界 — luisdans · 2026-07-30