裁剪多语言权重:Kimi K3 模型体积从 711GB 暴降至 478GB
Hannibalj2ca · reddit · 2026-08-09
社区开发者利用 REAP 方法,成功将 Kimi K3 (Unsloth IQ2-XXS) 的体积从 711GB 压缩至 478GB。该方法的核心思路是仅移除模型中的多语言参数权重,保留完整的英语能力,从而在大幅减小体积的同时维持其高智商表现。这种精准裁剪冗余参数的思路,为未来降低大模型本地部署门槛提供了新方向。
「模型」频道最新
- Gemini 4 模型卡披露:模型可省去生物武器研究数月试错 — Puzzleheaded-King584 · 2026-10-16
- 问 AI 要答案永远是 7:Anthropic 工程师谈模型品味趋同陷阱 — rubenhassid · 2026-10-16
- 推ter脑筋急转弯:抠掉 Llama 3 全部权重矩阵还剩几个参数? — Sauers_ · 2026-10-16
- Lean v4.35.0 自带四个已验证内核,其中之一由 Claude 写成并自证一致 — geoffreyirving · 2026-10-16
- Claude 团队版一个席位被标记,全组织 5 个账号一并冻结 — RexDouglass · 2026-10-16
- Kimi K3 训后检查点表现出色,获赞预训练扎实 — SonglinYang4 · 2026-10-16