硬核逆向：开发者从零重建Kimi K3训练流程并跑通微缩版
sharpeye_wnl · x · 2026-08-10
月之暗面此前发布了拥有 2.8 万亿参数的 Kimi K3 模型，但仅提供了推理代码和权重，未公开训练流程。一位开发者决定从零开始重建其训练管线。
在逆向过程中，他发现并修复了官方发布代码中 4 处无法用于训练的特定缺陷。为了验证这套自建管线的有效性，他使用 K3 的精确架构（包含 Kimi Delta Attention、Stable LatentMoE、SiTU-GLU 等特性）从头训练了一个 12.7 亿参数（0.364B 活跃）的微缩版模型。
该测试模型仅需 2.4 GiB 内存即可在普通笔记本上端到端运行，无需 GPU。开发者已将完整的代码和权重开源，证明了即使没有官方训练代码，也能成功复现并训练这一前沿架构。
「模型」频道最新
- Meta 开源模型 Muse Glimmer 权重上线 Hugging Face — jffwng · 2026-08-10
- Meta 发布 Muse Glimmer：支持本地运行的开源 30B 智能体模型 — mchiang0610 · 2026-08-10
- Muse Glimmer 多模态模型支持开箱即用的物体检测 — ariG23498 · 2026-08-10
- Meta 开源 Muse Glimmer 被指系闭源模型蒸馏版 — heypearlai · 2026-08-10
- 澄清Meta模型跑分优势：主要因发布时间晚于竞品 — teortaxesTex · 2026-08-10
- llama.cpp Day-0 支持 Meta 新模型 Muse Glimmer — ggerganov · 2026-08-10