Kimi K3 报告披露 2.8T MoE 后训练配方
cwolferesearch · x · 2026-07-29
这条转发梳理了 Kimi K3 的后训练配方。K3 是一个 2.8T 参数的开权重 MoE 模型，激活参数 104B。报告里的训练流程大致分三步：
- SFT cold start：用合成的 agent 轨迹做冷启动，再结合多轮验证和人工标注；
- 按领域做 RL：分别针对通用任务、通用智能体、编程智能体等方向训练多个专家，并区分 low / high / max 不同 effort；
- 多教师 on-policy 蒸馏：把 9 个冻结专家蒸馏回一个统一模型。
作者认为，这种“先用 RL 训窄专家，再用蒸馏整合”正在成为前沿模型后训练的标准套路；报告里也没有单独的 RLHF 或 DPO 阶段。文中还提到，K3 相比 Kimi K2 的总体 scaling 效率约提升 2.5 倍，在长上下文、编程、推理和智能体任务上都有很强表现。
所属事件:Kimi K3 公开后焦点转向架构(25 条相关)→
「模型」频道最新
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- JevBench 榜单更新:d1-ultra 以 76.1 综合分登顶,32 个 API 系统参评 — airesearch12 · 2026-10-16
- LMArena 上线 Agent 与代码双排行榜，可对比各模型智能体实力 — arena · 2026-10-16
- NVIDIA Nemotron-3.5 实测遇冷:Bolt 74B 在 pandas/numpy 与决策类测试不及 nano 版 — norenEnmotalen · 2026-10-16
- Reflection 开源 501B 模型 Beam,Apache 2.0 携 40+ 伙伴生态发布 — bhutanisanyam1 · 2026-10-16