Kimi K3 称借 KDA 节省实现 2.5 倍 scaling 提升
nrehiew_ · x · 2026-07-29
这条继续补 Kimi K3 的训练信息，重点还是模型训练与 scaling。
- 作者观察到 RL FLOPs 曲线比较锯齿，推测每个 expert 的 RL 计算量可能没那么大，因此大量算力也许花在 MOPD 上。
- 预训练部分公开的信息很少，token 数量没有披露。
- 报告声称实现了 2.5× 的 scaling 改善，作者认为主要来自 KDA 的 FLOPs 节省。
- 超参搜索后，他们更偏好 cosine 而不是 WSD。
所属事件:Kimi K3技术报告深度拆解：工程协同成就前沿性能(21 条相关)→
「模型」频道最新
- Reflection AI 开源 Beam：Apache 2.0 权重+40 余家生态伙伴 — zhyncs42 · 2026-10-16
- 为何 15B 以下开源模型越来越少见？大厂默契卡在 24-27B — Hot_Example_4456 · 2026-10-16
- 网友观察到模型自生成「理想回答」用于训练其他模型 — liminal_bardo · 2026-10-16
- Reflection 开源 Beam-1.0：501B 总参 MoE，1M 上下文，推理 token 省 3 倍 — jacek2023 · 2026-10-16
- Reflection Beam 501B MoE 登陆 GB200:单用户 463 tok/s — zhyncs42 · 2026-10-16
- 单卡 24GB 跑 Gemma 4 31B QAT：4090 上 46 tok/s，加草稿模型达 80 — Subject_Poet_3861 · 2026-10-16