月之暗面讲 Kimi 训练路线
dotey · x · 2026-07-18
杨植麟在 GTC 2026 的演讲 **How We Scaled Kimi K2.5** 里，重点讲了月之暗面过去一年的技术路线：如何在开源模型上继续逼近闭源前沿。 核心思路有三条： - 让每个 Token 更“值钱”，提高高质量数据利用率； - 让更长的上下文真正发挥作用； - 让多个 Agent 同时协作。 他还提到两个具体进展：一是视觉训练能反过来增强文本能力；二是团队刚公布了下一代架构 **Attention Residue**。在训练基础组件上，月之暗面尝试替换沿用多年的 Adam、注意力机制和残差连接，并且都已开源。 其中，MuonClip 被用来替代 Adam。月之暗面称，在相同数据量下，它的训练效果接近把数据量增加一倍；在高质量数据越来越稀缺的背景下，这意味着更高的数据效率和更低的训练成本。