月之暗面讲 Kimi 训练路线
dotey · x · 2026-07-18
杨植麟在 GTC 2026 的演讲 How We Scaled Kimi K2.5 里，重点讲了月之暗面过去一年的技术路线：如何在开源模型上继续逼近闭源前沿。
核心思路有三条：
- 让每个 Token 更“值钱”，提高高质量数据利用率；
- 让更长的上下文真正发挥作用；
- 让多个 Agent 同时协作。
他还提到两个具体进展：一是视觉训练能反过来增强文本能力；二是团队刚公布了下一代架构 Attention Residue。在训练基础组件上，月之暗面尝试替换沿用多年的 Adam、注意力机制和残差连接，并且都已开源。
其中，MuonClip 被用来替代 Adam。月之暗面称，在相同数据量下，它的训练效果接近把数据量增加一倍；在高质量数据越来越稀缺的背景下，这意味着更高的数据效率和更低的训练成本。
所属事件:杨植麟分享 Kimi K2.5 扩展与提效路线(4 条相关)→
「模型」频道最新
- Together AI 对谈 Meta:详解 Muse Spark Open 开放模型 — togethercompute · 2026-10-27
- GPT-6.1 Terra 发布:Agent 考试约 60 分,成本仅 Opus 5.5 的 1/9 — ChrisGPT · 2026-10-27
- ChatGPT 竟让技术支持用户去联系 404 Media 记者，还代写爆料邮件 — petrusenko_max · 2026-10-27
- 曝 GPT-6.1 Terra 定位尴尬：价格仅为 Sol 一半的中间档 — cedric_chee · 2026-10-27
- 神秘模型 Terra 得分 48，登 Artificial Analysis 情报指数前列 — haider1 · 2026-10-27
- Artificial Analysis 页面现 GPT-6.1 Terra (Max)，评分达 48 — theanonymousone · 2026-10-27