月之暗面发布 K2 Horizon 技术报告:134 页公开前沿 LLM 训练全流程
sunjiao123sun_ · x · 2026-11-18
Moonshot AI(月之暗面)发布 K2 Horizon 技术报告,登上 arXiv,共 134 页,覆盖从架构到推理的完整训练细节,作者称其为「目前最详细的 LLM 训练参考手册」,总计介绍六个模型的构建过程。要点包括:
- 架构:引入两项新注意力设计 MoVA 与 softplus attention gating,36B 模型以约 1/7 的激活参数量接近 32B 稠密模型的推理表现
- 预训练:在相同的 22T tokens 上训练 3.7B 到 36B 共四个模型,归一化 loss 曲线几乎重合,说明小模型上验证的配方可以直接迁移到更大规模
- 内容还涵盖数据等环节的完整配方
所属事件:IFM 开源 K2-Horizon:六模型连训练数据代码全放出(9 条相关)→
「模型」频道最新
- Reddit 长文抨击:前沿 AI 是在模仿懒惰工程师的「庸才镜子」 — RossPeili · 2026-11-22
- MBZUAI 开源 29B 世界模型 PAN 2:权重代码已上 Hugging Face — LinusEkenstam · 2026-11-22
- 博主实测:Inkling Mini 俄语出乎意料流利,数据配方成谜 — teortaxesTex · 2026-11-22
- 美国开源模型 Inkling 2 Mini 发布,32GB 内存的 Mac 就能跑 — alex_verem · 2026-11-22
- 网友喊话 OpenAI:GPT-6.2 Sol 与 Astra 表现为何如此糟糕 — kimmonismus · 2026-11-22
- 用户吐槽 GPT-5.5 难用:写冗余代码、乱建重复函数 — yacineMTB · 2026-11-22