IFM 发布 K2-Horizon:6 个全开源模型,含 375B MoE 与 10T 合成数据管线
IFM · hf · 2026-11-17
IFM(MBZUAI 基础模型研究所)发布 K2-Horizon 模型舰队:6 个完全开源的语言模型,从 0.9B dense 到 375B-A23B MoE,面向推理与 agentic 任务,在同级开源模型的 agentic 与编码基准上领先或持平。
技术要点:
- MoVA(Mixture-of-Value Attention):把 MoE 应用于注意力 value 投影,配合 softplus 注意力门控;36B-A4B 模型同时使用两者,以约 1/7 激活参数接近同数据训练的 32B dense 模型。
- Uno:无损扩散适配器,无需单独 draft 模型即可将解码加速最高 2.2 倍。
- 极致开源:按 LLM360 定义公开全部开发史,包括各训练阶段的中间 checkpoint、预训练数据、训练日志及全部训练/评测/infra 代码(xLLM 训练框架与 RL360 强化学习栈),并详细公开数据构建管线。
- 约 10T 合成预训练 token,验证合成数据可作大规模预训练的主要原料;4 个模型共享同一 22T token 语料与配方,便于规模与稀疏性的对照研究。
所有产物见 ifm.ai/k2。
「模型」频道最新
- 路透独家:芯片管制下中国厂商用美国模型蒸馏训练国产竞品 — ns123abc · 2026-11-17
- 优化研究者:Astra 一个 prompt 就能补上我们没证出的下界 — bremen79 · 2026-11-17
- 实测 Gemini AI Overview 查零件尺寸:直接编造 13 英寸数据 — AWTom · 2026-11-17
- 开发者吐槽 Claude 编码翻车:要做内容库却漏了添加内容入口 — dejanseo · 2026-11-17
- AI 检测器无法被绕过,作者用随机词表实测揭示唯一例外 — rubenhassid · 2026-11-17
- 用户实测腾讯混元 Hy4 Flash:仅 7.5 万 token 生成立体城堡场景 — TencentHunyuan · 2026-11-17