IFM 开源 K2-Horizon:六个模型最大 375B,连训练数据和代码一起放出来
winer666 · reddit · 2026-11-18
MBZUAI 背后的阿布扎比机构 IFM 发布 K2-Horizon:六 个开放模型,从 0.9B dense 到 375B-A23B MoE 旗舰。亮点不在尺寸阶梯,而在开放程度——除权重外还包括预训练语料、分阶段 checkpoint、训练日志、评测代码、xLLM 训练栈和 RL360 后训练代码,自称「glass box, not black box」。四个模型共享 22T token 语料训练,并记录了约 10T 合成预训练 token 的流水线。
论文中的技术点:
- MoVA(Mixture-of-Value Attention):把 MoE 式路由用于 attention value 投影;36B-A4B 的 MoVA 模型用约七分之一的激活参数量接近同数据训练的 32B dense 模型。
- Uno:无损 diffusion 解码适配器,无需单独 draft 模型即可最高 2.2 倍加速。
- 375B 旗舰据称登顶 Toolathlon 工具使用榜(厂商自报)。
注意事项:375B MoE 对多数人是基础设施级新闻而非本地可跑;跑分需独立复测;IFM 位于阿布扎比,部分团队需核查数据驻留与出口合规。支持 vLLM、SGLang、Ollama。作者抛出的问题:连数据和训练代码都放出,会不会改变下一轮前沿模型「开放」的标准?
所属事件:IFM 发布 K2-Horizon:六个全开源模型最大 375B(3 条相关)→
「模型」频道最新
- 博主实测 GPT-6.2 Sol Ultra Fast:又快又聪明 — vista8 · 2026-11-18
- Mistral 推出 vibe 桌面应用,主打 Large 4 网络防御能力 — b_roziere · 2026-11-18
- Astra 6.2 秒变侦探:从数小时素材中读出投影URL找到目标网站 — gabrielchua · 2026-11-18
- Qwen 3.8 与 DeepSeek V4.1 同题实测:单提示词生成摄影师落地页 — jesdga95 · 2026-11-18
- GPT-6.2 Astra 连玩 250 天 RimWorld,建成像样城市 — jxnlco · 2026-11-18
- Polymarket 称 GPT-6 Cyber 发现苹果产品 35 个安全漏洞 — Polymarket · 2026-11-18