IFM 开源 K2 Horizon 六款模型,0.9B 到 375B 全套训练过程公开
rohanpaul_ai · x · 2026-09-11
Institute of Foundation Models(IFM)发布 K2 Horizon:6 个开源模型,从 0.9B 到 375B,覆盖端侧小模型到推理、编码与 Agent 大模型。
- 全开源:每个模型都放出权重、训练代码、配置、数据或数据配方、中间 checkpoint、训练日志与评测,覆盖从预训练到推理和 Agent 训练全流程
- 成绩:0.9B/3.7B/7B 在各自尺寸段刷新 SOTA;稀疏 36B-A4B 每token仅激活约 4B 参数,性能接近稠密 32B
- 架构:采用新 Mixture-of-Value Attention(MoVA),把 MoE 路由扩展到注意力层而非仅 FFN
- 每个模型训练约 20T tokens,checkpoint 与日志给出罕见的训练过程完整记录
- 同步开源生产级训练基础设施 xLLM 及完整 Agent 后训练代码库(含 RL pipeline)
所属事件:IFM 开源 K2 Horizon 全系列模型，0.9B 到 375B 训练全程公开(7 条相关)→
「编程与Agent」频道最新
- Will DePue 呼应 OpenAI 加 API 级能力：让多智能体一次并行分发上千个小模型调用 — willdepue · 2026-10-28
- DeckWerk 新版获早期用户好评：连续数周用于真实演讲 — vincesitzmann · 2026-10-28
- Opus 5.5 剪视频可替初级剪辑师，资深剪辑师日产出翻 5 倍 — dotey · 2026-10-28
- 软件栈正为Agent重构:开发者站点、浏览器乃至编程语言都在agent-first — mobileraj · 2026-10-28
- HABIT-Bench:八种记忆系统测用户习惯推断,最佳仅33.61% — SJTU · 2026-10-28
- 「钢琴测试」思想实验：你敢坐在形式化验证过的代码下吗 — moyix · 2026-10-28