K2 Horizon 发布 134 页技术报告:六个全开源模型从架构到推理全公开
HongyiWang10 · x · 2026-11-18
IFM 的 K2 团队发布 K2-Horizon 技术报告(arXiv:2611.21003),长达 134 页,覆盖从 0.9B dense 到 375B-A23B MoE 共六个全开源模型的完整构建过程,被称为「可能是当今最详细的 LLM 训练参考手册」。
- 架构:引入两项新注意力设计——MoVA 与 softplus attention gating 以增强推理,使 36B 模型以约 1/7 的激活参数量接近 32B dense 模型的表现
- 预训练:在同一 22T tokens 上训练 3.7B 到 36B 四个模型,归一化 loss 曲线几乎重合,意味着小模型上验证的配方可以直接迁移到放大后的模型
- 团队由 Eric Xing 领衔,94 位作者署名
「模型」频道最新
- Google 内部人士:CUA 能力与 OpenAI 差距缩至 0.9%,Agents' Last Exam 得 77.4% — allenainie · 2026-11-18
- 微软 Ignite 一口气发布七款 MAI 模型:Code 2 达 GPT-6.1 Sol 98% 质量仅 40% 价格 — testingcatalog · 2026-11-18
- mitsuhiko 试用 GPT-6.2 Astra/Sol 后评价:「感觉还行,不惊艳」 — mitsuhiko · 2026-11-18
- GPT-6.2 Astra/Sol 口碑翻车:幻觉增多、速度变慢,被称「多年来最差发布」 — MicahBerkley · 2026-11-18
- Agent Arena 实测对比 GPT-6.2 与 Claude Fable 5.2,实际定价比预告低 35% — arena · 2026-11-18
- GPT-6.2 Astra 与 Sol 发布,实测对比 Claude Fable 5.2 视觉编码能力 — arena · 2026-11-18