K2 Horizon 技术报告出炉:134 页详解前沿 LLM 全流程训练
HongyiWang10 · x · 2026-11-18
LFM(K2)发布 K2 Horizon 技术报告,已上传 arXiv,共 134 页,覆盖六个模型从架构到推理的完整细节,号称当今最详尽的 LLM 训练参考手册。要点:
- 架构:引入两项新注意力设计 MoVA 和 softplus attention gating 以增强推理能力,36B 模型以约七分之一的激活参数量接近 32B 稠密模型的表现。
- 预训练:在相同的 22T tokens 上训练了从 3.7B 到 36B 的四个模型,归一化 loss 曲线几乎重合,说明在小模型上调通的配方可以直接迁移到更大规模。
- 转发者 Eric Xing 强调全透明与可复现性,是公司级 LLM 厂商难以提供的,并重申 LLM360 对「完全开放」的定义。
所属事件:IFM 发布 K2-Horizon:6 款开源模型与 134 页技术报告(7 条相关)→
「模型」频道最新
- 开发者实测 GPT-6.2 Astra:有所改进但方向仍糟糕 — kimmonismus · 2026-11-18
- OpenAI 商业版收费一个月:付费的 Premium 席位根本无法使用 — physmathastro · 2026-11-18
- 网友猜测:Astra 6.2 差评或因 OpenAI 内部超速跑 swarm 未做真实体验 — daniel_mac8 · 2026-11-18
- Google Antigravity 推出 Orchestrator:单任务内动态切换多模型省 24% 额度 — rseroter · 2026-11-18
- Qwen3.8-27B 挂 OpenCode 适配器:SWE-Bench Pro 35.3%→51%,token 省 6-8 倍 — yb2698 · 2026-11-18
- Leanie 力荐 Liquid AI:小模型玩家把 VLM、Omni、决策模型全做齐 — helloiamleonie · 2026-11-18