IFM开源K2-Horizon-MoVA:36B参数仅激活4B,支持512K上下文
jacek2023 · reddit · 2026-09-03
IFM 发布 K2-Horizon-MoVA-36B-A4B 的 GGUF 最终版，这是 K2-Horizon 家族的稀疏成员：结合 MoE 与「Mixture-of-Values」注意力机制（MoVA），总参数 36B、每 token 仅激活 4B。
亮点：
- 基准成绩：在 agentic 与推理基准上超过约 30B 的开源稠密模型以及 15 倍于其体量的 MoE 模型，并可与闭源前沿模型竞争。
- 512K 原生上下文：从中期训练阶段起即支持 524,288 token。
- 完全开源：训练数据/配方与训练代码都将公开，并释放中间 checkpoint，方便研究能力随训练过程的演化。
所属事件:MBZUAI 发布 K2 Horizon 六款全开源模型(30 条相关)→
「模型」频道最新
- 德银数据：Meta 的 Muse 下载量与日活持续领先 ChatGPT — alexandr_wang · 2026-10-20
- DeepSeek V4.1 去审查版登 HuggingFace 热榜,FP8 量化支持视觉推理 — dealignai · 2026-10-20
- Reddit 用户截图实锤：ChatGPT 选 GPT-5.6 High 后端却偷换成 GPT-6 中档 — DepositameAMiBCP · 2026-10-20
- MiniMax M3.1 Flash 上线 Command Code:1M 上下文限时免费 — MiniMax_AI · 2026-10-20
- 用户控诉小米 MiMo 订阅难以取消，$60 套餐找不到退订入口 — bookwormengr · 2026-10-20
- Strata 2 beta 推理速度近乎减半？双 4090 用户求助 — Lost-Vermicelli-6252 · 2026-10-20