MoVA 架构解析:36B 模型仅激活 4B 参数即逼近稠密 32B
rohanpaul_ai · x · 2026-09-11
K2 Horizon 的效率核心来自 Mixture-of-Value Attention(MoVA):把 Mixture-of-Experts 路由从 FFN 层扩展到注意力层。
- 36B 模型每 token 仅激活约 4B 参数,性能仍接近稠密 32B
- 这些模型在相同条件下训练,给研究者提供了干净的稠密 vs 稀疏对照,而非拿不相关模型比较
所属事件:IFM 开源 K2 Horizon 全系列模型，0.9B 到 375B 训练全程公开(7 条相关)→
「模型」频道最新
- 开源模型 Flint 冲上 Hugging Face 趋势榜第 2,作者预告改进方向 — josh_tobin_ · 2026-10-28
- Yacine 怒评:最强语言模型依然烂得离谱,自己也被逼到极限 — yacineMTB · 2026-10-28
- 阿里港科大发布 Omni-InteractScope:全模态流式交互基准 — Qwen · 2026-10-28
- Mistral 发布 Timestral 时间序列基础模型家族,GIFT-Eval 登顶 — mistralai · 2026-10-28
- Gemini 4 Argon 刷新 OCR 纪录：WER 1.73%，超越人类专家 — gabriberton · 2026-10-28
- Meta 开源级翻译系统 Omnilingual MT 覆盖 1600 种语言 — kalyan_kpl · 2026-10-28