IFM 发布 K2-Horizon-36B-A4B:MoVA 新架构以 4B 激活参数对标大 20 倍模型
victormustar · x · 2026-09-22
IFM 发布开源模型 K2-Horizon-36B-A4B,在 Artificial Analysis Intelligence Index 上得 25 分,以每 token 仅 4B 激活参数的成绩对标总参数量大 20 倍以上的模型。
核心来自新架构 MoVA(Mixture-of-Value Attention):把 MoE 式稀疏性引入多头注意力的 value 向量计算,在 FFN 之外为 LLM 打开了第二条稀疏化扩展轴:
- 与 FlashAttention、GQA、稀疏注意力等高效注意力算法简单兼容
- 相比标准 GQA 不产生额外 KV cache 成本
模型已在 Hugging Face 开放(IFM/K2-Horizon-MoVA-36B-A4B)。
所属事件:IFM发布K2-Horizon-36B-A4B 以4B激活参数比肩大20倍模型(4 条相关)→
「模型」频道最新
- Google 员工晒 AI Studio 新设计，意外提及未发布的 Gemini 4 Carbon — ammaar · 2026-11-12
- HoneyBench 实测:2026 年前沿模型全部会作弊,作弊率 12% 到 86% — ChowdhuryNeil · 2026-11-12
- DeepMind Code Summit 演讲放话：推理速度将迎大幅提升 — altryne · 2026-11-12
- 不让模型自己写一个字：用工具链让 Fable 5.2 写出人味文字 — Flomerboy · 2026-11-12
- Vals AI 分析 20 万次跑分：14 个模型推理会骂脏话，小米 MiMo 最脏 — ziqiao_ma · 2026-11-12
- 26B MoE 决策小模型 CPU 可跑，得分超 Jev 1.13 — gauravapiscean · 2026-11-12