K2-Horizon-36B 仅 4B 激活参数跑出 25 分,新架构 MoVA 开辟稀疏第二轴
Aiden_Tech_Ai · x · 2026-09-22
IFMAI 发布的 K2-Horizon-36B-A4B 模型总参数 36B,每 token 激活约 4B,在 Artificial Analysis Intelligence Index 上拿到 25 分,可对标总参数量 20 倍以上的模型。
关键在于其新架构 MoVA(Mixture-of-Value Attention):将 MoE 式稀疏引入多头注意力的 value 向量计算,在 FFN 的 MoE 之外开辟了 LLM 稀疏化的第二个维度。作者强调其优点:
- 与 flash attention、GQA、sparse attention 等高效注意力算法简单兼容
- 相比标准 GQA 无额外 KV cache 开销
模型已开放使用。这条信息对理解「用更少激活算力换更强能力」的架构路线有参考价值。
所属事件:IFM发布K2-Horizon-36B-A4B 以4B激活参数比肩大20倍模型(4 条相关)→
「模型」频道最新
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12
- Hark 推出 Pro⁴ 高阶套餐,用量达 Pro² 的 10 倍 — adcock_brett · 2026-11-12
- Inkling 2 Small 预训练仅 1/6 时长却表现强劲，引发业内猜想 — georgejrjrjr · 2026-11-12