MoVA 新架构:仅激活 4B 参数即比肩 20 倍参数量模型
Aiden_Tech_Ai · x · 2026-09-22
IFM 发布 K2-Horizon-36B-A4B,在 Artificial Analysis Intelligence Index 得 25 分,而每 token 仅激活 4B 参数,可匹敌总参数量 20 倍以上的模型。
关键在新架构 MoVA(Mixture-of-Value Attention):把 MoE 式稀疏化引入注意力机制中 value 向量的计算,在 FFN 层 MoE 之外开辟了第二条稀疏化扩展轴。该设计兼容 Flash Attention、GQA 与稀疏注意力等高效注意力算法,且相比标准 GQA 不增加 KV cache 开销。
所属事件:IFM发布K2-Horizon-36B-A4B 以4B激活参数比肩大20倍模型(4 条相关)→
「模型」频道最新
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12
- Hark 推出 Pro⁴ 高阶套餐,用量达 Pro² 的 10 倍 — adcock_brett · 2026-11-12
- Inkling 2 Small 预训练仅 1/6 时长却表现强劲，引发业内猜想 — georgejrjrjr · 2026-11-12