IFM 发布 K2-Horizon-36B-A4B:4B 激活参数追平 20 倍参数模型
rupspace · x · 2026-09-22
IFM 发布搭载 MoVA(Mixture-of-Value Attention)架构的模型 K2-Horizon-36B-A4B,已在 Hugging Face 上线,代码与技术报告即将开源。
- 成绩:在 Artificial Analysis Intelligence Index 上得 25 分,以每 token 仅 4B 激活参数追平总参数量超其 20 倍的模型。
- 架构亮点:将 MoE 式稀疏性引入多头注意力的 value 向量计算,为 LLM 打开了 FFN 之外的第二条稀疏化扩展轴。
- 工程优势:兼容 flash attention、GQA、稀疏注意力等高效注意力算法;相比标准 GQA 无额外 KV 缓存开销。
所属事件:IFM发布K2-Horizon-36B-A4B 以4B激活参数比肩大20倍模型(4 条相关)→
「模型」频道最新
- HF 研究员主张用效率增益指标取代最终 benchmark 分数 — eliebakouch · 2026-11-12
- 陶哲轩坦承：看 ChatGPT 雅可比猜想对答也曾被信息量淹没 — ChrisGPotts · 2026-11-12
- 网友辟谣:「Anthropic Opus 5.5 训练成本超 100 亿美元」系假消息 — ns123abc · 2026-11-12
- Domingos 贴图否定指数增长：前沿模型能力每年仅线性涨 16.5 分 — pmddomingos · 2026-11-12
- Hark 推出 Pro⁴ 高阶套餐,用量达 Pro² 的 10 倍 — adcock_brett · 2026-11-12
- Inkling 2 Small 预训练仅 1/6 时长却表现强劲，引发业内猜想 — georgejrjrjr · 2026-11-12