IFM 发布 K2-Horizon-36B-A4B:MoVA 新架构以 4B 激活参数对标大 20 倍模型
victormustar · x · 2026-09-22
IFM 发布开源模型 K2-Horizon-36B-A4B,在 Artificial Analysis Intelligence Index 上得 25 分,以每 token 仅 4B 激活参数的成绩对标总参数量大 20 倍以上的模型。
核心来自新架构 MoVA(Mixture-of-Value Attention):把 MoE 式稀疏性引入多头注意力的 value 向量计算,在 FFN 之外为 LLM 打开了第二条稀疏化扩展轴:
- 与 FlashAttention、GQA、稀疏注意力等高效注意力算法简单兼容
- 相比标准 GQA 不产生额外 KV cache 成本
模型已在 Hugging Face 开放(IFM/K2-Horizon-MoVA-36B-A4B)。
「模型」频道最新
- 曝 Grok 4.7 同价发布：CursorBench 46.3%，双用途风险提示拦截率 96.7% — petrusenko_max · 2026-09-22
- Reliquary-4B 发布：全网矿工贡献 rollout 的去中心化 RL 训练数学代码模型 — const_reborn · 2026-09-22
- 开发者打造 open-jev:浏览器端本地运行的 System One 判别式 AI — HowDevelop · 2026-09-22
- 用户尝试诱导 Jev 幻觉,宣称「骗不动」 — BLUECOW009 · 2026-09-22
- REAP 剪枝 Qwen3.8-Flash-Next MLX 版实测:三个档位怎么选 — MensaProdigy · 2026-09-22
- 开发者自述:DeepSeek V4 NVFP4 优化后 192GB 只剩 2GB 余量 — HankYeomans · 2026-09-22