LatentMoE 稀疏化与扩展效率讨论
ivan_bezdomny · x · 2026-07-17
转推的核心是在讨论 **LatentMoE** 这类稀疏化设计： - 作者表示自己长期主张激活比例可以低于 2%，甚至有理由继续在 **1% 以下** 维持扩展。 - 被引用内容提到：`LatentMoE` 只有 **16/896** 个专家被激活，配合 **Kimi Delta Attention** 和 **AttnRes**，据称能带来 **2.5x 更高效的扩展**。 - 还顺带提到，类似“OpenAI / Anthropic 也在显著更稀疏化”的传闻与这一路线相互呼应。 - 转推者补充了一个成本对比：**K3** 大约在单位 token 成本上接近 **V4**，但更大、成本却高出 **17 倍**，并借此质疑相关利润率。