LatentMoE 稀疏化与扩展效率讨论
ivan_bezdomny · x · 2026-07-17
转推的核心是在讨论 LatentMoE 这类稀疏化设计：
- 作者表示自己长期主张激活比例可以低于 2%，甚至有理由继续在 1% 以下 维持扩展。
- 被引用内容提到：LatentMoE 只有 16/896 个专家被激活，配合 Kimi Delta Attention 和 AttnRes，据称能带来 2.5x 更高效的扩展。
- 还顺带提到，类似“OpenAI / Anthropic 也在显著更稀疏化”的传闻与这一路线相互呼应。
- 转推者补充了一个成本对比：K3 大约在单位 token 成本上接近 V4，但更大、成本却高出 17 倍，并借此质疑相关利润率。
「模型」频道最新
- 用户实测 GrokBot:订机票、网购全被拦,几乎办不成事 — lucasmeijer · 2026-10-26
- 售卖机基准新观察：Sol 5.6 被指最激进、最常违约 — xuanalogue · 2026-10-26
- 爆料称 Fable 5.5 每周将发，博主泼冷水：本月无前沿新模型 — patience_cave · 2026-10-26
- 实测 abliterated 去审查模型翻车:模型反而关心起我的心理健康 — ryunuck · 2026-10-26
- OpenAI Decisions API 升级：单次可处理 400 个问题并新增语音与图像能力 — OpenAIDevs · 2026-10-26
- 中国首个前沿AI安全独立评测实验室「方寸跃迁」成立并首发DeepSeek评测 — JacquesThibs · 2026-10-26