Kimi K3 如何稳定训练高稀疏 MoE：Stable LatentMoE
jbhuang0604 · x · 2026-08-18
探讨 Kimi K3 在高度稀疏 MoE（混合专家）架构下如何防止训练崩溃。
关键技术：Stable LatentMoE
- 路由分支归一化（Normalization on the routed branch）。
- 专家内部 SiTU-GLU（SiTU-GLU inside each expert）。
- 路由器分位数平衡（Quantile Balancing on the router）。
「模型」频道最新
- 别被 bf16 榜单骗了，我们需要真实量化评测 — AuspiciousApple · 2026-08-18
- 社区质疑 DeepSeek V4 Flash 插件性能提升说法 — brainExploded99 · 2026-08-18
- Agent Arena 排行榜更新：Claude Opus 5 暂居榜首 — arena · 2026-08-18
- 开发者 2 小时用 Gemini Flash 做出 3D 专利博物馆网站 — doodlestein · 2026-08-18
- 前沿模型已解决幻觉问题？Reddit 用户热议 — ObiWanCanownme · 2026-08-18
- Agent Arena 改版：按 170 万会话划分任务类别，新增模型任务成本榜 — arena · 2026-08-18