DeepSeek-V4 路由打分改用 sqrt(softplus),各大 MoE 路线分化
Nouamanetazi · x · 2026-11-06
作者解析路由得分如何变成权重:DeepSeek-V4 把 sigmoid 换成了 sqrt(softplus);在路由缩放因子上各家分化——GLM-5.3 和 Step 5 Preview 仍接近 √k,而 Kimi K3 在 k=16 时取 1.0 并在 up-projection 前对路由和做归一化。作者还给出实操建议:bf16 可能舍入相近的 logits 导致专家选择翻转,务必设置 --moe-router-dtype fp32。配图对比四种归一化方案,指出只有 √k 因子能让输出 RMS 始终接近单个专家水平。
所属事件:Hugging Face 发布 80 万 GPU 时实操《终极 MoE 训练手册》(19 条相关)→
「研究」频道最新
- 研究者叹 LLM 评审已成定局：别再拿它当拒稿借口 — examachine · 2026-11-06
- 芝大数据科学 Rising Stars 2026 名单公布，聚焦世界模型与多模态数据基础 — cindy_x_wu · 2026-11-06
- Surge 研究团队点赞 Tinker：并行跑 RL 实验，一行代码换模型 — echen · 2026-11-06
- 120B 开源模型经 Surge RL 训练，12 项基准全面逼近 GPT-5.6 — echen · 2026-11-06
- BMVA 计算机视觉可解释性研讨会征稿:2027 年 1 月伦敦举办 — HildeKuehne · 2026-11-06
- Memorilla 记忆系统：省 4000 倍 token、快 27 倍替代全上下文推理 — ShirleyYXWu · 2026-11-06