DeepSeek-V4 前三层用 token id 哈希替代可学习路由
Nouamanetazi · x · 2026-11-06
作者解析 MoE 路由器是否需要学习选专家:DeepSeek-V4 的前 3 个 MoE 层不用学习路由,直接用 token id 的固定哈希选择专家;V4.1-Flash 则改回全层可学习路由,并把 token-id 查找移入 Engram——一种以加法方式注入 embedding 的 n-gram 表。配图对比了可学习路由、哈希层和 Engram 在同一句子上的专家选择重叠度:哈希层让所有「the」共享同 6 个专家(重叠度 1),Engram 则不选专家(重叠度 0)。
所属事件:Hugging Face 发布 80 万 GPU 时实操《终极 MoE 训练手册》(19 条相关)→
「研究」频道最新
- 研究者叹 LLM 评审已成定局：别再拿它当拒稿借口 — examachine · 2026-11-06
- 芝大数据科学 Rising Stars 2026 名单公布，聚焦世界模型与多模态数据基础 — cindy_x_wu · 2026-11-06
- Surge 研究团队点赞 Tinker：并行跑 RL 实验，一行代码换模型 — echen · 2026-11-06
- 120B 开源模型经 Surge RL 训练，12 项基准全面逼近 GPT-5.6 — echen · 2026-11-06
- BMVA 计算机视觉可解释性研讨会征稿:2027 年 1 月伦敦举办 — HildeKuehne · 2026-11-06
- Memorilla 记忆系统：省 4000 倍 token、快 27 倍替代全上下文推理 — ShirleyYXWu · 2026-11-06