GLM-5.3、Kimi K3、DeepSeek V4.1 共享专家设计对比
Nouamanetazi · x · 2026-11-06
作者继续拆解最新 MoE 模型的共享专家设计:GLM-5.3、Kimi K3 和 DeepSeek V4.1 Flash 都保留了 shared expert,而 MiMo-V2.6 没有使用;Nemotron 3 Super/Ultra 和 Kimi K3 还把专家运行在比模型 hidden size 更小的 latent 空间里。配图系统对比了五种加权方案(仅路由专家、共享专家、门控共享专家、联合归一化、并行稠密 FFN)在 always-on 比例和 token 分发数上的差异。
所属事件:Hugging Face 发布 50 万 GPU 小时打磨的终极 MoE 训练手册(17 条相关)→
「研究」频道最新
- 快手可灵团队等提出 JointLight：视频换光时人物与阴影保持真实 — jiqizhixin · 2026-11-06
- 康奈尔发布 Trainspotting 数据集：12 万张网友照片练 3D 重建 — kwangmoo_yi · 2026-11-06
- 从黑猩猩基因组到 49 段超保守 DNA：一段人类加速进化区的发现史 — iskander · 2026-11-06
- ICLR 评审意见今日放出，作者圈进入等待判决时刻 — khademinori · 2026-11-06
- Meta 研究员:动 RL 之前先做足 SFT,否则等于白花钱 — DimitrisPapail · 2026-11-06
- SWE-bench 作者回应「刷基准」质疑：SWE 需要人在回路的新基准 — OfirPress · 2026-11-06