共享专家取舍：GLM/Kimi/DeepSeek 保留，MiMo 取消并配 latent 压缩
Nouamanetazi · x · 2026-11-06
MoE 手册探讨专家结构设计：GLM-5.3、Kimi K3 和 DeepSeek V4.1 Flash 都保留共享专家，MiMo-V2.6 则不带共享专家发布。Nemotron 3 Super/Ultra 和 Kimi K3 还让专家在小于模型隐藏层的 latent 空间中运行，以节省参数与算力。
所属事件:Hugging Face 耗数十万 GPU 小时发布免费 MoE 训练手册(20 条相关)→
「Infra」频道最新
- Dolphin Networks 实测:DeepSeek-V4.1 Flash 在 PCIe 卡上吞吐提升 3.8 倍 — AlpinDale · 2026-11-06
- 律师用 8 张 2018 年 V100 跑 DeepSeek-V4.1：代码 215 tok/s、524K 上下文全进显存 — TumbleweedNew6515 · 2026-11-06
- Hyperkernel 递归生成 megakernel,11 个领域 SOTA 并开源 — MillionInt · 2026-11-06
- 马斯克:2-3 年内太空将成为运行超智能成本最低之地 — XFreeze · 2026-11-06
- 前微软员工揭秘：Azure 每 4 天新建一座数据中心 — viksit · 2026-11-06
- 神秘卖家拟一次性抛售5亿美元数据中心贷款,涉OpenAI Stargate项目 — SumitGup · 2026-11-06