细粒度 MoE 是最大红利：DeepSeek-V3 式 128 专家路由提升损失 4.9%-6.2%
ivan_bezdomny · x · 2026-11-01
一条关于 MoE 架构设计的技术分析长帖，核心观点是细粒度专家是当前架构中最容易拿到的收益：
- 细粒度 MoE 是最大红利：DeepSeek-V3 式的 128 专家 + sigmoid 路由，相比基线在损失上改善 4.9%、5.6%、6.2%，且随模型宽度增加收益更大；Mixtral 式的 8 专家 top-2 只能拿到约一半的改进
- LatentMoE 更进一步：Nemotron 3 和 Kimi K3 采用的方案先把每个 token 投影到一半模型宽度，经过 256 个专家中的 12 个，再投影回来；路由和共享专家仍用全宽度
- 这使得在总参数量相同的情况下，专家数量可以做到 DeepSeek-V3 式模型的两倍
「模型」频道最新
- 税务难题实测：多个 LLM 答案不一，最佳模型准确率不足 50% — ziv_ravid · 2026-11-01
- davidad 对谈播客谈模型涌现智慧,并批 Anthropic 训练网络攻防 — RichardMCNgo · 2026-11-01
- 曝 OpenAI 邮件预告 ChatGPT 合并 Chat 与 Work，统一用量额度 — Angaisb_ · 2026-11-01
- 评论人：多数企业 AI 任务用旧模型就够了 — DavidLinthicum · 2026-11-01
- Every 长文揭秘 Codex:从失败发布到吞并 ChatGPT 的翻身之作 — every · 2026-11-01
- ChatGPT Pro 订阅暗藏每月最高 500 美元免费 API 额度 — dr_cintas · 2026-11-01