NVIDIA 技术长文:30B MoE 模型为何每 token 只激活 3B 参数
NVIDIAAI · x · 2026-09-16
NVIDIA 发布技术博客,以 Nemotron 3.5 Lightning(30B 总参数、每 token 仅激活 3B)为例,系统讲解 Dense 与 MoE 架构的差异与选型:
- 参数解耦:MoE 将显存成本与计算成本解耦——所有专家常驻 VRAM,但每个 token 只激活子集;Dense 模型两者同步增长
- 吞吐:同等总参数下,MoE(如 Nemotron 3.5 Lightning)token 吞吐高于 Dense(如 Gemma 4 31B),但高并发时延迟优势收窄
- 微调与量化:MoE 需注意路由器失衡;量化对 router 与 recurrent-projection 层的影响与 Dense 组件不同
- 选型建议:应基于显存预算、并发需求、微调计划与量化行为决定,而非只看参数量
文中附模型在 build.nvidia.com、Hugging Face 与 OpenRouter 的获取方式。
所属事件:NVIDIA 发文解析 Dense 与 MoE 架构选型权衡(2 条相关)→
「Infra」频道最新
- 欲撼动 Postgres 须先复制其集成生态，而非只拼性能 — mgill25 · 2026-11-02
- 用 ESP32 小屏给 DGX 集群做推理监控面板,固件开源 — CATLLM · 2026-11-02
- OpenRouter 年化 Token 量破 10 千万亿,每 10.5 周翻一倍 — deedydas · 2026-11-02
- Palmer Luckey 追问数据中心 RAM 的使用权边界:能否做服务条款禁止的事 — avaitopiper · 2026-11-02
- 本地跑大模型实测:关闭 MTP 可提升 20-30% 生成速度 — InternalMode8159 · 2026-11-02
- Kioxia 股价一年涨 216%，但较 6 月高点已腰斩再腰斩 — zephyr_z9 · 2026-11-02